スマホのスロー動画で正確な顔の3Dモデルを作る技術が作られる

  • 7,572

  • author 岡本玄介
スマホのスロー動画で正確な顔の3Dモデルを作る技術が作られる
Image: CMUComputerScience/YouTube

iPhone Xで撮影できちゃうって。

これまで、人物の顔をスキャンして3Dモデルを作成するには、高価な機材が必要でした。ですがペンシルベニア州のカーネギーメロン大学では、普通のスマートフォンでスローモーション動画を撮るだけで、それができてしまう技術を開発しています。

NEW ATLASいわく、この技術にはAIのアルゴリズムが利用されており、素材となるスローモーションはたった15秒~20秒でOKとのこと。そして3Dモデルは、およそ30分で生成されます。

Video: CMUComputerScience/YouTube

2段構えで正確なレンダリングを行う

人間の顔を再現するのは非常に難しいらしく、どこかが微妙に違うだけで現実味が損なわれてしまうのだそうです。ですがカーネギーメロン大学によりますと、これには2段階のプロセスを採用することで正確な3Dモデルが作れると説明されています。

まずはSLAM(Simultaneous Localization and Mapping)という、自己位置推定と環境地図作成を同時に行なう三角測量によって、撮影しているスマホ(この場合iPhone X)と被写体の相対的な距離や位置を計算。そこでは深層学習をベースにしたアルゴリズムが、1mm以下の精度で目鼻立ちの特徴を検出します。それから「メッシュ・フィッティング」と呼ばれる、コンピューター・ヴィジョン技術で3Dモデルの粗い場所を埋め、モデルの精度を高めるのだそうです。

どのように使うのか?

たとえばテレビゲームや、VR空間で自分のアバターを作るのならお手軽で便利そうですけども…テレビや映画から有名人の顔が複製されたり、顔認証用に3D印刷してセキュリティーを突破されたりと、その気になればいくらでもよろしくない使いみちも思い付きそうですよね。

とはいえ、正確な3Dモデルから、ぴったりフィットする医療用マスクや、人工呼吸器の作成に役立つかも? と期待しているので、善良な目的で活用していただきたいです。


このデモでは人の顔がスキャンされましたが、他の生物でもオブジェクトでも、何でも3Dモデル変換にすることが可能なのだそうです。ペットや子供をフィギュア化するとか、楽しそうな気がします。成長記録にもなりますし。

Source: YouTube, Carnegie Mellon University via hackster.io, NEW ATLAS
Reference: Wikipedia

なんでも3Dモデルにできるアプリ ほしい?

  • 0
  • 0

シェアする

    あわせて読みたい

    powered by