ピカソの絵、リアルだと怖い…。
かつてFacebookにスタートアップ企業を売ったこともある、ワシントン大学の研究者が、平面に描写された写真や絵などを、3Dアニメーションにしてしまうシステムを開発しました。
これは｢Photo Wake-Up, creates a 3D animation from a single photo｣と呼ばれるもので、ご覧の通りピカソのキュービズム絵画でも何でも、3Dアニメ化してしまうのです。
研究者たちは、｢SMPL｣と名付けられたこのシステムと、ディープ・ラーニングを使い、ネットでダウンロードした70の異なる画像を使ってテストしました。そこにはバスケのステフィン・カリー選手や『ドラゴンボール』の悟空、バンクシーのグラフィティアートやピカソの絵画などが含まれています。
発想の原点はあの映画？
論文の中では、研究者たちはこの技術を『ハリー・ポッター』の学校ホグワーツ内に掛けられた動く肖像画と比較しています。多くのハイテク企業が、あのファンタジーな世界を再現しようとしているのです。
これまでこういった試みは、なんとなく成功していますが…さすがにここまで現実的な3Dモデルを背景から分離させられたシステムはなかったんじゃないでしょうか？
その方法
最初は対象を2Dで切り取り、次に3Dスケルトンを重ね合わせています。MIT Technology Review,にて、チームはこう語っています。
私たちの重要な技術的貢献は、1枚の写真でシルエットと一致するアニメ化可能な3Dモデルを構築する方法です
チームは、切り抜いた画像とスケルトンの位置合わせを確実にするために、ワープ・アルゴリズムを使用したと伝えています。それはまた、画像の人物が見ている方向やアタマの角度も検出できます。さらに、最終的なアニメが現実的で正確であることを確認するために、チームは独自のユーザー・インターフェイスを使用してエラーを修正し、アニメのテクスチャリングを手助けするようにしました。次に、アルゴリズムが被写体を2D画像から切り離し、残りのスペースを埋め、人物を動かすのです。
研究者らは、最終的なアニメーションは（上で見たように）ビデオとして見ることができ、モニター上で、拡張現実感で、そして仮想現実感で相互作用することができる、とも話しています。
でもまだ未完成
すっごいリアルで凄まじい技術ですが、実はまだ影と反射までを再現できず、腕を組んでいたり、足を組んで座っているような姿は適用できないのだそうです。また画像が曖昧なポージングだったりすると、間違った形にアニメ化されることもあるとのことです。
研究者らは論文にて、以下のように綴っています。
この技術が、人々にとって写真を使って楽しく交流するような新しい方法を可能にするだけでなく、1枚の写真から最新のヒューマン・モデリング技術への洞察を提供しながらも、単一の画像からバーチャル・アバターを再構築する道筋を示唆しています
facebookでは自らアップロードすれば、現在のプロフィール写真をループ動画に差し替えることができます。ですがこのシステムで平面画像が3Dへと分離できるようになれば、SFやファンタジーと現実とのギャップが埋まるでしょうね。
Source: YouTube via MIT Technology Review, UW
