LiDARいらず。普通のカメラで3Dセルフィーを撮影する技術「nerfies」

  • 6,715

  • author Andrew Liszewski・Gizmodo US
  • [原文]
  • mayumine
LiDARいらず。普通のカメラで3Dセルフィーを撮影する技術「nerfies」
Gif: YouTube / Keunhong Park

3Dセルフィーがこれから流行るかも?

セルフィー大好きな人、世界中にたくさんいます。このセルフィー(selfie/自撮り)という単語は、2002年に初めて登場しましたが、セルフィーの技術方面には大きな進化はありませんでした。でも3Dならどうよ?

そこで、ワシントン大学とグーグルリサーチの研究者たちは、普通のカメラで自分を3Dっぽく撮影することができる次世代セルフィー技術「nerfies(ナーフィー)」を開発しています。

我々はなぜセルフィーを撮って共有するのでしょうか。自己顕示欲のため? 仲間からの承認欲求を満たすため? その理由がなんであれ、投稿されたセルフィーのおかげでその人が生きている様子を垣間見ることができるのですが、もっといろんな情報も同時に共有しても良いのでは。

この研究では、撮影する限られた瞬間をより包括的にスナップする手法を考案。この方法は特別な機材がなくてもカメラとCPU処理だけで実現できます。撮影したデータは、2D画像だけでなく、3Dで被写体の周りをズームやパンしながら閲覧できるようになります。

20201204_3dg_2
この腕で撮影する動作を行うことができれば、簡単に自分の3Dインタラクティブモデルを作成することができます
Gif: YouTube / Keunhong Park

3Dで撮影するには通常、レーザーを使ってオブジェクトまでの距離を測定し、3Dを再現できる「LiDAR(Light Detection and Ranging / 光による検知と測距)スキャナ」を搭載した特別なハードウェアが必要になります。最新のiPhone 12 Pro やiPhone 12 Pro MaxにはLiDARセンサーが搭載されましたが、安価ではないですし、誰もが利用している状態ではありません。「nerfies」を作成するには、フレーム内に自分を収めつつ、端末を正面から前後に動かしたりして、さまざまな角度からスマートフォンで動画を撮影していく必要があります。

この動画データから3Dモデルを作成するには、Neural Radiance Fields(略してNeRF)と呼ばれる方法を用います。これは、オブジェクトをさまざまな角度から複数の画像を撮影、その2Dデータをすべて使用し、3D表現を計算して生成、そして、さまざまな視点から操作したり見たりすることができます。NeRF方式の問題点は、撮影中は被写体は完全に静止している必要があることです。被写体が動かないものであれば問題ありませんが、人間のように常に動いている被写体の場合は複数台のカメラを並べて複数の角度から同時に人物の画像を撮影します。これだと何台もカメラが必要になり、設備も大掛かりになってしまうため、LiDARのハードウェアと同様、一般人にはハードルは高いものとなります。

Video: Keunhong Park / YouTube/YouTube

自分の前でスマートフォンを前後に振りながら動画を撮影するだけでも、複数の角度から静止画を生成することができますが、このプロセスを完了するのに数秒かかることもあり、できるだけ静止していても、被写体は常にどうしても動いてしまいます。

この課題を解決するために、研究チームは「Deformable Neural Radiance Fields(略してD-NeRF)」と呼ばれる新しい方式を研究開発しました。この方式ではフレームを比較して被写体がどのくらい移動したかを判断し、変形を自動的に計算、抽出された不完全な2Dの画像データを調整し、正確でインタラクティブな3Dモデルを作成することができます。

いつか「nerfies」が流行ったとしたら、Instgramに投稿された高級なディナーを見ると同時にレストランの中の雰囲気まで調べることが可能になるかもしれません。もしくは、ファッショニスタが新しいトップスを試着しているnerfiesを投稿したら、見る側はカメラの位置を変えて、それに合わせたパンツも見ることができるようになるかもしれません。SNSに新しい視点を加えることができるとてもポテンシャルのある技術です。しかし、机の下ではパジャマを着てビデオ通話をしているところまで映されたら困るなあ…。

    あわせて読みたい