ディズニーが開発した「映画品質の顔交換テクノロジー」がヤバい…。ハリウッドも変わるかも?

  • 5,063

  • author Andrew Liszewski - Gizmodo US
  • [原文]
  • R.Mitsubori
ディズニーが開発した「映画品質の顔交換テクノロジー」がヤバい…。ハリウッドも変わるかも?
Image: Disney Research Studio

シンプルに、すごい楽しい。

ここ数年、ニューラルネットワークを利用した自動顔交換テクノロジー(ニューラル・フェイス・スワッピング)は大きく進歩し、「見ようによっては、本物に見える」から「気味が悪いほどリアリティーがある」へと進化しました。

しかし、ディズニーが発表した新たな研究によると、今やニューラル・フェイス・スワッピングはハリウッド映画レベルへとさらに進化しているんだとか。合法的に使える高品質な映像加工ツールとして、ハリウッドの大ヒット作を手がける視覚効果スタジオが顔交換技術を活用することになりそうです。

多くの方がご存知のとおり、ディープフェイク動画を製作するうえでもっとも大きな課題のひとつが、ターゲット動画に移植する顔動画(ソース)の膨大なデータベースを作成することです。それも、あらゆる表情やポーズが必要になります。

データベースが大きく、画像の品質が高いほど、合成動画の仕上がりも良くなります。しかし通常、ソースとなる顔(有名人の顔が多いですが)の解像度は限られていて、それほど大きなものではありません。たとえ4Kの動画ファイルであっても、顔の「どアップ」でもない限り、顔画像自体の解像度は低くなってしまうのです。

したがって、真に説得力のあるフェイク動画を生成するための最初のステップは、高品質のソースから始まるわけです。「視覚効果のための高解像度ニューラル・フェイス・スワッピング」を共同研究するチューリッヒ工科大学とディズニーリサーチスタジオの研究者チームは、今年度オンライン開催されるEGSR 2020(レンダリングに関するユーログラフィックス・シンポジウム)にて、新たな論文を発表しました。

そのなかで彼らは、高品質で高解像度のメガピクセル動画を生成する自動顔交換テクノロジーに関する、あらたなイノベーションとアプローチの詳細を紹介しています。

DisneyResearchHub / YouTube

研究者チームが作成した新しいアルゴリズムでは、別の顔を埋め込みやすくするため、ターゲット動画やソース動画に手を加える作業から始まります。たとえば、ソースとなる顔の唇がわずかでもプルプル震えていたりすると、のちの自動顔交換プロセスが無効になる恐れがあります。

ですからソース動画の動作を微調整して安定化し、スムーズに加工し、潜在的問題を、できるだけ事前に解消しておきます。 その後のステップにも改良が加えられており、たとえば新しい顔をターゲット動画に埋め込む合成技術は、顔全体のコントラストにムラが出ないようないよう改良されています。また、スムーズな合成画像を生成するのに欠かせない、中間フレームを作成するアルゴリズムもまたはるかに進化しており、輪郭と顔のパーツのアンバランスが解消されています。

機械学習は日々進歩していて、これまで完了までに長時間かかっていた作業を合理的かつスピーディに行える新たな使用法が次々と生み出されています。はじめてディープフェイク画像がインターネットに登場して以来、視覚効果にかかわるアーティストはその可能性を見出してきました。今や、映画業界やテレビ業界で、顔交換技術は珍しくありません。しかし今はまだ、スタントマンの顔が一瞬でもカメラに映りこむと、その後の映像編集に手間と時間がかかっています。

こうした問題が起きた場合、撮影し直したり、クレバーなCGと合成映像を組み合わせたりします。しかし、今回の新技術を活用すれば、たとえば同じ映画の撮影済み映像を使ってアルゴリズムをトレーニングし、これらの問題をすべて自動修正することができるようになります。

ただ、長所があれば、短所もあるわけで。確かに、オーバーワークの視覚効果アーティストや、予算重視のハリウッドプロデューサーは新しいツールを歓迎するかもしれませんが、こんな技術が出回ればそこら中にあるディープフェイクビデオを見極めるのがはるかにむずかしくなるのも、また事実。

この研究による新しいアプローチが既存の機械学習ツールに道を見つけるのに、それほど時間はかかりません。そうなれば、インターネットに氾濫するディープフェイクにもニューウェーブが訪れるでしょう。さて、そうなったとき、あなたはフェイクを見極める自信がありますか…?

    あわせて読みたい

    powered by