12Kカメラで、コロナ禍の制約へ挑戦。真鍋大度が語る「テクノロジーへの信頼」と「自由」

  • 5,327

  • author 照沼健太
12Kカメラで、コロナ禍の制約へ挑戦。真鍋大度が語る「テクノロジーへの信頼」と「自由」
Photo: Victor Nomoto(METACRAFT)

テクノロジーはアートを支配するものか、それとも可能性を広げるものか。

スマートフォンでの4K動画撮影が当たり前のものとなり、キヤノンのミラーレスカメラ「EOS R5」は8K映像撮影を大々的に謳うなど、写真や動画の高解像度化は止まることを知りません。

そんな中、Blackmagicが次の一手を見せました。2020年に発売された、12K映像の撮影が行えるモンスターカメラ「URSA Mini Pro 12K」です。業務用機器のカテゴリとはいえ、もはや時代は12Kに足を踏み入れているのです。

Video: daito manabe / YouTube

その12K撮影を活用して早速作品を制作したのが、ギズモードでもお馴染みのアーティスト、プログラマ、DJの真鍋大度さんとライゾマティクス

演出振付家MIKIKO率いるダンスカンパニー「ELEVENPLAY」とタッグを組んで制作された本作について、真鍋大度さんと同作品でビデオグラファーを務めたライゾマティクス本間無量さんにお話を伺いました。

12K映像で、“コロナ以降の制約”を逆手に取った

_MG_7438

——作品『S . P . A . C . E .』の制作に至った経緯を教えてください。

真鍋:ライゾマは毎週Twitchで『PLAYING TOKYO』という番組をやっているのですが、そこでの縁からインテルのイベント『PC FES 2020』で作品を発表することになったのがきっかけです。ちょうど手元にBlackmagicのURSA Mini Pro 12Kがあったので、これを使って一本作品を作ってみたいと考え、テスト撮影を重ねた上でダンス作品にすることにしました。

——『S . P . A . C . E .』は複数名のダンスパフォーマンスを遠くから撮影し、ズームや合成を繰り返す作品です。このような演出を採用した理由とは?

真鍋:ダンサーたちと一緒に作品を作ろうと決めた後、ソーシャルディスタンスを確保しないといけないなどの“コロナ以降の制約”を活かしたいと思ったからです。ダンサーと離れた位置から撮影しても、12Kの解像度を持つ映像データであれば後からデジタルズームすればダンスの細かい部分まで見られます。またダンサー同士が離れて踊っていても、ズームして合成すればそれぞれのダンスが組み合わさることで生まれる一つのダンスパフォーマンスとして楽しむことができるのです。そういったアイデアを元に、今回の映像は定点で一発撮りした動画のみを使っています。

——真鍋さんを筆頭にライゾマティクスの作品といえば、テクノロジーが不可欠です。『S . P . A . C . E .』にはどのような技術が使われているのでしょうか?

真鍋:12Kの映像を手作業でズームして合成してもいいのですが、『S . P . A . C . E .』では機械学習技術を使ってダンサーのポーズを画像解析し、ポーズのデータを使って自動でダンサーにズームしたり、ポーズに応じて編集や合成を行ったりすることにしました。少し前まではダンサーにマーカーをつけてトラッキングしたり、それぞれの関節に装着したマーカーと赤外線カメラの組み合わせでポーズ推定をしたりしていたのですが、最近では通常の単眼カメラで撮影した画像からもそれができるようになりました。

これは身体表現を扱う作品を作っている我々にとってはかなり大きなことで、Coachella(コーチェラ・フェスティバル)で行ったリアルタイムの映像演出から今回のようなポスプロ処理まで制作手法が大きく変わりました。

——具体的にはどんなテクノロジーが進歩したことで、画像からのポーズ推定が可能になったのでしょうか?

真鍋:いろんな要素の組み合わせですね。マーカレスのポーズ推定をする試みはもちろん研究ベースではいろいろと行われていたのですが、ブレイクスルーとなったのはOpenNIというオープンソースのライブラリです。イスラエルのPrimeSence(2013年にAppleが買収)などがファウンダーのひとつです。2010年の終わり頃、OpenNIとMicrosoft Kinnectの出現によって深度データ(3D映像データ)を用いたポーズ推定、認識を行うことが手軽にできるようになりました。当時、KinnectやOpenNIがリリースされメディアアーティストたちは大興奮していました。僕自身も2010年頃はPerfumeのライブ映像などで深度データを使った映像制作をしていましたが、当時は100万円近くするデバイスを使っていましたから。

そのあとは2017年にリリースされた、単眼カメラの映像で三次元のポーズ推定ができる商用のライブラリOpenPoseです。スポーツには使うことができず、かなり高額ということでサクッと使えるものではないのですが、衝撃的な精度でした。マーカーがなくてもポーズ推定ができるということで、過去の映画やミュージックビデオのポーズ推定をするような試みが自分の周辺では爆発的に流行り、そしてポーズデータが大量に生成されるようになり、ELEVENPLAY、Kyle McDonaldとのダンス作品『discrete figures』でも使用しているようなGANを使ってダンスを振付を生成するようなライブラリ、Everybody dance nowのようなものも増えていました。

Video: Caroline Chan / YouTube

さらに最近ではiPhoneのCoreMLでも三次元のポーズ推定ができるようになり、キャズム超えをした感じでしょうか。

ただ、今回の『S . P . A . C . E .』に関しては、ライブパフォーマンスではないのでリアルタイムでポーズ推定する必要がなかったため、12kの高解像度画像の中に写っている9人のダンサーのポーズ解析を時間をかけて行っています。

_MG_7412

——『S . P . A . C . E .』で披露されるダンスは、映像を前提とした踊りです。ステージパフォーマンスとはまた違った種類の振り付けがなされているのでしょうか?

真鍋:あぁ、このインタビューに振付をしてくれたMIKIKOさんも呼べばよかったですね(笑)。まさに『S . P . A . C . E .』のダンスは自由演技ではなく、規定演技のようなものです。例えばユニゾンのパートは、その精度が高ければ高いほど合成が上手くいきます。そうした条件の中で、MIKIKOさんにはどれだけおもしろいものができるのかを、全体構成も含めて考えてもらいました。

——真鍋さんがこれまで手がけてきたいくつかの演出のように、近年は現地会場にいる人と、配信で視聴する人が見るパフォーマンスが大きく異なるパフォーマンスも珍しくありません。そうしたオフラインとオンラインで異質なものが併走するプロダクションは、これからのスタンダードになると思われますか?

真鍋:僕たちは、紅白歌合戦やリオ2016大会閉会式東京2020のフラッグハンドオーバーセレモニーなどでもそうした演出を「おもしろい」と感じながら制作してきました。しかし、最近のエンタメのコンテンツ作りにおいては、コロナの影響からそうした演出を“しなければいけない”状況になってきています。今後はスタンダードに近い状態として、配信と現場の両立は行わなければいけなくなるでしょう。

そこで気をつけたいのが現場と会場のバランスですね。視聴人数でいえば、現場よりも配信の方が遥かに大規模なので、基本的には配信を盛り上げることを考えなければいけません。しかし、会場にいる人たちが盛り上がっていないと、配信映像自体をおもしろがってもらえないのです。だから、配信で高度なCG合成などを行なって驚かせながらも、会場ではまた全然違う演出で歓声を上げる仕組みを作らないといけません。こうした設計については、リオ2016大会閉会式東京2020のフラッグハンドオーバーセレモニーの制作の際に、演出家のマルコ・バリッチに厳しく言われて訓練されました(笑)。

いまだ計り知れない、12K映像のポテンシャル

_MG_7458

——URSA Mini Pro 12Kについて、どのようなポイントで興味を持たれたのでしょうか?

真鍋:普段僕たちはいろんな研究開発をやっているので、常に新しい技術を試しています。その一環として、URSA Mini Pro 12Kで撮影できる12K映像によって、何か新しい映像表現ができないかと探っていました。

本間:12Kで街並みを撮影し、フルHDで切り出したときにどこまで解像感を得られるか、静止画として書き出したときにどう見られるのか、どれだけの人を認識して画像解析できるのかなどを試しましたね。

——実際にURSA Mini Pro 12Kを使ってみていかがでしたか?

本間:今まで使ってきた4Kカメラに比べ「重い」というのが第一印象だったのですが、逆に剛性がしっかりしていて良い点でもありました。ただ、12Kという解像度は前代未聞ですし、どんなレンズを使えばいいのかなど試行錯誤し、普段使っているスチル用レンズではなく、シネマレンズを借りて使うなどしました。

——12K動画のデータの取り回しはいかがでしたか?

本間:今回、12K映像どころかBlackmagic RAWを初めて使ったのですが、思いのほか重くもなく使いやすかったです。ただ、僕が普段使っているマシンは4K映像がギリギリ編集できるスペックなので、12Kの編集には真鍋さんの最新のMac Proを借りました。

——デジタルにおいて、画像も動画も常に高解像度化へ向かってきました。そんな中、人間の目で判別できる限界も近いのではないかと言われています。12Kのようなオーバーな高解像度の魅力はどこにあると思われますか?

本間:広めに撮ってトリミングできることじゃないかと思います。その自由度が広がることによって生まれる遊びどころはたくさんあるはずなので、また12Kでの表現に挑戦したいですね。

真鍋:まだ1作品しか作ってないので、ズームの面白さしか表現として使えておらず、更なるポテンシャルを探っている段階ですね。チャンスがあれば、新しいやり方で12K映像を使った作品を作りたいです。

テクノロジーへの信頼と、“ソフトウェア”に束縛されない心得

_MG_7387

——『S . P . A . C . E .』をはじめ真鍋さんやライゾマティクスの作品において、テクノロジーは不可欠です。アートにおいて、テクノロジーとはどのような存在だと考えていますか?

真鍋:僕はテクノロジーの進歩で実現可能となる表現に対して、あまり懐疑的ではありません。例えば、カメラのスペックや搭載されているセンサーなどで、作れるものは変わってくると思っています。ですので、12Kのカメラが出るというニュースが出た瞬間に「使ってみたい!すごいことができそうだ」と思うタイプですね。オーディオでも新しいプラグインが出たらすぐに試しますし、機械学習の分野では毎日のように新しいライブラリが出るので、片っ端から試しています。「使えそうだったら作品に使う」というスタンスですね。こうした作り方をしない人もいるのかなとは思いますが。

——以前、ギズモードで中田ヤスタカさんに取材した際「みんなDTMソフトメーカーが想定した範囲内で音楽を作るようになっている」という話題が上がりました。それは音楽に限らずどんなジャンルでも起こりうることだと思います。真鍋さんはそうした“ソフトドリヴン”の危険について、どのようにバランスをとっていますか?

真鍋:アドビのソフトをインストールしないことですね(笑)。

本間:昔から言ってるよね、それ(笑)。

真鍋:インタラクティブ映像の制作でも便利なツールがいろいろと増えてきたので引っ張られるのは分かります。自分たちでオリジナルのソフトやハードを作ることで、ツールの制約から逃れています。「こういう機能がないんだけど、どうしよう」と思っても、プログラミングができればそれを作れますから。ライゾマの場合、ソフトだけじゃなくハードも自分たちで作れるので、そこが大きな強みですね。

——広くクリエイターはプログラミングもできたほうがいいと思われますか?

真鍋:何を表現したいかによると思いますが、できると表現の幅が広がるのは間違いないのではないでしょうか。でも、最近はツールの進化もすごく早いし、機械学習系は便利で需要も多く、あっという間にライブラリがプラグインやアプリになるので、それを待って制作するのもいいと思いますね。

僕たちの場合、「2, 3年くらい経つとプロダクトやサービスが出て簡単にできるけど、今は難しくてできない」という“ほんのちょっとだけ早い制作”をするパターンも多いので、そういう制作にはプログラミングが役立ちますね。例えばアドビのPhotoshopのNeural Filterのようなプラグインなどは、4, 5年前だと論文から実装を起こしてソースコードを公開するというような こともライゾマリサーチでは行っていました。

みんなができないことをやろうとするのと、みんなが似たようなことができる状況で“コンテンツ勝負”をするのとで、大きく変わってくるのではないでしょうか。

Photo: Victor Nomoto(METACRAFT)
Interview: Yuma Yamamoto(Gizmodo Japan)

    あわせて読みたい