「街をハックする」真鍋大度が、スクエアプッシャーのMVを監督した理由と、その技術

  • 10,672

  • author 照沼健太
「街をハックする」真鍋大度が、スクエアプッシャーのMVを監督した理由と、その技術
Photo: Victor Nomoto - Metacraft

渋谷が分裂。そんな未来がやって来そう。

「2〜3年後の都市はどんな姿になるのか?」そんなごく近い未来を予想した、スクエアプッシャー5年ぶりのアルバム『BE UP A HELLO』のリード曲「TERMINAL SLAM」のMVが話題です("Behind The Scene" 特設サイト)。

Squarepusher/YouTube

その内容は、渋谷のスクランブル交差点で、とある女性がMR(複合現実)グラスをかけると、見慣れた街の様子が一変。街を構成する広告や人物にグリッチノイズがかかり、姿を変え、次第に街頭広告がスクエアプッシャーにジャックされていく…というもの。

この映像が見せる新しい都市の姿は、明るい未来なのか、それともディストピアなのか。テクノロジーと都市の関わり、そしてどんな技術が本作を可能にしたのか。本作の監督を務める、日本を代表するアーティストである真鍋大度さんにインタビューして来ました。

出発点は「今の広告が持つ問題」

──これまでも真鍋さんはスクエプッシャーとの関わりがありましたが、スクエアプッシャー本人名義作品のMVを監督することは初めてです。本作を手がけることになった経緯を教えてください。

真鍋大度:WARP30周年での来日時、対談のために僕のスタジオに来てくれたのですが、そこで軽いブレスト的に、テクノロジーを用いた表現や広告の未来、今の広告が持つ問題についての話をしたんです。近い将来MRグラスやAirPods Proみたいなイヤフォンをつけたまま生活するようになると、現実を自分の都合の良いように書き換えられるようになるだろうという話題になり、「となると、街の広告も入れ替えられるね」と。

──まさに今回のMVに繋がるアイデアですね。

真鍋大度:スクエアプッシャーも何でもかんでも広告でマネタイズすることについて疑問を持っていて、なんとなく話が盛り上がったんですよね。それが今回のMVを監督することになる最初のきっかけでした。

──となると今回のMVにテーマがあるとしたら、それは「広告」ということでしょうか?

真鍋大度:「広告を含めた近い未来」ですね。そもそもMV自体がプロモーションのために作る映像でもあるので、そうした広告的側面のことも考えました。そのうえで「近い将来、こんなふうにプロモーションできるようになったらいいよね」という期待を込めた映像でもあります。

──それは“街を仮想的にジャックしたプロモーション”ということですか?

真鍋大度:はい。僕は莫大なお金をかけて街中の広告をジャックするというのは、アイデアとしては陳腐化していると思っているので、「テクノロジーを使えば、もっとスマートに広告できるようになれるはず」と、従来の手法を皮肉るようなニュアンスも入っています。ウェブブラウザはすでに広告のパーソナライズが当たり前ですが、徐々にそれが現実世界にも降りて来るだろうというイメージです。

_MG_0231
Photo: Victor Nomoto - Metacraft

──真鍋さんとスクエアプッシャーは「大衆に向けた無秩序な広告が乱立するよりは、パーソナライズドされた広告の方がいい」と考えているということですか?

真鍋大度:現在の渋谷は本当にめちゃくちゃな景観になっていますよね。それはそれで面白いけど、少なくとも広告の効率的には非常に悪いと感じます。渋谷駅前にはIT企業関連の広告が多く、少し離れると夜の仕事の看板がそこら中にある。そんな感じで、今までの看板や街頭ビジョンは、そのエリアにいる不特定多数の人に向けた雑なものになっているからだと思います。

──広告のパーソナライズにはプライバシーの懸念も含め“ディストピア的な未来”として悲観される部分もありますが、むしろ良い面に目を向けているわけですね。

真鍋大度:そうですね。現実世界にインストールするのは面白くなるかなと思います。

──というと?

真鍋大度:街中の広告をパーソナライズすることによって、これまでと違うダイナミックな都市の形が出てくるだろうし、それに僕はもともとソフトウェアのエンジニアとしてデジタルデータを扱ってきたので、都市そのものにアクセスするということはこれまでできなかったんです。しかしテクノロジーの進歩によって、今後は街をハックするようなことができるようになる。そう考えるとソフト化していくことで単純に「面白くなりそうだな」と感じています。

──なるほど。

真鍋大度:まあ、この前そういうことを言ったら某ヨーロッパのメディアに「楽観的すぎる」と批判されたりもしたんですけど…(笑)。

──(笑)今回のMVには、街頭ビジョンや電車の広告をスクエアプッシャーがジャックするシーンがありますが、2020年現在スクエアプッシャーの日本におけるセールス規模ではああいう大々的な宣伝はまず不可能です。しかし本作を観て、パーソナライズド広告なら実際にああいうPRも不可能ではなくなると思いました。スクエアプッシャーの音楽が好きな人にとっては、無秩序に消費者金融や脱毛の広告を見せられるよりはワクワクする未来ですよね。

真鍋大度:はい。2〜3年後の未来を想像したMVなので、その頃には実際にこうしたことができているんじゃないかと思います。実際のところ、このMVでやっていることはすでにほとんどリアルタイムで再現できるので。

耳コピ、生成、人力選定。「Terminal Slam」MVはこうして作られた

*_MG_0230
Photo: Victor Nomoto - Metacraft

──このMVで使われている技術について教えていただけますか?

真鍋大度:基本的にはほとんどが機械学習技術を用いたものです。まずカメラで撮影した映像を機械学習技術を用いて解析して、そこに写っている人や車、時計などのオブジェクトを認識したり、オブジェクトのシルエットを認識します。広告を特定するのは機械学習でも試してみましたが、うまくいかなかったので手動で解析しています。

その後、解析データを用いてグリッチなどの映像エフェクトを指定したオブジェクトにのみかけています。例えば、肖像権的に問題がありそうな顔には一番激しいグリッチ、人のいる場所には薄めのグリッチ、とか。

あと、プライバシー問題で人の姿には光学迷彩エフェクトをかけています。エフェクトで消したいオブジェクトの周辺情報と前後のフレームを参照してオブジェクトを消去する手法を使っています。コンセプトとしてはDiminished Reality、減損現実とか隠消現実と言われるものですね。

──映像とサウンドはどのように関連しているのでしょうか?

真鍋大度:シンセやスネア、ハイハット、キックといった楽器ごとに、どの映像エフェクトと同期するのか、どのオブジェクトに適用させるのかなどを設定するためのプログラムを作りました。

──そこまで高い精度でシンクロしているんですね。

真鍋大度:今回のアルバムは古いハード機材をたくさん使っている関係か、2チャンネルのミックスしか存在していないんです。そのため「Spleeter」という音源分離を行うためのライブラリを使用してドラム、ベースなどの音源を抽出し、それをベースにパートごとに耳コピをしています。耳コピとMIDIのプログラミングが得意な母に発注しました。最初は「この曲は難しくて良さが分からない」と言っていたのですが、耳コピを終えた後は「途中から良い曲に聴こえてきて好きになった」と言っていました(笑)。

──整理すると、サウンドと同期したエフェクト適用プログラムを組み、プログラムが生成した映像を実際に確認し、良いテイクを選んで組み合わせていった、人力と自動生成を組み合わせた映像ということですよね。

真鍋大度:そんな感じです。正月はガッツリ休むつもりだったのでその間にグリッチ映像を大量に生成する様にプログラムを仕込んでおきました。そうしてものすごい数のグリッチムービーを作り、肉眼で確認して「このグリッチだったら元絵が分からなくて大丈夫そう」などと判断していきました。

──「撮影→編集」という通常のMV制作とは、作り方が違うわけですね。

真鍋大度:最初の「撮影→オフライン編集」まではいわゆるMV的手法なんですけど、そこから映像を解析にかけ、音に合わせたグリッチをかけた映像を生成する工程に関しては専用のプログラムを組んで動かしているので、このMVならではですね。

──となると、そのプログラムをアプリに落とし込めば、スマホのカメラ越しでもある程度は再現できるということですよね。

真鍋大度:そう、アプリを出したいんです。一度は「出そうか」という話もありましたが、広告を認識する部分が難しくて見送りました。一週間くらいで変わってしまうものもありますしね。同じ看板を認識するならばできるのですが。

──ギズモードとしてはぜひ使用した機材も教えていただきたいのですが。

真鍋大度:残念ながら、特別なものはそんなに使っていないんですよね。カメラも民生用のものですし、CGやVFXも一般的なソフトです。機械学習周りはGoogleのクラウドサーバー上で処理しています。でも、ひとつ紹介したいものがあって、それは「Runway ML」という機械学習ツールキットです。これはプログラムが書けなくても色々な機械学習のライブラリが試せるソフトでサクッとプレビューするのに便利です。大学の授業で使ったりもしているのですが、専門的な知識がなくてもいろいろ試せるのでおすすめです。

スクエアプッシャーが持つ「尋常じゃない解像度」に脱帽

comp001
Photo: Victor Nomoto - Metacraft

──今回のMVに寄せた真鍋さんのコメントの中に「最後の最後までSquarepusher本人にたくさんの細かいフィードバックをもらいながら映像表現を調整しました。彼のグリッチやインタラクションに対するクリエイティブなこだわりをチーム全体で享受でき、非常にエキサイティングな制作でした」とありましたが、具体的にはどのようなこだわりがあったのでしょうか?

真鍋大度:こだわりは相当ヤバかったです(笑)。スクエアプッシャー、WARPスタッフのチェックと弊社のリーガルチェックを並行していたんですけど、リーガルで問題があったグリッチ箇所を修正してスクエアプッシャーに送ったら「前のグリッチの方が良かった」と言われた時があったんですよ。たったの2フレームのシーンで「本当に違いがわかるの!?」と驚くくらいだったんですけど、該当箇所のフレームまで指定してきたので「よく見てるな」とスタッフ一同痺れました。それ以外にも音と映像のインタラクションについてはかなりこだわりが強かったですね。

──スクエアプッシャーのあの音楽性は、映像を見る目にも通じているんですね。

真鍋大度:尋常じゃない解像度で見ているんだと思います。だからこそ彼の持っている細かい美学を大事にしないといけないと思い、ものすごい数の修正を重ねていきました。

──過去のWARP作品からはオウテカ「Gantz Graf」を連想する表現も見られました。

真鍋大度:見つけてくれた人も結構いましたが、「Gantz Graf」のオマージュをしている部分があります。

──真鍋さんのWARP愛が炸裂しているわけですね。

真鍋大度:僕だけじゃなく、スタッフ全員WARP愛半端ない人たちだったからこそ最後まで作ることができたMVだと思います。相手がスクエアプッシャーでなければ、絶対にここまで対応を重ねられなかったと思います。それでもスケジュールの都合で結局対応しきれない部分もあったくらいです(笑)。

──ちなみに今回、スクエアプッシャーやスタッフ間のイメージ共有のために「あの映画みたいな感じ」といった映像的なリファレンスはあったのでしょうか?

真鍋大度:いえ、それはしませんでした。広告のプレゼンなどで、過去の誰かの作品を企画書に入れて「こんなイメージです」ってことはよくありますよね。僕はその文化が嫌いということもあり、基本的に企画書に他人のリファレンスは入れないようにしているんです。入れるのであれば本人に頼もうよと。それにカラーグレーディングでも「ブレードランナーみたいに」と発注しちゃうと、その通りにしかならないですし。スクエアプッシャーもそれは同じで、こちらに何も言ってきませんでした。彼の音楽自体も”スクエアプッシャーそのもの”ですしね。なのでスクエアプッシャーも、基本的には僕が普段やっている表現の延長にしかならないということは、最初から理解してくれてたと思います。

誰でも“プロ並み”になれる時代。クリエイターに求められるのは「理由」

*_MG_0208
Photo: Victor Nomoto - Metacraft

──近年さまざまなテクノロジーの発展により、個人での映像制作が珍しくなくなりました。これから映像作品を作りたいと考えている人は、技術の学習など最初の一歩をどのように踏み出すべきだと思いますか?

真鍋大度:もはやiPhone一台で“普通のMV”みたいなものは誰でも作れる、良い環境だと思います。ツールもあるし、わからないこともネットで調べられるので、15年前に比べたら夢のような時代です。でも、だからこそ人と違ったものを作るのが難しくなったとも感じます。そこで重要になるのは“何を撮りたいか”とか“何を作りたいか”といった原動力だし、逆にそれさえあればなんでもできると思いますね。学生を見ていても「そこが難しいんだろうな」とは感じていますけど。

──“プロっぽいもの”を誰でも簡単に作れるようになり、“作る理由”が問われ始めたということですね。

真鍋大度:プロという概念も難しくて、どんなクライアントも満足させるという意味だとすると、僕は”映像のプロ”とはとても言えませんね。それはみんな分かっているので、僕のところには絶対に化粧品のCM制作の依頼とか来ませんよ(笑)。それでも、例えばOK GOがミュージックビデオの制作で声をかけてくれたりするので、その人の特性がはっきりしていたらチャンスはいろいろあると思いますね。

OK Go/YouTube

──誰でもできるからこそ、作りたいものが先にないと厳しい時代ですよね。かつてはビデオカメラを回して編集しただけで価値があったけど、今では「なんとなくGoPro買ってみたけど、ちょっとだけ使って放置してる」みたいな人はたくさんいると思います。

真鍋大度:本当にそんな時代だと思いますよ。ドローンを買って1〜2回飛ばして「もう分かったからいいや」って(笑)。本当は撮りたい映像のために機材を選ぶべきなんですけど、撮影することが目的になってますよね。まぁでも、僕も新しい機材を買ってモチベーション高める、みたいなことはよくやっているので、典型的な消費者ですね。ハードに限らずソフト面でもプラグインを買ってみたり、使うプログラミング言語をあえて変えてみたりとか。ずっと同じことをしているので変化が欲しくなるんですよね。

──今回のスクエアプッシャーのアルバムは、彼が音楽を始めた当初の古い機材をあえて使っている作品でもあります。最新技術のイメージが強い真鍋さんも、そうした古い機材をあえて使うということはあるのでしょうか?

真鍋大度:僕はあまり古い機材を使おうとは思わないですね。最近は若い人たちがVHSでビデオを撮って「90年代っぽい質感」と喜んでいますけど、僕は実際にそこを通ってきたので「昔撮った映像はこうだったよな」以上のことは何も思わないというのが正直なところです…年をとりましたね(笑)。

──なるほど(笑)。

真鍋大度:でも、それは映像だけじゃなく音楽もそうですね。古い機材はそんなに触りたいと思わない。あえて必要なのは歪みくらいかな…レコードや古い機材がたくさん並んだ部屋で言うのも説得力ないですけど(笑)。

──SP-1200、MPC3000といった、伝説的な機材が並んでますね(笑)。

真鍋大度:でも、これも高校生のときから使っていたものなんですよ。当時の最新機材です(笑)。

──その一方で、最新のMac ProとPro Display XDR2台、そしてモニタースピーカーのRL904が並ぶこのデスクは圧巻ですね。

真鍋大度:この環境で作業すると、すごく“仕事ができる人”になった気がしていいんですよ。なるべくなら旅をせず、ここでずっと作業したいくらいです(笑)。

──現場の仕事も多いのでそうはいかないですよね。モバイル環境では何か特別な工夫などしていますか?

真鍋大度:サブディスプレイを使うくらいですかね。基本はラップトップを使いながら開発をして、重い処理が発生したらこのMac Proや他のサーバーで動かしています。なのでインターネットがないと何もできないですね。

──このMVにしてもそうですけど、もはやネットが常時接続されてないと成り立たない世界ですね(笑)。

comp002
Photo: Victor Nomoto - Metacraft

SQUAREPUSHER JAPAN TOUR 2020

SUPPORT ACT: DAITO MANABE
スクエアプッシャー の来日ツアーに、真鍋大度の出演が決定。

2020年4月1日(水) 名古屋 CLUB QUATTRO
2020年4月2日(木) 梅田 CLUB QUATTRO
2020年4月3日(金) 新木場 STUDIO COAST

TICKETS : 前売¥7,000+1ドリンク
OPEN 18:00 / START 19:00
※未就学児童入場不可

※新型コロナウイルス感染症(COVID-19)拡大の影響を受けて延期


    あわせて読みたい