XR演出のライブで想像力を広げていく。テクノロジーと人間の感性、その理想的な関係とは?

  • author Jun Fukunaga
XR演出のライブで想像力を広げていく。テクノロジーと人間の感性、その理想的な関係とは?
Image: COSMIC LAB

2021年1月初頭から、10都府県を対象にした緊急事態宣言が再度発令したことにより、引き続きコロナ禍による大きな影響を受けているライブエンタメ業界。予定されていたイベントの多くは、中止や無観客配信への変更などを余儀なくされていますが、そのような状況下でもライブエンタメの可能性を見せてくれたのが、大阪を拠点に活動するミックスメディア・プロダクション、COSMIC LAB(コズミック・ラブ)です。

彼らが主催したXRオーディオビジュアルショーケース「EXPANDED」は、配信プラットフォーム「LIVEMINE」を利用し、⽂化庁委託事業の無観客配信イベントとして開催され、COSMIC LABが開発を加速させたXR(エクスパンデッド・リアリティー)ライブシステム「Antimatter」を用いたパフォーマンスが視聴者に届けられました。

“EXPANDED=拡張された”というイベント名の通り、リアルの世界で行われるライブパフォーマンスの可能性を拡張してみせた「Antimatter」は、どんな設計思想の元に開発されたシステムなのでしょうか? 開発に関わったCOSMIC LAB代表のColo Müller(コロ・ミューラー)氏にお聞きしました。

Video: CosmicLab/YouTube

時に幻想的で、時に混沌とした、最先端の映像表現が視聴者の目を奪った「EXPANDED」。ショーケースラインナップは以下。

●BOREDOMS(ボアダムス)の活動で知られる∈Y∋(アイ)による発光サウンドパフォーマンスを、COSMIC LABがXR視覚空間へと増幅したショーケース

●backspacetokyoが開発したリアルタイムXR配信システム「Chausie」を使った、関西拠点のアーティスト・Kafukaとのコラボパフォーマンス

●COSMIC LABが開発した「音と映像を同時に奏でる楽器”QUASAR”」を用いたショウケース。 2名のターンテーブリスト、DJ YASA & NAO-Kとのライブセッション

●「拡張する現実=エクスパンデッド・リアリティー」と「侵食される現実=クロス・リアリティー」の2つのXR定義が絶妙なバランスで混ざり合った、COSMIC LAB×backspacetokyoのVJセッション


──今回のイベントが“⽂化庁委託事業”として開催された理由をお聞かせください。

Colo Müller:もともと、VJをバックボーンにしながら自分たちで作品を作っていたのですが、ここ数年はライブエンターテイメントの現場でのクライアント案件も多く、その中でXRライブシステムなど開発してきたものが増えてきたこともあったので、自分たちでイベントを主催したい気持ちがありました。

そんなタイミングでたまたま文化庁の助成事業の情報を入手したので、大急ぎで応募したのが経緯です。なので、もともと審査に通らなかったとしても「EXPANDED」は開催しようと考えていました。

募集要項には「どういったアプローチで、コロナ禍での芸術面における収益事業を強化できるか」とあったのですが、ちょうど我々のオフィスが入っている大阪の名物ビル「味園ユニバースビル」の地下に、「ユニバース」というイベントスペースがありまして。ここは、コロナ禍以前だと1年半ぐらい先までずっとスケジュールが押さえられているような場所でしたが、ここ1年ぐらいは営業できない状態が続いていました。ユニバースが、少しでも早く営業再開できるようなアプローチができたらとの考えもあったので、その辺りも含めて応募しました。

── そのアプローチとは?

Colo Müller:今回使ったようなXRシステムがデフォルトでインストールされているのであれば、無観客もしくは一部集客とのハイブリッドな形での配信ライブが可能になります。そういった体制が整っていれば、「ユニバース」自体もアフターコロナに向けて、いち早く営業再開していけるんじゃないかな、との考えです。

Untitled_2.1.61
∈Y∋による発光パフォーマンス

──イベントの配信プラットフォームは「LIVEMINE」が採用されましたが、どういった理由からでしょうか?

Colo Müller:これまでにもメジャーアーティストの配信ライブにおけるAR案件をサポートしてきたのですが、そのときに何千人〜何万人規模のファンを抱えていると、少額の課金でも配信ライブの収益性をきちんと担保できることを実感しました。一方で、ファンベースの規模があまり大きくないインディペンデントアーティストからは、配信ライブはコストはかかるが収益性が厳しいとの声も聞きます。「LIVEMINE」のコンセプトからは、そんなインディペンデントアーティストを想定したサービスだと感じとれたので、採用させていただきました。

それと、配信前の画はきれいでも、配信を見直すと思いのほか画質が落ちていたりノイズが出たりすることもあるので、それにどう対応できるのかに気を配っていたのですが、「LIVEMINE」ではそういった部分もあらかじめ設定できたので良かったです。例えば∈Y∋さんのパフォーマンスは、1フレームごとの色の変化が圧倒的に多いので、配信でのエンコーディングを考えたときにだいぶ画質が落ちてしまうんじゃないかなと懸念していたのですが、かなり良いコーディングの状態で配信できました

──実際の配信中も、視聴者がパフォーマンスに対して投げ銭するシーンが多く見られました。また、ファンがコメント欄やイベント概要など機能枠を切り替えて使える仕組みになっていましたね。

Colo Müller:インディペンデントアーティストたちが、自分たちのファンベースとの繋がりの中で実際のライブのように物販を行えたり、コミュニティを形成していけたりする仕掛けは、今後もっと実装されていくと思いますよ。

──配信ライブだと、機能的な部分でいかにインタラクティブなやりとりができるのかを求める視聴者も多いと思いますが、「EXPANDED」では、パフォーマンスの合間にスタッフが登場し、コメント投稿や投げ銭を呼びかけているのが印象的でした。

Colo Müller:淡々とパフォーマンスだけをやっていくと視聴者を置いてけぼりにしてしまう可能性もあると思うので、視聴者との距離感のバランスをどうやってとっていくかは課題でした。

また、視聴者に直接呼びかけるとどういった結果になるかが気になっていたので、あえてスタッフの声や顔を出すことで視聴者とのコミュニケーションを図った部分はあります。それと、仮に失敗したとしても、何かしらこの配信の実験データを取りたかったんですよね。

Untitled_1.1.85
ターンテーブリストたちが、音と映像を同時に奏でる楽器「QUASAR」を操作

──COSMIC LABも今回コラボしたbackspacetokyoも、VJがバックグラウンドにありますが、VJの経験がXRライブの演出でもっとも活かされるのはどのような部分でしょうか?

Colo Müller:VJには映像を音楽の一部にしてしまいたい欲求があると思うんです。自分がVJを始めた時は、まだPCでも解像度が「320×240」のQVGAみたいな時代だったので、デジタルでやる=画質がめちゃくちゃ悪いイメージがありました。それだったらVHSテープとかレーザーディスク、HI-8カメラの映像を使ったほうが圧倒的に画質が高い。ただ、それだとやはりリアルタイム性はものすごく低くなってしまいます。当時は"不自由があるほど欲求も強くなる"みたいなモチベーションもあって、映像を音楽を演奏するようにフィジカルに伝えたい欲求が強くありました。そこから生まれてくる演出表現へのアプローチは、VJをやってきた人なら理解できるはずだし、いくらテクノロジーが進化したとしても、まだまだキリがない欲求だと思います。

ただ、テクノロジーの進化でイメージの具現化に関してはかなり理想に近づきつつある気がします。特にXR、ARになるとなおさらですね。例えば、プロジェクションマッピングに注目が集まり出した時期に、我々もいち早くその技術を導入しましたが、基本的にVJは、クラブや野外フェスなどで映像を見せるので、まず考えるのは「そのテクノロジーを使って、空間でどんな風にビジュアルを表現できるのか」なんです。だからテレビ画面のようないわゆる映像よりも、場を作り込むという意識が強い。XRの場合もそれは同じで、現段階ではヘッドマウントやモニターを通していく方法しかありませんが、それでも、以前に比べて表現自体の自由度は、圧倒的に広がっていると思います。

Untitled_1.2.6
backspacetokyoとKafukaによるパフォーマンス

──このイベントで、backspacetokyoとコラボしたきっかけは?

Colo Müller:backspacetokyoのメンバーは、すばらしい技術と感性を持っていて面白いと思ってずっと見てきたのですが、特にこの1年ぐらいで彼らもXRをやりだしたこともあって、我々がやっていることと重なる部分を感じました。その流れで、お互いの知見を共有していく「XR合宿」をいつか実現しようという話が、もともと出ていたんですよ。

今回は文化庁の助成が取れたことで、技術シェアや一緒にものづくりするための予算を確保できたので、backspacetokyoに関しては、「出演」というよりは、「合宿をしてその成果をイベントで見せてもらう」というかたちで、声をかけさせていただきました。

backspacetokyoは、凄腕プログラマーたちが技術を厳密に制御して、現実と見分けがつかない精度まで磨き上げるスタイルをとっているのですが、我々はシステムで制御しつつも、予測できずに溢れ出てくる現象のようなものを表現したいと思っています。それは、彼らが"クロス・リアリティ"と定義するXRと、我々が"エクスパンデッド・リアリティ"と定義するXR観の差異かもしれません。また一方で、グリーンバックを使ったバーチャルプロダクションではなくて、あくまで目の前の現実を前提とした拡張現実を創りだすアプローチは共通しています。

今回のプログラムでは、良い意味での両者の対比も見せられると考えていました。

最後のVJ セッションではそれぞれが定義するふたつのXRが融合し、化学反応が起きた瞬間もありましたし、我々としてもそれが調和する瞬間は、お互いにとっても"新しい光景"が見えた瞬間だったと思っています。

たとえば最後に大仏が出てきたのは backspacetokyo の即興的アイデ アなんですが、DJがプレイする曲やタイミングも相まって、我々だけだと成立しなかったよ うなハッピーな終わり方になっていたと思います。

_DSF3898
イベント当日、「ユニバース」での様子

──以前、backspacetokyoが開発に携わった配信システム「Chausie」について取材した際に、現実のライブの強化演出を目指したシステムだとお聞きしましたが、COSMIC LABによる配信システム「Antimatter」にはどんな特徴があるのでしょうか?

Colo Müller:「Antimatter」もライブ演出を目的にしたシステムで、もともとはVJを目的にして、Unity(ゲームエンジン)で作り続けてきたものがベースになっています。

このコロナ禍で決まっていたライブの案件がなくなることも多かったのですが、同時に、配信ライブでのXR演出ができるのであればとの依頼もあり、以前から自分たちはVJにARを取り込むアプローチをしていたこともあって、「これは実装させていくしかないよね」と、シフトしていくことになりました。「Antimatter」も、自然とその方向に向いていったイメージです。

──今後、「Antimatter」を使ったXRライブパフォーマンスは、どのように進化していくのでしょうか?

Colo Müller:現時点で配信ライブには、「完全無観客配信」と「一部集客のハイブリッド配信」の2通りのやり方があるのですが、「Antimatter」の今後に関しては、いかに実際にライブ会場にいる人にもその演出が伝わって、かつ、配信画面を見てる人にもライブ会場で起きていることを共有していけるかを課題にしながら、離れた場所にいる人同士を繋げていけるような演出やその役割を担えるものにしていくことを目指したいですね。

──今回のイベントが、XRテクノロジーによって最も"EXPANDED=拡張"されたのは、どの部分でしょうか?

Colo Müller:人間の想像力が広がったことですね。参加してくれたアーティストを含むスタッフたちは、現段階でもここまでのことができる現在地を把握できたことで、今後のXRパフォーマンスでやってみたいことがより明確になったと思います。テクノロジーの進化に負けないくらい人間の創造性や認知も拡張されたと同時に、テクノロジーと人間の感性の関係性の理想的な状況を作り出せたという手応えも感じています。

Image: COSMIC LAB

    あわせて読みたい