AIはフロアを盛り上げることはできるか? みずから生み出した人工知能とコンビでDJをする、Qosmo徳井直生さんに訊く

  • 7,981

  • author 奥旅男
AIはフロアを盛り上げることはできるか? みずから生み出した人工知能とコンビでDJをする、Qosmo徳井直生さんに訊く
Photo: Rakutaro Ogiwara

DJという「生の極地」で器用に動くAIの仕組みとは。

「AIと一緒にDJをする」。徳井直生さんは、そんなプロジェクトに取り組んでいるアーティスト。テクノロジーを活用したクリエイティブな表現を追求している集団Qosmo(コズモ)の代表/工学博士で、Nao Tokui名義でエレクトロニックミュージック作品をリリースするプロデューサーとしての顔を持ち、そしてもちろん現役のDJでもあります。

180322_ai_dj_nao_tokui_1
Photo: 稲垣謙一

そんな徳井さんが「AI DJ」プロジェクトで人工知能と共にDJをするきっかけとなったのが、2014年にライゾマティクスの真鍋大度さんとスタートさせたイベント「2045」でした。

「音楽を学習した人工知能は、人間を感動させることができるか?」というテーマを掲げる2045で誕生したAI DJ。今、人工知能をDJに活用すると何ができるのか? そしてそのAI DJはどういう仕組みなのか? さまざまなシーンで活用されているAIを取りあげるギズモード・ジャパンのAI特集で紹介すべく、産みの親である徳井さんにお話を聞いてきました。

Video: Nao Tokui/YouTube
「AI DJ」プロジェクトの紹介動画

── まず「AI DJ」の概要を教えてください。

徳井直生さん(以下、徳井):AI DJは、人間とAIが交互に曲をかける「バック・トゥ・バック」のスタイルでDJを行なうプロジェクトです。初めはすべてコンピューターの中で完結させていたのですが、お客さんから見て何が起きているのかがわかりにくいということもあり、2016年からターンテーブル(レコードプレーヤー)とレコードを使い始めました。

── AIがレコードをかけるのですか!?

徳井:AIが選んだレコードを探してターンテーブルに乗せるのは人間がやらなければいけないですけどね(笑)。DJの仕事は「曲を選ぶ」「かかっている曲にノンストップでつながるようにミックスする」、あと大事なこととして「かけた曲によってお客さんがどう反応しているかを見て次の曲を選ぶ」ことが挙げられますが、AI DJはレコードを探してターンテーブルに乗せる部分をのぞいて、すべて自動で行ないます

DJをソフトウェアで行なうと、ミックスもそれなりに完璧にできてしまうので面白くないと感じていたのですが、このアナログのシステムでは全体的にハプニングが起きる要素があるのがポイントです(編注:ソフトウェアでDJを行なう場合、楽曲もデジタルデータとして扱うためテンポ情報も数値で管理できます。そのため、後述する「ビート合わせ」の際のテンポ補正が、簡単かつ正確に行なえてしまうのです)。

180316_ai_dj_nao_tokui
Image: Nao Tokui
AI DJのプレイ中に人間がするのは、レコードを置くところだけ

「TR-808つながりで選曲することもできます」AIはどのように選曲してるの?

── では「曲を選ぶ」ところからうかがいます。AIはどのように選曲しているのですか?

徳井:以前は、世界中のDJによるプレイログが上がっているサイトMixesDBなどから、150万曲分くらいのログを集めて、解析したデータをつかっていました。ただ、それを学習させても「まぁそうだよね」という妥当な選曲に落ち着いてしまい、意外性のある面白い選曲にならなかったんです。そこで、いまは「畳み込みニューラルネットワーク」を用いて曲の特徴を抽出する手法を用いています。

AIDJ_02
Image: Nao Tokui

徳井:畳み込みニューラルネットワークは画像解析などに用いられるモデルです。仕組みは、開発の段階でいろいろなジャンルの曲のスペクトログラム(音を「時間」「周波数」「信号成分の強さ」の3次元でグラフ化したもの)に基づいた特徴を学習させました。

といっても学習したジャンルの情報は一切使いません。ジャンルを推定できるということは、スペクトログラム画像から、リズムの構造や人がその音楽を聴いたときに感じる印象のようなものを抽出できます。推定されたジャンルではなく、この特徴量(曲の特徴が数値化されたデータ)を選曲に使っています。

本番中に人間がかけている曲の特徴をリアルタイムに抽出し、準備した候補から特徴量が近い音楽を選ぶような仕組みです。

今では、使っている楽器やドラムマシンの種類も学習させているので選曲の質が上がりました。たとえば、僕もよくやるのですが、「Roland TR-808のキックが使われている曲の次に、TR-808のカウベルが使われている別の曲をかける」みたいなことが起こるわけです。

── それは面白いですね。「候補」というのは、その日用意されているレコードですか?

徳井:そうです。用意したレコードのスペクトログラムはあらかじめ作っています。この候補が何千何万とあれば選曲の質も上がるのですが、現状、人の手で探さなくてはならないので限界はあります(笑)。いまは300枚くらいの候補を用意していますね。それでも結構探すのが大変なので、アルファベットで分類して探しやすくしています。

__26A0904
Photo: Rakutaro Ogiwara
AI DJが選曲したレコードを探す徳井さん

無限ループする4つ打ちから特訓した「ビート合わせ」

── 次に「かかっている曲にノンストップでつながるようにミックスする」という作業について教えてください。一定のリズムをキープしたままノンストップでつなぐには、2つの曲のビートをぴったり合わせる必要がありますね。つまり同じテンポにしなければならないと思いますが。

徳井:そのために、LANケーブルでパソコンに繋げて、テンポをコントロールできるようにしたターンテーブルを作ってもらいました。ターンテーブルの電源部分に細工をしていて、加える電圧によってテンポを変えられる仕組みです。ソフトウェアからテンポをコントロールできるようにしてあります。

Video: Nao Tokui/YouTube

徳井:あと、人間はレコードでビートを合わせるときに盤を触って速度の微調整を行なうことがありますが、そのための装置も作りました。

── このあえてアナログでやる感覚…素晴らしいですね! ところで、AIはどうやって「ビート合わせ」を学習したのですか?

Video: Nao Tokui/YouTube

徳井:4つ打ちのキックが「ドン・ドン・ドン・ドン」と無限にループするレコードを2枚かけて、ビートがどのくらい合っているかを定量化しながら学習させました(上の動画)。つまり、AIがキックの音を聴きながら、もう1枚のレコードのテンポのアップダウンを試行錯誤して、ビートが合うように学習していきます。強化学習と呼ばれる手法ですね。

── ミックスするときにテンポと併せて気をつけるのが「小節のアタマを合わせる」ということです。これがずれると違和感がありますが、この点はどうしていますか?

徳井:人間がレコードを探して乗せるところまではやるのですが、小節のアタマを合わせるところまでやってしまうと人間がプレイしているように見えてしまうので、レコードを乗せたら回転数だけ確認して、冒頭からかけています(編注:レコードは盤によって33回転のものと45回転のものがあり、それに合わせてターンテーブルの回転数を設定します。これを間違えると曲が異様に速く再生されたり遅く再生されたりしてしまうのです)。

この点は、いまはしょうがないと割り切ってやっています。PCでDJする場合とは違って、アナログは音の先読みができないので、事前に小節の区切りを計算しておくこともできないですし。ミニマルなテクノやハウスを中心にプレイしているので、たとえ半小節ずれたとしてもビートが合っていればなんとかなります。

__26A0830
Photo: Rakutaro Ogiwara
本番中は、人間がかけている曲とAIの曲のビートがあっているか、視覚的に映される(マス状になっているグラフ)

AIはフロアの盛り上がりを「人間の骨格」をみて判断する

── 先ほど徳井さんが、DJが行なう仕事として挙げられた「かけた曲によってお客さんがどう反応しているかを見て次の曲を選ぶ」ですが、AIも観客の反応を見ることができるのですか?

徳井:こちらはまだ実験中ではありますが、畳み込みニューラルネットワークでカメラの映像から人間の骨格を推定する仕組みをテストしています。

180316_ai_dj_nao_tokui_2
Image: Nao Tokui

これを使って、お客さんがどのくらい踊っているのかを定量化し、AIが盛り上がっていると判断したら、音楽の流れをキープし、盛り上がっていないと判断したら、展開を変えるように違う曲調のものをあえて選ぶようにしてみました。ただ、AIがDJをやっていると、お客さんは「何をやっているのだろう」とじっと見てしまうという課題がありますね(笑)。踊らずに見ている人が多いとAIは「盛り上がっていない」と判断してしまうので。

AIの選曲に驚かされたり教えられたり

── AIの選曲に驚かされることはありますか?

徳井:ありますね。テクノのあるサブジャンルの最新曲をかけたとき、その後にAIがそのジャンルの創始者的なアーティストの曲を選んできたり、あと、MUTEK.JP 2017(2017年11月に日本科学未来館で開催されたイベント)でプレイしたとき、僕が一番好きなハウスのトラックをかけたんです。ペペ・ブラドックの『Deep Burnt』という曲です。そうしたら、なんと次にAIが僕の曲をかけたんです。『Pan Pacific』という曲なのですが、よく聞いてみると確かに構成などが似ていて。単純に僕がインスパイアされて作ったということもあると思うんですけど、自分自身は意識していなかった。かかった瞬間に「あぁそうか」と思ったんです。お客さんの中にもわかってくれた人がいて、おお!という感じになりました。仕込みじゃないか説が出るほど(笑)。

_DSC8446
Photo: 稲垣謙一

── それは鳥肌の立つような展開ですね。

徳井:そう感じました。そういう驚きや発見があるのが、このプロジェクトをやっていて一番面白いところです。AI DJを始めてから、1人でDJをするときの選曲も変わりましたよ。前はなんとなくジャンルやレーベルといった音楽にくっついてくる情報にとらわれていた部分もあったのですが、最近は音そのものにフォーカスしてかけるように意識してます。

── AIの選曲に教えられるところがあったのですね。

徳井:ありましたね。選曲もそうだし、AIがやっていることは自分がやっていることを鏡のように反映しているので、普段自分が何をやっているかを細かく見ることができた。たとえば、お客さんのノリを見て曲を選ぶ部分をシステム化するために、あらためて自分がどんな思考回路で選曲を変えているのかを考えたり。ミックスにしてもきっちりきれいにつなぐだけでなく、多少荒くても選曲が面白ければお客さんは盛り上がるんだということに気づいたり。逆にミックスがどんなに上手くても、感情移入できる対象がないとお客さんは盛り上がらないんだということも学びました。

── AI DJは感情移入できる対象ですか?

徳井:AI DJを始めたばかりのころは、会場のステージにAIを象徴するものは何もなかったのですが、あるときから首を振るロボット(下の写真)を置いたんです。ビートに合わせて首を振ったりと、シンプルな動作でいま何が起きているのかを可視化してくれます。それと同時に、その存在そのものが、感情をぶつける対象として機能することがわかりました。

AIDJ_03
Photo: Rakutaro Ogiwara
写真右手が彼の正面。バック・トゥ・バックで自分の番がくると首を振り、人間の番になるとじっと相手を見つめる

── なるほど、そう考えると自分1人でプレイするときも動きをつけてみようかなと思いますね。

徳井:そうなんです。DJはただミックスすればいいわけではないんだと改めて感じています。つきつめていうと、AI DJという「鏡」を作ることで、人間のDJがやっていることの本質をもっと深く理解したいということなんです。AI DJに対して批判的な見方をする方もいらっしゃると思うのですが、その辺の意図をご理解いただけると嬉しいです。

── 今後の課題や目標はありますか?

徳井:大きくは2つあって、1つはミックスのときのビート合わせを完璧にしたい。これは現実的な問題というか喫緊の課題ですね。

もう1つは選曲にストーリー性をどう持たせるかとうことです。僕以外にも何人かのDJにAIとプレイしてもらったのですが、言われたのが「1回1回の選曲はすごく面白い。『そうきたか』とか『わかるわかる』と思える」と。しかし「全体として、その場をどこに持っていこうとしているのかわからず苦労した」と。たとえば「相手が落としてきたからこちらも合わせて落として、残り時間の半分くらい経過したところから徐々に上げていこう」といった、人間同士のバック・トゥ・バックならば阿吽の呼吸でやっていることがあります。これをいかにAI DJで実現するか、ですね。

AIと人間のコミュニケーション、ますますの広がりに期待

インタビューは以上です。

最初、AI DJという言葉を聞いたとき、究極のデジタルシステムを想像したのですが、アナログのよさをうまく取り込んだ「人間くささ」がとても印象的でした。

徳井さんいわく、「AIのみにDJをやらせる」「AIによって人間のDJを置き換える」といったことは一切考えていないそう。AI DJは「機械化」的な方向性とは真逆の、人間とAIの温かいコミュニケーションを目指したものなのだと強く感じました。

AI DJは、2017年9月にスロベニアとフランスでお披露目され海外進出

Video: Qosmo / コズモ/Vimeo

2017年12月には、山口情報芸術センター YCAMにて、ゲストDJにtofubeatsさんとLicaxxxさんを迎えてイベントが開催されました。

そしてタイムリーなことに、この取材を行なったあとの3月16日、文化庁が行なっているメディア芸術祭でAI DJがアート部門審査委員会推薦作品選ばれました


Photo: 稲垣謙一, Rakutaro Ogiwara(写真提供), Yasuhiro Tani(写真提供)
Image: Nao Tokui
Source: Qosmo AI DJ PROJECT, YouTube(1, 2, 3), Vimeo

(奥旅男)

いつかの未来じゃなく2018年のいま、AIが私たちに何をしてくれているのか、いまのAIを見てみましょう。

    あわせて読みたい

    powered by

    こちらもおすすめ