それはかつての感動の再演と、まだ見ぬ感動への序曲。
近年、ヤマハはAI技術に注力しています。NHKスペシャルで｢AIでよみがえる美空ひばり｣なる番組が放送されましたが、実はあれにもヤマハのAI技術が使われています。AIを用いれば、美空ひばりだけでなく、たとえばビートルズやマイケル・ジャクソンなどのスタープレイヤーを蘇らせ、彼らのパフォーマンスにまた触れることができるのでしょうか？
そうした驚くべき可能性を含んでいるのが、今ヤマハがすすめているプロジェクト｢Dear Glenn｣。グレン・グールドというカナダ出身の名ピアニストがいまして、彼の斬新なピアニズムと大胆な解釈は、聴衆を熱狂させてきました。このプロジェクトは、グレンの演奏をAIをもって蘇らせるものです。
自動演奏ピアノは昔からありますが、その演奏は、特定の誰かが弾いたモノではありません。ショパンやシューベルトといった偉大な先人の楽譜はあれど、その演奏法やスタイルのようなものは記録しようがありませんから。演奏には奏者の解釈があり、間があり、楽譜上には記載できない要素こそが、その演奏を本人たらしめています。
ヤマハはAI（機械学習）によって、奏者の特徴やエッセンスを音源から解析し、データ化しようとしています。すなわち｢Dear Glenn｣は、グレン・グールドの奏法を科学し、深層学習（DNN）という最新のAI技術で彼の演奏を蘇らせる世界初の試みです。世界最大規模のメディアアートの祭典｢アルスエレクトロニカ・フェスティバル｣で初めて公開され、非常に大きな反響を呼びました。
蓄積された過去の演奏から、新たな音楽を作り出す。その仕組みやねらいはどこにあるのか、プロジェクトの中心人物である前澤陽さんと嘉根林太郎さんにお話をうかがいました。
AIが録音音源からピアニスト｢らしさ｣を学習
──名ピアニストと呼ばれる人物はたくさんいると思いますが、なぜAIの自動演奏にグレン・グールドを選んだのでしょう？
嘉根さん：彼は非常にオープンマインドな考えを持っていて、演奏家人生の終盤には、ライブ演奏会よりも録音を重んじ、録音分野における新しいテクノロジーへの考え方も意欲的だったんです。そうした彼のマインドやテクノロジーに対する姿勢は、今回のプロジェクトと親和性があるのではないかと考えました。もちろん、個人的にも｢もしグレンが今いたならば、このAIを見てどう思うだろう｣といったところに興味がありました。
また、彼はバッハの｢ゴールドベルク変奏曲｣のアルバムを2枚出しているんですけど、晩年の演奏で最後に弾いていたピアノがヤマハなんですよ。そうした関わりもあって、ある種我々からのメッセージのような意味で｢Dear Glenn｣としました。
前澤さん：技術的な要因ですと、ちゃんと本人っぽさが再現できているかの評価ができるくらいキャラが立っている演奏者という意味でも、グレン・グールドはわかりやすくて特徴的な演奏者でした。
──具体的にどのような方法で人間らしさ（グレン・グールドらしさ）を学習させ、どのような部分に活かされているのでしょうか？
前澤さん：基本的には、グレン・グールドが演奏した音源とそれに対応した楽譜データを照らし合わせて、楽譜の局所的なパーツについてどういう強弱、タイミング、長さで弾くのかというものを解析しました。このときに深層学習を使って、楽譜とグレン・グールドの弾き方の対応関係を学習させます。これによって、楽譜上のどういう要素が演奏のどの部分に作用しているかが学習できるんです。このデータを用いることで、未知の楽譜を演奏したときでも、その楽譜に含まれている局所的な特性を学習データと照らし合わせることで、グレン・グールドらしさを転写して彼らしい演奏を実現しています。
──実際の演奏データとしては、Midiデータを生成してベロシティやタイミングを微調整し、グレン・グールドらしいタッチ感などを再現してるのですか？
前澤さん：おっしゃるとおりです。DTMでいうところのMIDIでの表情の打ち込みを、AIが自動的にやってくれているイメージです。ディスクラビア（ヤマハの自動演奏ピアノ）を鳴らしたいので、今回はMIDIデータを生成しています。
人間とAIがいっしょに演奏する未来
──一見（あるいは一聴）すると、一般的なピアノの自動演奏のようにもみえるのですが、今回のAI演奏と自動演奏との一番の違いはなんでしょう？
前澤さん：演奏時のスタイルがグレン・グールド風になっているというところですね。過去の事例だと、2018年のSXSWでヤマハが展示していた、プレイヤーの演奏にリアルタイムで伴奏をつけてくれるAIの演奏がありました。あの演奏は自動演奏ですが、特定の個人を想起させる演奏ではありません。今回のAI演奏は、どんな曲でもグレン・グールド風に演奏できるという点で、今までの自動演奏と大きく違いますね。もちろんグレン・グールド以外のデータも学習できるので、あたかも伝説的なピアニストとセッションしているような体験が味わえます。
──人とアンサンブルができるAIは、いわゆるぼっちプレイヤーにとってはとても嬉しい存在だと思います。今後、こうした自動演奏技術はプレイヤーにとってどんな存在になるのでしょう？
前澤さん：ひとつは、一人で演奏する際の付加価値の向上です。AIを相手に協奏できるので、一人ぼっちで弾くよりも、豊かな演奏体験が楽しめます。あるいは、AIの演奏にプレイヤーがインスパイアされることで、プレイヤーの演奏技術も切磋琢磨できれば良いなと考えています。
嘉根さん：仮に、多くのピアニストの表現方法をアーカイブして後世に伝えることができたら、今までは音源として記録されたものを聞いていたのが、もっと直接的に音楽を感じることで｢こういう弾き方がグレン・グールドらしさなのか｣と学習できるのではないかとも思っています。今を生きるプレイヤーの一助になれば、音楽文化への貢献にも繋がるかな、と。
──演奏のスタイル、指向性をも、遺産として残せるかもしれないということですよね。蓄音機のおかげで音そのものを記録できるようになったのと同じくらい、偉大なことのような気がします。
嘉根さん：そうした文脈でも画期的な取り組みと言えるかもしれませんね。
AIのチカラで音楽文化を後世に伝えたい
──今回のAI演奏を使った技術は、将来的にはユーザーがアプリや自宅などで使えるようになるんでしょうか？
嘉根さん：その部分はまだ検討中で、そもそもこの技術をどうやって社会的に実装していくかという部分も思案している段階です。
──例えばAIによる演奏で、ジャズのようなアドリブ性の強い音楽も再現できるんでしょうか？
前澤さん：そこは今回のプロジェクトの目標ではないのですが、そうした問題設定に取り組んでいる研究機関もありますし、いずれは実現できるんじゃないかなと思います。
嘉根さん：即興的な自動生成ができるようになって、そこにチャーリー・パーカー風、あるいはビル・エヴァンス風にといった演奏者の味付けも、できるようになるかもしれません。
──プロジェクトのPV内で｢生き返らせる｣という言葉がありました。最近だと｢AIでよみがえる美空ひばり｣なるプロジェクトもヤマハが手がけていましたが、過去の偉大なプレイヤーやパフォーマーをAIで再現することの最終的な目的はなんなのでしょう？
嘉根さん：Dear Glennにおける企画的なお話ですと、すこし漠然としてしまうのですが、｢いかに音楽文化に貢献できるか｣です。より良い音楽が生まれたり、あるいは後世に残せたり。良い音楽というのはやはり素晴らしいものですから、そうした文化の前進の一翼を担えれば良いなと思っております。
前澤さん：研究的には、生き返らせることは本質的な目的ではなく、そのプレイヤーの演奏の背後にある弾き方や表現をいかに記録して解釈できるかというところが主眼になってきます。過去の録音方法は波形というデータを残すことで、我々はそれを比較したり学習の参考にしていました。一方でAI演奏の場合は弾き方自体をアーカイブでき、例えばそのアーティストが弾かなかった曲も再現ができるようになります。これによって、今を生きる人間に気付きを与えることができると考えています。
──人間ならまったく同じ演奏の再現は不可能、一方でAIなら毎回違う演奏は不可能（データを再現してるだけだから）と思うのですが、今回のプロジェクトはその両方を兼ね備えてると感じました。これは人間の演奏を超えたといえるのでしょうか？
前澤さん：今回のAI演奏は、人間とアンサンブルすることで毎回違う演奏を生成することができますし、ソロのAI演奏でも毎回違うニュアンスにすることは可能なんですよ。そういう意味でいうと、同じ曲を演奏しても毎回違う演奏になるので、自動演奏では出しにくいところであり、かつ人間らしいともいえますね。
──なんというか、これからの演奏者はうらやましいですね。楽譜や高解像な音源だけでなく、偉大なプレイヤーの弾き方そのものも教師データとして参照できるというのは。
前澤さん：そうですね（笑）。やっぱり表現力のあるプレイヤーと一緒に演奏すると気付きがあるんですよ。自分の想定していなかった演奏や返しをされるとハっとしますし、AIと一緒に演奏していて色々な気付きが得られれば、人間とAIで切磋琢磨して面白い音楽を作り上げていければ素敵だなと思います。
──近年のヤマハは、AI演奏にすごく注力しているように見受けられます（コード解析やメロディーを生成するアプリなども）。これからのAI×音楽の未来に、ヤマハは何を見出してるんでしょうか？
前澤さん：我々は、人が一生涯に渡って楽器を楽しめる要素を提供したいと思っていて、こうしたAI技術などもそのために研究しています。多くの人とアンサンブルしたり、伝説的なミュージシャンとセッションしたりというのなかなかできないことだと思うのですが、もしそれが簡単にできたなら楽器を弾くことそのものが楽しくなり、音楽というものに継続してのめり込めるのではないかなと。
AIがコードを採譜してくれることで自分の弾きたい曲が弾けるようになったりとか、それによってモチベーションも維持されたりとか、そうした面にAIが活用できれば良いなと思っています。
