音楽を目だけで演奏できる時代になりました。
本日、とある場所でクリスマスコンサートが開催されました。ただこのコンサート、他のコンサートとは一風違います。ピアノの演奏者は手や腕を使わず、目線と目の瞬きだけで音楽を奏でる世界初のコンサートなのです。
「Eye Play the Piano」と呼ばれるこのピアノ。ヘッドマウントディスプレイ「FOVE」の持つ、目線をトラッキングするテクノロジーを活かすことで、演奏者の目の動きだけで音楽を奏でることを実現しました。
FOVEをかぶってみると、そこには音符パネルのインターフェイスが映し出されています。このパネルに目線を合わせ瞬きをすることで、そのパネルに当てられた音がMIDI信号としてピアノに伝わります。ピアノには人の力を使うことなく自動的に鍵盤が叩いて音が鳴るようプログラミングが施されているので、この音符パネルを順序良く、リズミカルに奏でれば、音楽を演奏できるようになるわけです。単音と和音でモードを切り替えることもできるので、様々な楽曲を演奏することも可能だということです。
今回、「Eye Play the Piano」を使って演奏してくれるのは沼尻光太くん。身体的にハンデキャップのある沼尻くんは、音楽が大好き(特にUKロック!)。目の動きでグランドピアノを弾くことができるようになると聞いて、「Eye Play the Piano」の開発に携わってくれたのだそうです。
いままで触れたこともないデヴァイスへの慣れ、複数ある音符パネルをリズムよく演奏して音楽を奏でるための練習、そしてFOVE内に映し出される眼線のトラッキング精度の調整につぐ調整。沼尻くんと「Eye Play the Piano」の開発メンバーはお互いに意見を出し合い、ともにクリスマスコンサートへ向けて準備を進めていきました。
そして迎えた本番当日、コンサート会場である沼尻くんが通う筑波大学附属桐が丘特別支援学校の体育館に多くの父兄が詰めかける中、世界初のコンサートが開催されたのでした。
沼尻くんがグランドピアノを弾くために使った「Eye Play the Piano」は全国の肢体不自由特別支援学校に寄付することを目指し、現在Just GIvingにてクラウドファンディングを行っています。
このコンサートを支えたテクノロジーの詳細に関しては、引き続きお伝えしていきます。
source: Eye Play the Piano, FOVE, 筑波大学附属桐が丘特別支援学校
(和保皓介)