音の「振動」にレーザーを当て、音を分けて抽出できるシステム。故障している車のパーツが音で聞き分けられるかも

  • author Andrew Liszewski - Gizmodo US
  • [原文]
  • Rina Fukazu
  • Twitter
  • Facebook
  • LINE
  • はてな
  • クリップボードにコピー
  • ×
  • …
音の「振動」にレーザーを当て、音を分けて抽出できるシステム。故障している車のパーツが音で聞き分けられるかも
Image: Carnegie Mellon University

かのアレクサンダー・グラハム・ベルもきっと驚く。

高価なギアを揃えずとも、音の振動を捉えることで、複数のギターが演奏されている音を個別に聞き分けることができるというカメラシステムが開発されました。


音楽のあらゆる要素を捉えるには

マイク1台で複数の音楽家たちによる演奏を収録しようとすると、当然ながら1つの録音にすべてが含まれた状態になります。もっとクオリティの高い録音を作り上げようとするならば、それぞれの楽器を分けて収録し、ミックスしなおす作業が必要に。

ソフトウェアを使えば、録音から音の1つ1つを抽出することはできそうです。でも、1つの音源を1つのマイクで録音したものにはかないません。ボーカルから楽器まで、音楽のあらゆる要素を適切に捉えるためには、たくさんのマイクやギアを揃える必要があります。ミキシングボードがあのサイズ感になるのも同じ理由からだといえます。


音の「振動」にレーザーを当てる

マイクを改良して、空気中を移動する音の振動を区別することはできないのか…? 結果としてカーネロギーメロン大学の研究者らが行き着いたのは、ビデオカメラに工夫を凝らすというアイデアでした。

ギターの弦を鳴らすと、空気中を振動する音波が発生してギター本体も振動します。研究では、こうした音の振動にレーザーを当てることで、光の斑点の動きとして可視化。これを解析することで、たとえなんの音も拾えていないようでも、音を正確に再現することに成功したようです。

じつはこのようなアイデアは「光学式マイク」として以前から存在していたといいます。ただ今回の研究のポイントは、ごくふつうのビデオカメラを使っていること。高価なギアを使用せずともできることを証明しました。


可視化した音の動き

人間の可聴領域では、高速で振動する音を毎秒2万回感知できるといわれています。これと同じ速さの振動を捉えようとすると、一番手っ取り早いのはやはり高価な高速度カメラに頼ること。一方で今回のシステムで使用しているのは、毎秒63フレーム(fps)のカメラ。これでは1秒間に2万回という高速な振動は捉えられないのでは...?

1
GIF:Mark Sheinin / YouTube

この問題のブレイクスルーとなるのが、グローバルシャッターのカメラ(映像の全フレームを撮影する)とローリングシャッターのカメラ(センサーの上部から下部まで1ラインごとに撮影する)という2種類のカメラを同時に使用すること。その様子は上のGIFの通り。前者のカメラははっきりとしたパターンが確認できるのに対し、後者は歪みが見えたり、時間の経過とともに前後に動いたりします。

研究では、独自のアルゴリズムを使って各カメラで撮影されたフレームを互いに比較することで、高価な高速度カメラに匹敵する毎秒最大6万3千回のパターンの動きをより正確に特定することができたといいます。

Video: Mark Sheinin / YouTube


どんな活用方法がありそう?

さて、かなりうまく作られたこのシステムですが、このアプローチによってどんなことが可能になるのでしょうか?

1つは、別々のソースで収録された音声を個別に抽出することが簡単になりそうです。たとえば複数の音楽家たちがそれぞれギターを鳴らしたり、違う曲を演奏したりしている状況でも、音を抽出できることになります。従来のマイクほど音質は澄んでいないにせよ、ライブパフォーマンスで各楽器の音を個別にモニターする作業が楽になるかもしれません。

また、音楽以外の分野では、故障している車や工場の機械などの音を拾って、どのパーツに問題があるか聞き分けることも可能になるかもしれません。

簡単に複数の音を分けて抽出できる…この技術を使って他にはどんなことができるのか、ポテンシャルはたっぷりありそうです。