ギズモードジャパン

KDDI研究所と早稲田大学理工学術院甲藤二郎教授らの共同研究グループが、ネット上から歌詞の印象に合う写真を自動で収集し、楽曲に合わせて写真を再生することができる楽曲スライドショー自動生成システムの開発に成功したそうです。

このシステムを使うと、歌詞付きの楽曲を用意するだけで、手軽にいい感じの楽曲スライドショーを自動で作成することができるそうです。

これまでは、市販のソフトを利用して同様のことをやる場合、歌詞の印象に合う写真の収集や選定だけでなく、歌詞に合わせた写真の切換タイミングの調整が必要で、完成までに相当の時間がかかっていました。今回開発されたこのシステムを使用することで、時間のかかる部分（収集、選定、切換タイミングなど）を自動で行うことで作業時間を大幅に短縮できるようになるとのことです。

今回開発されたシステムの大まかな流れをまとめると、以下のようになるそうです。

1) 印象推定
　　歌詞全体から受ける印象情報（季節や時間帯など）を推定

2) キーワード抽出
　　歌詞の印象に合った写真をFlickrなどのタグ付き写真共有サイトから収集するための検索キーワード抽出

3) 関連度計算
　　収集したタグ付き写真からの歌詞のイメージに合う写真の自動選定

4) 自動切替制御
　　歌詞の長さや進行に同期させるため、写真の切替タイミングを計算

なお、このシステムの精度を確認するために、一般の20～50代の男女42名に、従来方式（歌詞に含まれる単語のみで写真を検索する方法）と比較してもらったそうです。
その結果、約8割の人がこのシステムで作成した楽曲スライドショーの方が歌詞の印象に合っていると答えそうですよ。

今後はシステムの高速化を行った後、デジタルフォトフレームやスマートフォン上で動く楽曲スライドショーアプリとして実用化を目指しているそうです。
動きのない写真もエフェクトを加えて繋ぎ合わせると、動画っぽく見せることもできると思うので、その辺りも強化すればカラオケの映像としても使えるんじゃないかなと思います。

今後の更なる進化に期待ですね！

楽曲スライドショー自動生成システムを開発～歌詞に適した良質な写真をネット上から収集して自動生成～[KDDI研究所]
理工・甲藤研究室とKDDI研究所、楽曲スライドショー自動生成システムを開発[早稲田大学]

（KENTA）