サーマルカメラで手の動きを追跡する新技術、どんな分野に使えそう?

  • author Rina Fukazu
サーマルカメラで手の動きを追跡する新技術、どんな分野に使えそう?
GIF: コーネル大学



パーキンソン病の早期発見などポテンシャル大!

スマートグラスの未来を考えるうえで、バーチャルスクリーンを操作する技術はひとつの鍵となります。スクリーンをタッチする必要なく、指や手の動きを追う新技術を開発したのは、コーネル大学、ウィスコンシン大学マディソン校の研究者ら。

手指の動きを追う技術、現状は?

こうしたアプローチは先行研究にあるほか、パソコンやスマホの早打ちなど日常的な筋肉の動きの記憶にも似ています。ただ、手指の動きをトラッキングするデバイスが消費者市場で広く出回っていないのには、現在のところ、ユーザーの手の筋肉から電気インパルスを検出できるカメラ、トラッキングマーカーやセンサー頼りになっていることがひとつの要因として挙げられます。ほかに実用的なアプローチはないのか...というのを実証できたのが今回の研究だとか。

kxtatujgnqblbxwjasdb
GIF: コーネル大学

サーマルカメラ✕機械学習でできること

腕時計をつける位置に着用できるFingerTrackウェアラブルは、光学カメラの代わりに低解像度サーマルカメラ4基を装備。手の方向に向けられたカメラが画像を連続撮影し、あらゆる角度から捉えた手のヒートマップのBLOB(バイナリ・ラージ・オブジェクト)を作り出します。

これは肉眼ではよく分かりませんが、4つのカメラが撮影したイメージを統合したものを機械学習が汲み取り、すべての指の位置をリアルタイムで推定します。その精度は、関節の位置も把握できるほどなのだとか!

この技術ならサーマルカメラが完全に位置合わせされていない状態でも、機械学習モデルがヒートマップ画像を使用して、手が止まったり動いたりするのを感知することができるといいます。

将来が楽しみ!

今回発表されたのはプロトタイプで、見た目も未完成な状態なのはGIF画像を見ても明らかかもしれません。では将来的にはどのようなデザインになるのかというと、スマートウォッチなどのウェアラブルデバイスと統合させる方法が考えられています。

また、このテクノロジーを活用すれば手話の自動翻訳デバイスを低コストで開発できるほか、手がどのように動くか、長期的にどう変化するかをトラッキングすることでパーキンソン病の診断や初期兆候の発見にも役立つことが期待されています。今後の活躍が楽しみなテクノロジーですね!

FingerTrackウェアラブル ほしい?

  • 0
  • 0
コーネル大学

シェアする

    あわせて読みたい