深度カメラないの？ まじで？

株式会社ネクストシステムが、スマホのリアカメラだけで全身のモーションキャプチャができる骨格検出システム｢VisionPose Single3D（Single3D）｣のデモを公開しました。どこまで手軽になるの、モーキャプ。

この精度のキャプチャーがスマホ1台でできるとは…。一時期、iPhone XのTrueDepthカメラを使ったトラッキングアプリが流行りましたけど、こちらは深度センサーに依存せず、ディープラーニングによる骨格推定を用いてキャプチャー（しかも全身）しています。なのでiPhone X以外でも使えるし、なんならPCのWEBカメラでも使えちゃうという。

もともとVisionPoseシリーズは、ネクストシステムが提供しているWEBカメラとディープラーニングを用いた骨格座標の検出システム。Single3Dはそのシリーズの1つという位置付けです。iOS版はSwift向けのライブラリとして、PC版はC#/C++向けのライブラリとして、SDKが2019年6月より販売予定。

スポーツの動作解析や監視カメラの不審者検知などにも有用ですが、VTuber目線で見るとLive2Dでバストアップを動かしていた頃とは隔世の感だなぁと。HTC Viveなんかは肘や腰にトラッカーを装着して関節を認識してましたし。単眼カメラでの全身トラッキングは、ディープラーニングと相性が良いのかもしれませんね。

https://t.co/Iimwir6VLG を動かしてみました。普通のwebカメラでボディトラッキングできます。openposeと違って三次元座標が取れるのが特徴です。バ美肉と相性良いかも？ pic.twitter.com/MA2ht2kW4Z

— タイビィ@猫の尻尾 (@tiby_white) 2018年8月29日

そのうちモーションキャプチャもマーカー無しでできたりするんでしょうか。バ美肉の参入ハードルどこまで低くなりゆくの…！

Source: アットプレス via MoguraVR News, YouTube1, 2, Twitter