ソニー、イメージセンサーとAIを合体させてしまう

  • 17,255

  • author かみやまたくみ
ソニー、イメージセンサーとAIを合体させてしまう
Image: Sony

デジカメに下りてきてもいいんじゃって気が。

ソニーが世界初のAI処理機能を搭載したイメージセンサー「インテリジェントビジョンセンサー」を商品化したと発表しました。動画では「もはや目の前の光を捉えるだけのセンサーではありません。目の前の光から必要な意味、情報を捉えるセンサーなのです」とか言ってますね(かっこいい言い回し!)。小売業や産業機器業界向けのセンサーではあるのですが、技術的におもしろいなーと思ったので紹介してみます。

画素チップの下にロジックチップがある積層構造

image002
有効画素数は約1230万、センサーサイズは1/2.3インチ。価格はベアチップ版が1万円、パッケージ版が2万円(ともに税抜)
Image: Sony

インテリジェントビジョンセンサーは画素チップとロジックチップの二層構造になっています。画素チップの仕事は、捉えた光を信号化すること。信号はロジックチップに回され、イメージ処理・画像処理が行なわれます。ここまでは通常のイメージセンサー同様。異なるのはその先、イメージ処理のあとAI処理がそのまま始まります

image004
Image: Sony

とにかくAI処理が高速なのが特徴なんだそうで。通常のイメージセンサーで撮影した動画をAI処理にかける場合は、1フレームごとにAI処理用の外部プロセッサ等に転送を行なう必要があってリアルタイム性を確保するのが難しいそうですが、インテリジェントビジョンセンサーでは、画像処理+AI処理が1フレームごとに完結。動画を撮影しながら対象物を高精度でリアルタイムトラッキングできるとのこと。

image003
Image: Sony

インテリジェントビジョンセンサーでちがってくるのが出力できるデータ。アウトプットが画像+AIが絡んだデータの2種類になります。

ロジックチップ内にはAIモデルを保持するメモリがあり、ユーザーはここに好きなAIを書き込めます。画像に写っている被写体を認識したメタデータや、画像の特定領域のみを切り出した画像なんかが出力可能です。欲しいデータに応じたAIを入れればよし、と。

image005
Image: Sony

用途として想定されているのは、店舗のカメラ。お店での利用者数カウントや購入された商品の把握・分析などを高速・高精度に行なうのにどうでしょうと。

スペックシートを見ると、4K 30fpsで撮りながら、メタデータも30fpsで吐き出せちゃうらしいです。…お店にあるカメラがα9 IIのリアルタイム瞳AFみたいな精度で見てくるってことですよね…ヤバくないですか。

AI≠クラウド。デバイス側で行なうエッジAI処理へのニーズ

インテリジェントビジョンセンサーが生まれた背景には、AI処理をクラウドではなく、デバイス側で行いたいというニーズがあるそうです。デバイス側で行なうAI処理は「エッジAI」と呼ばれています。

スクリーンショット2020-05-178.26.16
クラウドAIはセンサーとは別にプロセッサとクラウドとの接続が必要
Video: Sony (Japan)/YouTube

クラウドAIといえばGoogleの各種サービス。Google Photosがわかりやすいですかね。撮った写真をGoogleのクラウドストレージに保存させてくれる便利なアプリで、アップロードされた写真はGoogleのAIが自動でタグ付けなどをして整理してくれます。AI処理がクラウド内で行なわれている形ですね。

こういったクラウドAIには弱点もあって、AIに処理してもらうのにデータ転送が必要なのがひとつ。インターネット接続が必要でデータ通信コストがかかりますし、通信による遅延も発生します。ネットを介すのでセキュリティの問題も発生するでしょう。また、画像は個人を特定できるデータでもあるのでプライバシーの問題もあります。Google Photosの場合だと、撮った写真がGoogleのAI処理されるというのは、要はGoogleという企業が個人データを閲覧していることでもあります。

こうした問題を解消するのがエッジAIということです。インテリジェントビジョンセンサーだけあればAI処理ができてしまう。センサー内でAI処理しちゃうので通信による遅延は回避でき、プライバシーやセキュリティに関しても、クラウド側が絡まなくなるので透明性を確保しやすくなるはず。


インテリジェントビジョンセンサー自体は産業用の商品なのですが、技術自体は応用範囲がすごく広い気がするんですよね。デバイス内でAI処理ができたら、より便利になるコンシューマ製品もけっこうある気がします。自動運転車はこういったセンサーを使うことで道路状況認識を高速化できるなら、より安全になるでしょう。ロボットもリアルタイム性が重要なので、こういったセンサーは有効なんじゃないでしょうか。

デジタルカメラに載せてもおもしろい気がします。撮った瞬間にタグ付けが完了してるなら、写真管理の手間ががっつり減るのでは。こういうセンサーを載せたα、出たりしないかな?

Source: Sony, YouTube

    あわせて読みたい