ピクセルごとに距離・深度情報がついてくる画像。
新しいHTC One M8が発表されましたが、その刷新されたカメラについてはすでにいろんな噂がありました。背面には大小ふたつのレンズが搭載されていて、レンズ2個ってどういうこと？って言われてきました。3Dカメラか、ひとつが望遠でひとつが広角か、Lytroみたいなライトフィールドカメラなのか。…そんな予測は全部ハズレでした。
このデュアルカメラがやろうとしてることは、少なくともスマホ／携帯電話用カメラとしては初の試みです。そしてこれは、写真の未来を示してるのかもしれません。
まず基本的なところを整理すると、HTC One M8のメインカメラは初代HTC Oneと同様の400万画素UltraPixelで、レンズのF値は2.0です。このレンズはまさに初代と同じだし、イメージセンサーもベースは同じ、でも全体としては全く新しいものになっていて、サプライヤーも代わりました。新センサーでは、日光下の写真の彩度と色の精度がぐっと高まります。
でも一番の目玉は、カメラをふたつ使って実現しているその仕組みです。Duo Cameraと名付けられたこのシステムでは、2番目のレンズが各ピクセルに対して詳細な距離・深度情報を取得するんです。これによってカメラは通常のカメラと同じくらい速く撮れつつ（実際使ってみると今までで最速でした）、なおかつ撮影後の加工も深いところからできて、被写体が本当に背景から立ち上がってきます。
このユニークなカメラの詳細を聞くべく、HTCのカメラ開発部門ディレクター、サイモン・ホワイトホーンさんと話をしてきました。Duo Cameraの生みの親として、熱く語ってくれましたよ。
Gizmodo（以下G）：新HTC Oneのカメラに関して、全体的な目的は何ですか？ホワイトホーン氏（以下SW）：このカメラは、我々が思うイメージングの次の波に対する最初のチャレンジです。僕らはコンピュテーショナル・イメージング（単に像を撮るだけでなく、センサーなどで付随情報も取得して加工する技術）の初期のステップやコンセプトプラットフォームは今までいろいろ見てきて、業界全体で、もう長いこと話題にはしてきました。でも僕らは、今こそそれを製品化してみんなの手に届けて、そこからさらに学んで開発に生かすときだと思ったんです。僕らは本当に、コンピュテーショナル・イメージングとかインフォメーション・イメージングの次の波が、イメージング技術のあり方をいろんな意味で切り開いていくと思っています。これまでフィルム時代があり、デジタル時代に移行してきましたが、今僕らは、いわばインフォメーション・イメージング時代に移行しつつあります。そこではカメラがもっと賢くなって、被写体が何なのかを認識し始め、被写体に対して付加情報を割り当てることができます。そこからいろんな可能性が生まれて、A）画像を加工したり、B）データや情報をそこから引き出したり、できるようになるんです。
実は突き詰めると、僕ら自身まだこれらが何に使えるのかまだ完全にはわかっていません。だからこそユーザーに使ってほしいというのもあります。今はすごくワクワクするフェーズです。
G：そうですね、つまりLytroで垣間見た感じですが、コンピュテーショナル・イメージングをスマートフォンでというのは、また違ってきますね。SW：私はLytroでレン（創業者のRen Ng氏）が実現したことは本当にすごいと思ってます。本当に追求する価値があります。あの技術は、それで解決できる問題を探しているような段階だと思います。ただちょっと残念なのは、あれが｢フォーカスの問題｣を解決するもの、とされてることです。僕はそもそもフォーカス問題ってあんまりなかったと思ってます。僕らはHTC One M8のカメラを開発しながら、写真の感情的な意味は何か？に注目するようになりました。どうすればそこにある全ての情報を引き出せて、より多くの意味を取り出せるだろうか？と。目指したのは、記憶を捉えるだけでなく、体験を拡張できるようなカメラです。それがイメージングの未来だと思います。単に撮るだけじゃなくて、テクノロジーを使うことで、体験を拡張できるようなものです。
G：で、簡単に言うと、Duo Cameraはどういう仕組みなんでしょうか？SW：ハッ！ まあ、基本は既存の技術です。脳がやってるのと同じように、世界の立体ビューを撮るんです。3Dで見て、そこに自分の体験に基づいて距離と速度の値を割り当てると。Duo Cameraがやってるのは、要するにこんなことです。つまり立体ビューですが、あとでそれを加工できるようにするには、個々のピクセルに値を割り当てなくちゃいけません。このシステムの頭脳がやっているのは、センサーが見たものに値を割り当てることです。ここから得られるメリットは、すでに少し見えています。たとえば、高価なレンズでよくある、被写界深度の浅い｢ボケ｣的なエフェクトがかけられます。でも使い方はもっとたくさんあります。我々はまだ表面をひっかいた程度で、速度測定の精度もまだまだですが、このプラットフォームをもっと改善すれば、もっと面白いデータを引き出せるようになるはずです。いわば半導体が、人間が生体システムとしてやってることを真似てるんです。
G：つまり2番目の小さなカメラは、写真の画像情報は撮ってないんですね？ 取得してるのはただ深度情報だと。SW：そうです。今、2番目のセンサーとレンズは画像ファイルに対して写真データを追加してはいません。そもそもUltra Pixelセンサーをふたつ搭載するのがムリだし、あまり意味もありません。ただ将来に向けて検討してることがあるにはあります。でもそうですね、今の仕組みでは、セカンドカメラは写真に追加データを付与するだけのためにあります。G：なるほど。じゃ、たとえば写真を撮ったとき、｢フォーカスが思ってたところと違ったな｣と思ったとします。ふたつ質問ですが、まず見た目が変にならない範囲で、どの程度フォーカスを修正できますか？ ふたつめに、それをどう実現してますか？SW：さっき、画像の個々のピクセルに値を割り当てるって言いましたよね。つまり個々のピクセルについて、カメラからの距離を把握してるんです。だから（一部のピクセルを指定すれば）、フレームの中のどこにフォーカスしたいかわかります。そこはたとえばLytroとは違います。彼らは複数の露出で撮るんですよね。だからあのシステムは動く被写体には向いてないし、しかもレイヤーがあるので低解像度のすごく重いファイルができてしまうんです。僕らはそうじゃなく、基本的にピクセルに情報を割り当てるので、距離のデータを引き出して、それを元にフォーカスさせる部分を指定できるんです。たとえばボケ効果に関していうと、遠くにハイライトがあればそこへの距離も把握してるし、それが撮りたい被写体の顔より遠くだってのもわかってます。それを顔認識機能とか、他の独自のコンピューター処理と組み合わせることもできます。あんまり秘伝のタレをバラさないようにしなきゃいけませんが、とにかく僕らの技術では、シーンの中のオブジェクトへの距離を認識できてるので、フォーカスも後から変えられるんです。基本的に今はゾーンに分ける仕組みで、距離の分解能のレベルは処理能力と速度の係数みたいなものになってます。だから端末の性能を最大限生かすための決断には頭を使いました。
通常のレンズを使うとしたら、フォーカスしたい部分を囲んで、背景は落として、ボケさせます。Duo Cameraでは、まず最初はポートレートを優先にして背景を落とすような推測がされてます。でもそれは必要に応じて修正できます。だってそれに必要なデータは、ピクセルごとに割り当てていますからね。Photoshopだとレンズとかブラーエフェクトがありますが、HTC One M8のカメラでは、同じようなことが特定の距離範囲内のピクセルに対しては自動でできます。つまり単にフォーカス修正だけじゃなく、レイヤーやマスキングや深度を画像に付加していると言えます。
G：つまり基本的に、深度情報がセカンドカメラから付加されていると。で、アプリはそれを使って、たとえば1～1.5メートル内のピクセルだけ強調して、2メートル以上離れたピクセルはぼかすとか、そういうことができるんでしょうか？SW：ざっくり言えばそうです。基本的に、ふたつのカメラから来るデータを頭脳が関係付けて値を割り当てて、後で加工できる状態にします。さっき話したように、このシステムはまだ胎児みたいな段階です。だから将来修正していけば、もっと洗練されて、ディテールも撮れるようになるし、処理能力が向上すればもっとできることもあるでしょう。あと楽しみなのは、このカメラ用のSDKをリリースすることです。なのでデベロッパーのみなさんが、我々自身が想像するより良い使い方を考えてくれればうれしいです。すごいサードパーティアプリができることを期待してます。
G：それから、Smart Flash 2.0についてもちょっと聞いてもいいですか？SW：えーと、露出測定についてはM7（初代HTC Oneのコードネーム）でもすごくよくできたと思ってます。フラッシュが最悪になるのは、基本的に見えたであろう表情を全部ぶちこわしにするときですよね。デュアルフラッシュ自体は新しいものじゃないんですが、僕らそれの違いはアルゴリズムの賢さです。これによって、シーンに最適な温度と光を与えることができるんです。だから基本的に、僕らは環境を一瞬で測定して（カメラはシャッターボタンが押されるより前に立ち上がっているので）、そして被写体からの距離と周りの色温度に基いて計算して、肌色を一番きれいに見せるようにフラッシュを設定します。本当に微妙なところを追求してます。暗所でのフラッシュ撮影に微妙さを取り戻そうとしています。もちろん、UltraPixelもそれには役立つんですが、照明が良くなるだけでいいときもあります。それから高いレートでサンプリングするので、シーンに合う色温度を1000パターンも作りだすことができます。
G：最後に一言、何かありますか？SW：一番大きいのはさっき言った通り、この新しいイメージング技術を使って何をしたいか、今ユーザー側が声を上げるチャンスってことです。僕らは性能をもっと高めたいというのはもちろんありますが、この技術には他の使い道がもっといろいろあると思うので、その可能性が見られたらすごく面白いと思います。僕らは基本的にホリスティックなシステムを作りたいと思っています。つまりコンテンツを選んで、それをパブリッシュすることもできるようなものです。結局、写真を撮る理由は共有することですよね。だから共有する楽しさをもっと高めるにはどうするかってところに興味があります。
以上、HTCのホワイトホーンさんへのインタビューでした。｢ホリスティックなシステム｣という高い理想を持ちつつ、新しい技術をユーザーの手に委ねて使い道が生まれるのを見る、というのはすごくワクワクしますね。HTC One M8のカメラ以外も含めた端末全体の評価に関してはレビューもご覧ください！
Brent Rose（原文／miho）
