リアルとバーチャルが融合する世界へ。センシング技術が創り出す新体験
2023.01.23
近年、スマートフォンカメラの多機能化が進んでいます。被写体の背景ぼかしなどの写真撮影時のサポートにとどまらず、AR・VR技術を活用したゲームや空間を使った新感覚のコミュニケーションなど、1台のスマートフォンでさまざまな体験をすることができるようになりました。これらに貢献にしているのが、イメージセンサーの「センシング技術」です。
センシング技術とは、人間の眼でとらえられる情報だけでなく、人間の眼では見えないような情報も取得、認識する技術のこと。近年、センサー信号処理の高速化に伴い、カメラデバイスにおける利用が増加しています。
そうした中、ソニーセミコンダクタソリューションズ株式会社(以下、SSS)は、センシング技術とイメージング技術を組み合わせて、モバイル用のさまざまなサービスを世の中に生み出しています。
今回は、その研究開発の最前線で奮闘する若きエンジニア、システムソリューション事業部の栄元優作と、モバイルシステム事業部の馬場翔太郎に話を聞きました。
栄元 優作
ソニーセミコンダクタソリューションズ株式会社
システムソリューション事業部
プロフィール:2020年ソニー株式会社入社。モバイル用ToFイメージセンサー訴求のためのPoC開発に従事し、Unityを用いたAR・VRアプリの開発、手や全身の動きを認識するジェスチャー認識のアルゴリズム開発を担当。2021年にはdToF用ARアプリの開発や3Dモデリングライブラリの改良を実施。また、ToFを活用したAR開発用SDK「ToF
AR」の開発にも携わり、2022年6月に一般公開を開始。
馬場 翔太郎
ソニーセミコンダクタソリューションズ株式会社
モバイルシステム事業部
プロフィール:2016年ソニー株式会社入社。モバイル用カメラモジュールの位相差AF機能評価に従事。2017年よりToFカメラ用SW/Calibrationシステムの立ち上げを担当。その後、ToFカメラのリファレンスデザイン開発及び評価に参画し、システム開発、内部評価、スマートフォンメーカー、Module
integratorのカメラシステム導入サポートやToFを用いたアプリケーション機能評価等を実施。2021年からはdToFシステム開発に携わり、システムアーキテクトを担当し現在に至る。
ToFイメージセンサーを活用したアプリ開発
センシング領域において、SSSの代表的な技術がTime of Flight(ToF)イメージセンサーです。これは、カメラが照射した赤外光が被写体に当たり、その反射光が戻ってくるまでの時間から被写体までの距離を測定する技術のこと。これによって眼ではとらえられない情報、つまり距離や深度(Depth)に関するデータを獲得できるようになります。このToF技術を活用して、AR/VRアプリ開発に取り組むのが栄元です。
「ToFイメージセンサーから取得した深度データや、それを用いた認識機能をスマートフォンで簡単にユーザーが扱えるAR開発用SDK(Software Development Kit)の『ToF
AR』を公開しています。また、そのSDKを使ってアプリを作っています」
ToF
ARでは、SSSとソニーグループのR&Dセンターが共同開発した独自のAI処理技術によって、手や指の動きまでスムーズに描写することが可能です。栄元はこれを活用することで、具体的には、VTuber(バーチャルYouTuber)を再現したようなゲームアプリや、ユーザーの顔や手の骨格などを認識して、操作するアプリなどを開発しています。
こうした取り組みの背景には、より多くの人がAR/VRの世界を体験して、馴染みを持ってもらうことで、ToFイメージセンサーなどのセンシング技術を広めたいという思いがあります。
測距によって自然な背景ぼかしを実現
では、ToFイメージセンサーを搭載したスマートフォンカメラによって、ユーザーはどのような体験ができるようになるのでしょうか。具体的なユースケースを見ていきましょう。
一つは、背景をぼかした写真撮影が可能になることです。
「最近はいろいろなスマートフォンカメラにもぼかし機能が備わっていますが、ToFイメージセンサーは背景と前景の切り分けによって、ぼかしを実現しています。一般的なカメラのRGB画像だけでもある程度のことはできますが、たとえば、後ろの人と似た柄の服を着ているなど、シーンによってはうまく処理ができないこともあります。センサーでリアルに距離を測ることで、前景と背景をしっかりと区別します。ToFイメージセンサーの技術を活用することで、より賢くぼかしの処理をできることがメリットだといえます」(馬場)
もう一つは、オートフォーカスに関するものです。
「ToFイメージセンサーはカメラアシストの機能にも使われています。暗いところでオートフォーカスを合わせようとしても、現状のイメージセンサーだけでは難しいことがあります。ToFイメージセンサーは赤外線を飛ばして、実際に被写体までの距離を測ることができるので、どんなに暗い場所でも問題なく対象物にフォーカスを合わせることが可能なのです」(馬場)
また、ToFイメージセンサーで取得できる深度データを使うことで、よりリッチなコンテンツをユーザがースマートフォンアプリで体験できるようになります。
「ToF技術を活用するアプリを使えば、バーチャル空間で洋服の試着やインテリアのコーディネートも行うことができます。たとえば、自分の足の骨格やサイズを認識し、購入を検討している複数のシューズをアプリ上で試着させることで、カラーやデザインが合っているかやサイズがフィットするかを確認しながら買い物を楽しめます。また、家の中の家具の形状や間取りをスキャニングし、それまでなかったラグや家具、観葉植物などを配置することで、自分の部屋に合ったアイテムをイメージすることも可能です。」
この深度や距離のデータは、ToF ARにおけるAI処理技術のさらなる向上にも役立ちます。
「従来のディープラーニングはRGB画像が主流になっていました。けれども、それだけではなく、デプスマップ(深度マップ)や距離情報を与えることで、新たなAIの開発や精度アップにもつながっていきます」
このように、ToFイメージセンサーを実装したスマートフォンカメラによって、ユーザーは多くのメリットを享受できるようになります。こうした新しい機能の提案は、SSS側から行うこともあれば、メーカー側からの要望も少なくありません。ただ、いずれにしても、ユーザーの声や期待に応えるべく、スマートフォンの新機種が出るごとに、機能拡張や機能改善に取り組んでいると、馬場・栄元は胸を張ります。
顧客要望に柔軟に対応できる技術力と総合力
入社2年目からToFイメージセンサーの開発に携わる馬場から見て、SSSの強みは技術力と総合力だといい切ります。
「多種多様な顧客のニーズにも対応できることに加えて、センサー単体ではなく、カメラシステムそのものを開発できる技術力があります。また高性能なシステムを作り上げるのに必要なレーザーやレンズなどのスペック情報をリファレンスとして用意するため、総合的な提案が可能です」
この点について、栄元も力強く同調します。
「できるだけ大きな画素で撮りたい、あるいは消費電力を最小限に抑えたいなど、顧客であるスマートフォンメーカーやアプリ開発会社ごとに実現したいことはさまざまです。それぞれにカスタマイズしたものを提供するだけでなく、顧客の要望を超えるような提案ができるのも、SSSの技術力があればこそ。」
もっと多くの人たちにセンシング技術を活用してもらいたい
一方で、課題もあります。モバイルの世界においてセンシング技術はまだまだ一般的ではないことです。技術とは、多くの人々に使われて、初めて価値が出るもの。そのためには、ToFイメージセンサーが日常的に活用されるためのアプリやソリューションを提案しなければならないと馬場は訴えます。
「ニワトリが先か、タマゴが先かという話で、できるだけ多くのスマートフォン端末に、ToFイメージセンサーを搭載していく必要があるし、かたや、ToFイメージセンサーを活用したアプリをどんどん増やしていく必要もあります。メーカーやアプリ開発者、ユーザーなどさまざまな人たちにセンシング技術に触れてもらうことが何よりも重要です」
今まで以上に多くの人たち、かつ幅広い層にリーチするため、栄元らアプリ開発チームも知恵を絞ります。AR/VRのゲームアプリだと限られたユーザーしかまだ興味を示してくれないという反省もあるからです。
「空中で指をタップしたり、スライドしたりすることで、スマートフォンにおいて動画再生やブラウジングができるようになれば便利だと思います。また、コンビニなどに置いてある端末のモニタにタッチせず、非接触で操作したい人にも役立ちます。ARやVRが人々の日常に溶け込むようにするには、こうした社会性のあるアプリが不可欠だと考えています」
もう一つは消費電力の効率化です。センサーからレーザー光を大量に飛ばせば、その分精度は上がりますが、比例してセンサーに関わる消費電力も跳ね上がってしまいます。加えて、精度の高いセンシングに必要な消費電力を抑えるための設計が必要となるため、開発コストも高くなってしまうのです。
「たとえば、カメラアシスト機能を使う場合、通常のカメラアプリが起動した状態で、ToFイメージセンサーも動かすため、どうしても消費電力は上がります。さらにレーザーを強く照射すれば遠くの距離まで撮影することも可能ですが、電力消費量が増大してアプリが落ちるなどの問題が生じてしまいます。この消費電力を抑えるためのコストと性能のバランスを考慮しながら日々試行錯誤していますね。」(馬場)
現状でも既にスマートフォン端末に対してそれなりの費用をかけているユーザーにとって、これ以上のコスト増は避けたいところ。従って、メーカーもコストパフォーマンスへの要求は厳しいといいます。
低消費電力でありながらも、高フレームレートや低ノイズを実現するといった、相反する市場のニーズを満たすセンサーおよびカメラシステムがSSSには求められているのです。ただし、これは大きなチャレンジで、実現すれば一気に業界の世界地図は変わると前を向きます。
「スマートフォンメーカーの中には、コンペティターの製品に光検出や測距を行うスキャナが搭載されていて、それを真似したいという会社もあります。しかし、SSSはdToFやiToFなど幅広いToF技術を揃えており、スマートフォンメーカーのニーズに応じて照射距離や画素数、消費電力などをカスタマイズできる技術力も有しています。それを活かしてさまざまなアプリ開発を行えるのがSSSの強みなので、センシング技術を使ってこういうことができるということを主体的に提案しながら業界をリードしていきたいです」と栄元は意気込みます。
長い時間をかけて顧客とのコミュニケーションを続けたことで、ToFイメージセンサーに対する顧客の理解も深まり、今では建設的な議論ができるようになってきたと、馬場も手応えを感じています。まだまだ市場開拓の余地は十分にあり、これからが反転攻勢のタイミングだと考えています。
「繰り返しになりますが、センシング技術を核に、顧客が求めるカメラシステムをトータルソリューションで提案できるのがSSSの強さ。センシング技術などを評価し、実際にモノを製造して動かすという、ソフトからハードまで一気通貫で行えるような会社はそう多くはないはずです」
ユーザーがもっと便利になる世界を創り上げるために、これからもSSSのセンシング技術がスマートフォンカメラに求められる役割は大きいはずです。