分 野
モバイル

スマートフォン(Intelligence)

概要

テキストや音声データに加え、画像データを利用したAI認識処理が広まっていく中、ソニーセミコンダクタソリューションズ株式会社(以下、SSS)は、AI処理用ハードウェアエンジンと軽量化されたAIアルゴリズムを組合せた、世界初*1のAI処理機能搭載インテリジェントビジョンセンサーを開発しました。

インテリジェントビジョンセンサーは、通常のイメージセンサーの信号処理に加えて高速なエッジAI処理までを単体で行える画期的なイメージセンサーです。SSSの積層技術を用い、ロジックチップにAIによる画像解析処理の機能を搭載することで、小さなセンサーの中にAI処理機能を組み込むことに成功しています。
これにより、画像データをクラウドに伝送してAI処理を行う従来システムの課題となっていたデータ転送時間を低減。またプライバシーへの配慮や、消費電力・通信コスト削減も実現しています。

将来的には、AI処理機能を持つイメージセンサーをモバイル領域にも展開することで、撮影時の機能向上や、新たなアプリケーションへの展開など、数多くの新たな可能性を生み出すことが期待されています。 *1) イメージセンサーとして。ソニー調べ。(2020年5月14日広報発表時)

活用事例

写真撮影(反射除去、デジタルズーム)

ガラスへの映り込みのせいで上手く撮れない窓越しの夜景。カラーセンサーと偏光イメージセンサーの情報をAIで融合することで、反射を除去して美しい夜景を残すことが可能になります。

写真撮影(反射除去、デジタルズーム)前の画像
写真撮影(反射除去、デジタルズーム)後の画像

また、物理的な制約から光学ズームを搭載できないスマートフォンでは多くの場合、画像の一部をデジタル処理で拡大するデジタルズームが使用されますが、画像が粗く、不鮮明になるという弱点があります。SSSのインテリジェントビジョンセンサーは、デジタルズーム使用時にAIを応用して被写体の特徴に合わせた高精度な超解像処理を適用。将来的には光学ズームに迫る鮮明な映像の撮影が可能となるでしょう。 *) 本内容はモバイル用に想定される可能性であり、SSS製イメージセンサーの仕様ではありません。

物体認識

カメラをかざすだけで、モバイル用イメージセンサーに組み込まれたAIが「犬」などの物体を特定。さらに細かい特徴分析で「コーギー」などの犬種やその他の情報を表示します。クラウドを活用することで、さらなる精度向上も可能です。

また、愛犬をAIに認識させれば、あとはカメラを向けるだけで、走り回る犬を自動で追従してフォーカスを合わせたり、最適な画角で切り取って保存したりすることも可能になります。撮影画像には「犬」「公園」「芝生」などのキーワードが自動で付与されるため、膨大な写真の中から自分が欲しい画像を簡単に見つけ出すこともできます。 *) 本内容はモバイル用に想定される可能性であり、SSS製イメージセンサーの仕様ではありません。

物体認識のイメージ図

ラーニング

撮影した画像から取得した輝度やカラー成分や、SWIRイメージセンサー偏光イメージセンサーから取得した情報をモバイル用イメージセンサーに組み込まれたAIで分析することで、自撮り画像から脈拍を測定したり、肌状態を判定したりといったことが可能となります。将来的には、多彩な情報をAI処理して生体状態を分析することで、健康状態を細かく診断できるようになることが期待されます。 *) 本内容はモバイル用に想定される可能性であり、SSS製イメージセンサーの仕様ではありません。

ラーニングのイメージ図

AR

カメラが映している画像にさまざまな情報を重ね合わせて表示するAR(Augmented Reality/拡張現実)。ToF方式距離画像センサーが取得した立体情報とカメラ画像データを、モバイル用イメージセンサーに組み込まれたAIを用いて融合させ、さらに地名や建物名などのメタ情報やCGなどを重ね合わせることで、行先を示す矢印を画面に重ねるスマホナビや、木の陰から飛び出すアニメのキャラクターなど、視覚的に現実を拡張する便利で楽しいAR体験を提供します。将来的には、AR空間を共有しながら同じゲームを楽しむことも可能になるでしょう。 *) 本内容はモバイル用に想定される可能性であり、SSS製イメージセンサーの仕様ではありません。

ARのイメージ図

技術

ToF(Time of Flight)

この分野で活用されているToF(Time of Flight)の技術情報はこちらです。

お問い合わせ

ソニーセミコンダクタソリューションズグループおよび製品・サービスに関するお問い合わせ、仕様書、見積り/購入のご依頼などは、以下のボタンより専用フォームにてご連絡ください。