概要
インテリジェントビジョンセンサーは、画像処理に加えて高速なエッジAI処理までを単体で行える画期的なイメージセンサーです。AIエンジンと専用データメモリーをロジックチップに搭載し、更に、ソニーセミコンダクタソリューションズ株式会社(以下、SSS)の積層技術によりこのロジックチップと画素チップと重ね合わせることにより、小さなセンサーの中にAI処理機能を組み込むことに成功しました。
これにより、画像データをクラウドに伝送してAI処理する従来システムの課題となっていたデータ転送量を削減でき、またプライバシーへの配慮や、消費電力・通信コスト削減も実現しています。
技術解説
世界初*1のAI処理機能を搭載したイメージセンサー
画素チップには、有効約1230万個の裏面照射型画素を配置し、広い視野角で情報をとらえることができます。ロジックチップには、通常のイメージセンサーの信号処理回路に加え、AIに特化した信号処理を担うSSS独自のDSP(Digital Signal Processor)と、AIモデルを書き込むことができるメモリーを搭載しています。これにより、高性能なプロセッサや外部メモリーを必要とすることなく、エッジAIシステムを実現することが可能です。
*1) イメージセンサーとして。SSS調べ。(2020年5月14日広報発表時)
メタデータの出力が可能
画素チップから取得した信号をロジックチップで処理する過程で、ISP(Image Signal Processor)処理やAI処理を行うことにより、対象物をメタデータで出力し、扱うデータ量が削減できます。また、画像情報を出力しないことで、セキュリティリスクを低減し、プライバシーに配慮した対応が可能となります。通常のイメージセンサーの撮影画像に加え、ISP出力形式の画像(YUV/RGB)や、特定領域のみ切り出したROI(Region of Interest)画像など、ユーザーのニーズや用途に応じて出力データの形式を選択することも可能です。
高速なAI処理を実現
通常のイメージセンサーで動画を撮影する場合、出力された1フレームの画像ごとにAI処理につなげる必要があることから、データの送信が多くなり、リアルタイム性を確保することが困難でした。本製品は、ロジックチップにおいて、ISP処理および高速なAI処理(MobileNet V1*2の場合、3.1ミリ秒の処理時間)を行うことにより、動画の1フレーム内で全ての処理が完結します。これにより、動画を撮影しながらの対象物の高精度なリアルタイムトラッキングが可能となります。
*2) モバイル機器向けの物体識別を目的とした画像解析用のAIモデルの名称。
AIモデルの選択が可能
ユーザーは、任意のAIモデルをメモリーに書き込み、使用環境や条件に合わせて書き換え、アップデートすることが可能です。例えば、本製品を採用した複数台のカメラを店舗に設置した場合、1種類のカメラで、設置位置、状況、時間など目的や用途に応じて使い分けることができます。入り口であれば入店者のカウント、棚であれば商品の欠品検知、天井であれば来店者のヒートマップ(人が多く集まる場所の検知)などの複数の用途に活用できます。また、これまでヒートマップの検出に使用していたAIモデルを、消費者行動を把握するために使用するAIモデルなどに書き換えることも可能です。
関連製品&ソリューション
-
イメージセンサー
エッジ AI センシングプラットフォーム AITRIOS™
この技術を搭載したエッジAIセンシングプラットフォーム AITRIOS™についての情報はこちらです。
*) AITRIOS、およびそのロゴは、ソニーグループ(株)またはその関連会社の登録商標または商標です。
お問い合わせ
ソニーセミコンダクタソリューションズグループおよび製品・サービスに関するお問い合わせ、仕様書、見積り/購入のご依頼などは、以下のボタンより専用フォームにてご連絡ください。