概要
イベントベースビジョンセンサー(EVS)は、各画素の輝度変化を検出し、変化したデータのみを「座標」および「時間の情報」と組み合わせて出力する、高速・低遅延なデータ出力を実現するビジョンセンサーです。
EVSについて動画でご説明します。
技術編
アプリケーション編
EVSとは
EVSは動き(=輝度変化)をとらえる
EVSは眼が光を感じる仕組みを模した動作をするセンサーです。人の眼は、光を感じると網膜上の受容細胞が光シグナルを神経情報に変換し、後段の神経細胞で明部、暗部がセレクトされ、神経節細胞を介して脳の視覚野に情報が伝えられます。
一方、EVSにおいては、入射光はセンサーの受光回路で電気信号に変換されます。さらに電気信号はアンプを通じコンパレータ(比較器)で輝度変化によって分離され、明転信号(プラスイベント)と暗転信号(マイナスイベント)となり、後段の信号処理を通じてEVS画像データとして出力されます。
EVSの動作原理
EVSは、画素ごとに取り込まれた光の輝度変化が、設定された閾値を超えるとそれをイベントとして検出し、イベントが発生した画素の座標、時間、極性を出力します。この動作は各画素独立して、非同期に行われます。図はボールの動きをセンサー面が如何に捉えるかを、模式図化したものです。
EVSの各画素は受光部、輝度変化検出部からなります。まず入射光が受光部にて電圧に変換されます。そして、これを受けた輝度変化検出部の非同期差分検出回路が、入力された電圧と基準電圧の差分を検出、比較器においてこの差分がプラス及びマイナス側に設定された閾値を超えた場合、イベントとして出力されます。
イベントが発生するとその時点の輝度レベルが基準となるように回路がリセットされ、その基準電圧からプラス側(明方向変化)およびマイナス側(暗方向の変化)の閾値が設定されます。プラス側の閾値を超える出力電圧変化、すなわち入射光の輝度変化が一定比率を超えた場合はプラス極性のイベントを出力し、マイナス側閾値を超える電圧変化があった場合はマイナス極性のイベントを出力します。
①基準電圧、プラス側・マイナス側閾値が設定されます。
②入射光輝度が低下し、マイナス側閾値を超えると、マイナスイベントが出力されます。
③イベントが出力された時点を基準に基準電圧、プラス側・マイナス側の閾値が設定されます。
④さらに入射光輝度が低下し、マイナス側閾値を超えると、2番目のマイナスイベントが出力されます。
⑤2番目のイベントが出力された時点を基準に基準電圧、プラス側・マイナス側の閾値が設定されます。
⑥その後、輝度が上昇しプラス側閾値を超えると、今度はプラスイベントが出力されます。
下図で示す通り、画素は入射光の輝度を電圧に対数変換します。これによって輝度の低い状態ではわずかな輝度差を検出することができ、輝度の高い状態では大きな輝度差によってイベントが飽和することを防ぎ、広いダイナミックレンジを実現します。
以上の動作原理によって、EVS映像は右図のように出力されます。
画素の輝度変化は被写体が動いた際に発生するため、動く被写体の輪郭が抽出されたような映像となります(写真は車のダッシュボードにEVSを搭載したカメラを設置し撮影したもの)。
技術解説
業界最小*1画素サイズ、積層型による小型、高解像度センサーの実現
従来技術では同一平面状に配置していた受光部と輝度検出部を、本開発品では画素チップ(上部)と信号処理回路を組み込んだロジックチップ(下部)に分割して配置しています。両チップは積層され、画素ごとにCu-Cu(カッパー・カッパー)接続を用いて導通しています。業界最小の画素サイズ4.86μmに加えて、ロジックチップには微細な40nmプロセスを採用し高集積化を図ることで、1/2.5型で1,280×720ピクセルのHD解像度を実現しました。
*1) 積層型イベントベースビジョンセンサーにおいて。ソニー調べ。(2021年9月9日広報発表時)
高速・低レイテンシーの実現
各画素は独立して動作しており、輝度変化を検出すると、イベントとして即座にデータを出力します。複数の画素でイベントが発生した場合、調停回路によってイベントの先着順で順番にイベントを出力していきます。こうした発生したイベントを即座に出力する構成により、低消費電力ながら必要な動きの情報のみをマイクロ秒オーダーで高速に出力可能としました。
ハードウェア組込みイベントフィルター機能
さまざまな用途に対応するため、イベントデータに特化した複数のフィルター機能を搭載しています。このフィルター機能を使用することで、LEDフリッカー等の特定周期に発生する認識に必要のないイベントの除去、動被写体の輪郭に該当しない可能性の高いイベントの除去、後段のシステムが処理できるイベントレート以下となるようなデータ量の調整等が可能です。
30fpsに相当する「フレーム化したイベントデータ」の蓄積画像
フィルターをON(右図)にすることで、特定用途において有意な情報を保持したままデータ量の削減を図れます。右図は「道路の⽩線情報」が有意であるケースです。
イベント信号処理の例
①液滴モニタリング
②人物トラッキング
③金属加工モニタリング
④3D計測
⑤振動モニタリング
*) Metavision® Intelligence Suiteは、Prophesee社(プロフェシー)が開発したイベントベースビジョンソフトウェアです。
Metavision®はPROPHESEE S.A.の登録商標です。
活用事例
外観検査・異物検査
EVSは、相対的に動く製品の変化を撮影することにより、傷や汚れの輝度差を検知します。たとえば、傷・ダスト検査や、あるいはロールでまかれた大きいフィルムなどの破損の検査には、EVSの応用が期待できます。
データの軽さと機械学習との相性も特筆すべき特長です。RGBカメラの場合は、色の写りかたで傷などの見え方が異なるうえ、データ量も大きくなります。それに対してEVSは各画素の輝度変化を検出し、変化したデータのみを「座標」および「時間の情報」と組み合わせて出力するので、データも軽く高速です。機械学習との組み合わせにより検査の自動化に貢献します。
関連する分野
機械の異常検知
EVSは、高速物体の動きの検出とトラッキングが可能なため、わずかな挙動の異常も検知し、軽く遅延の無いデータ出力ができます。機械学習との組み合わせにより、異常検知システムに応用が可能です。
関連する分野
ロボティクス
物流の業界で今、自動走行のロボットのニーズが高まっています。EVSは、物体の外観の特徴をシルエットの変化から「動き検出」します。障害物検知の高速処理が可能となるため、自動搬送や宅配ロボットなどの、自動走行ロボットへの応用が期待されています。また、介護支援の現場では、介護ロボットへの応用も検討されています。
関連する分野
プライバシーに配慮したモニタリング
人物の動きを輝度の変化としてとらえます。人の顔の色や形を具体的にとらえていないため、医療や介護の現場におけるプライバシーに配慮した安全モニタリングに適しています。
また、広いダイナミックレンジ特性から照明環境に左右される事なく「動き」を検知し、軽く遅延の無いデータを出力します。例えば、セキュリティカメラ用イメージセンサーが撮影困難な暗所でも、人の動線をモニタリングできます。他のイメージセンサーとEVSを組み合わせることにより、さらに高性能なモニタリングシステムを構築することが可能です。
関連する分野
科学計測、調査
EVSは、高速で変化する対象物を判別できるので、科学計測に向いています。顧客行動調査の分野では、動きだけに反応してデータを取得するため、プライバシーに配慮した顧客行動の調査が可能です。
関連する分野
UI/UX開発
イベントベースビジョンセンサーは各画素の動きを輝度変化として捉え、変化したデータだけを低遅延で出力できるので、手の動きなどのジェスチャートラッキングに最適です。ToF方式距離画像センサーとの組み合わせによる応用にも期待されます。
関連する分野
資料ダウンロード
イベントベースビジョンセンサー(EVS)搭載カメラリスト
ソニーのイベントベースビジョンセンサーが搭載されたカメラの一覧はこちらからダウンロードできます。
関連製品&ソリューション
-
産業用イメージセンサー
イベントベースビジョンセンサー(EVS)
この技術を搭載したイベントベースビジョンセンサーの製品情報はこちらです。
関連コンテンツ
お問い合わせ
仕様書や見積もりのご依頼はこちらから!
※これより先は、当社が委託した株式会社セールスフォース・ドットコムのサイトへリンクします。
お知らせ
メール配信の登録産業用およびセキュリティカメラ用イメージセンサーの製品・技術、イベント、サービスなどの情報をお届けします。