概要

イベントベースビジョンセンサー(EVS)は、各画素の輝度変化を検出し、変化したデータのみを「座標」および「時間の情報」と組み合わせて出力する、高速・低遅延なデータ出力を実現するビジョンセンサーです。

EVSについて動画でご説明します。

技術編

アプリケーション編

EVSとは

EVSは動き(=輝度変化)をとらえる

EVSは眼が光を感じる仕組みを模した動作をするセンサーです。人の眼は、光を感じると網膜上の受容細胞が光シグナルを神経情報に変換し、後段の神経細胞で明部、暗部がセレクトされ、神経節細胞を介して脳の視覚野に情報が伝えられます。

一方、EVSにおいては、入射光はセンサーの受光回路で電気信号に変換されます。さらに電気信号はアンプを通じコンパレータ(比較器)で輝度変化によって分離され、明転信号(プラスイベント)と暗転信号(マイナスイベント)となり、後段の信号処理を通じてEVS画像データとして出力されます。

EVSの説明の図
拡大 拡大アイコン
EVSの説明の図

EVSの動作原理

EVSは、画素ごとに取り込まれた光の輝度変化が、設定された閾値を超えるとそれをイベントとして検出し、イベントが発生した画素の座標、時間、極性を出力します。この動作は各画素独立して、非同期に行われます。図はボールの動きをセンサー面が如何に捉えるかを、模式図化したものです。

イベントベースセンサーからの出力の図
イベントベースセンサーからの出力 拡大 拡大アイコン
イベントベースセンサーからの出力の図

イベントベースセンサーからの出力


EVSの各画素は受光部、輝度変化検出部からなります。まず入射光が受光部にて電圧に変換されます。そして、これを受けた輝度変化検出部の非同期差分検出回路が、入力された電圧と基準電圧の差分を検出、比較器においてこの差分がプラス及びマイナス側に設定された閾値を超えた場合、イベントとして出力されます。

受光部と輝度変化検出部の図
拡大 拡大アイコン
受光部と輝度変化検出部の図

イベントが発生するとその時点の輝度レベルが基準となるように回路がリセットされ、その基準電圧からプラス側(明方向変化)およびマイナス側(暗方向の変化)の閾値が設定されます。プラス側の閾値を超える出力電圧変化、すなわち入射光の輝度変化が一定比率を超えた場合はプラス極性のイベントを出力し、マイナス側閾値を超える電圧変化があった場合はマイナス極性のイベントを出力します。

EVSの動作原理のイベントのグラフ
拡大拡大アイコン
EVSの動作原理のイベントのグラフ

①基準電圧、プラス側・マイナス側閾値が設定されます。
②入射光輝度が低下し、マイナス側閾値を超えると、マイナスイベントが出力されます。
③イベントが出力された時点を基準に基準電圧、プラス側・マイナス側の閾値が設定されます。
④さらに入射光輝度が低下し、マイナス側閾値を超えると、2番目のマイナスイベントが出力されます。
⑤2番目のイベントが出力された時点を基準に基準電圧、プラス側・マイナス側の閾値が設定されます。
⑥その後、輝度が上昇しプラス側閾値を超えると、今度はプラスイベントが出力されます。


下図で示す通り、画素は入射光の輝度を電圧に対数変換します。これによって輝度の低い状態ではわずかな輝度差を検出することができ、輝度の高い状態では大きな輝度差によってイベントが飽和することを防ぎ、広いダイナミックレンジを実現します。

入射光輝度と受光部出力電圧の関係のグラフ

以上の動作原理によって、EVS映像は右図のように出力されます。

EVS出力画像

画素の輝度変化は被写体が動いた際に発生するため、動く被写体の輪郭が抽出されたような映像となります(写真は車のダッシュボードにEVSを搭載したカメラを設置し撮影したもの)。

技術解説

業界最小*1画素サイズ、積層型による小型、高解像度センサーの実現

従来技術では同一平面状に配置していた受光部と輝度検出部を、本開発品では画素チップ(上部)と信号処理回路を組み込んだロジックチップ(下部)に分割して配置しています。両チップは積層され、画素ごとにCu-Cu(カッパー・カッパー)接続を用いて導通しています。業界最小の画素サイズ4.86μmに加えて、ロジックチップには微細な40nmプロセスを採用し高集積化を図ることで、1/2.5型で1,280×720ピクセルのHD解像度を実現しました。

*1) 積層型イベントベースビジョンセンサーにおいて。ソニー調べ。(2021年9月9日広報発表時)

従来品(表面照射型)と開発品の画素イメージ図

高速・低レイテンシーの実現

各画素は独立して動作しており、輝度変化を検出すると、イベントとして即座にデータを出力します。複数の画素でイベントが発生した場合、調停回路によってイベントの先着順で順番にイベントを出力していきます。こうした発生したイベントを即座に出力する構成により、低消費電力ながら必要な動きの情報のみをマイクロ秒オーダーで高速に出力可能としました。

イベント出力の図

ハードウェア組込みイベントフィルター機能

さまざまな用途に対応するため、イベントデータに特化した複数のフィルター機能を搭載しています。このフィルター機能を使用することで、LEDフリッカー等の特定周期に発生する認識に必要のないイベントの除去、動被写体の輪郭に該当しない可能性の高いイベントの除去、後段のシステムが処理できるイベントレート以下となるようなデータ量の調整等が可能です。

30fpsに相当する「フレーム化したイベントデータ」の蓄積画像

30fpsに相当する「フレーム化したイベントデータ」の蓄積画像のフィルターOFF画像
30fpsに相当する「フレーム化したイベントデータ」の蓄積画像のフィルターON画像

(ソフトフェアによるシミュレーション結果。左図から約92%のデータ量削減)

フィルターをON(右図)にすることで、特定用途において有意な情報を保持したままデータ量の削減を図れます。右図は「道路の⽩線情報」が有意であるケースです。

イベント信号処理の例

①液滴モニタリング

フレームベースセンサー画像

3液滴モニタリングにおけるフレームベースセンサー画像

水流のブラー(blur)により繋がって見え液滴状態の判別が困難

  • EVS画像

    液滴モニタリングにおけるEVS画像

    水滴を1滴ずつとらえることが可能[高速性]

  • EVS画像(スーパースロー)

    液滴モニタリングにおけるEVS画像(スーパースロー)

    時系列データをシームレスに持つため、同一データからスーパースローを得たり、特定時間の情報を取得可能

pause
start

②人物トラッキング

フレームベースセンサー画像

人物トラッキングにおけるフレームベースセンサー画像

暗所や暗い服は認識しづらい

EVS
画像

人物トラッキングにおけるEVS画像

撮影環境や服装に依存せず、人の輪郭のみを抽出動いている人以外の情報は出力しない[省データ]

アプリケーション出力

人物トラッキングにおけるアプリケーション出力画像

機械学習モデルによる検出の結果、歩行者として認識されている。追い越しても走っても、認識が途切れない

③金属加工モニタリング

フレームベースセンサー画像

金属加工モニタリングにおけるフレームベースセンサー画像

火花は高輝度のため白飛びし、線のようにみえる

EVS
画像

金属加工モニタリングにおけるEVS画像

高速に動く火花を1粒ずつとらえる[高速性]
火花以外の治具等の情報は出力しない[高効率:省データ

アプリケーション出力

金属加工モニタリングにおけるアプリケーション出力画像

1粒ずつとらえた火花にIDを付けトラッキング可能
⇒ 個数、サイズ、速度などの解析が可能

④3D計測

フレームベースセンサー画像

3D計測におけるフレームベースセンサー画像

ベルトコンベア上を移動する箱にレーザー光を照射し、反射光をEVSカメラで撮影

EVS
画像

3D計測におけるEVS画像

箱の表面にレーザーが当たった結果、基準面(コンベア表面)反射と被測定物(箱の面)反射の位置のズレと時間情報から3Dイメージを生成

アプリケーション出力

3D計測におけるアプリケーション出力画像

レーザーの反射光がEVSに入射した点のみ高さ情報を取得可能。時間分解能が高いため、高さ情報を細かいポイントで取得

⑤振動モニタリング

フレームベースセンサー画像

振動モニタリングにおけるフレームベースセンサー画像

振動台上の自動車模型の振動を目視でとらえることは不可能

EVS
画像

振動モニタリングにおけるEVS画像

振動している箇所のみ出力するため、振動を視認することが可能

アプリケーション出力

振動モニタリングにおけるアプリケーション出力画像

各ピクセルごとに周波数を解析し二次元に表示可能

*) Metavision® Intelligence Suiteは、Prophesee社(プロフェシー)が開発したイベントベースビジョンソフトウェアです。
Metavision®はPROPHESEE S.A.の登録商標です。

活用事例

外観検査・異物検査

EVSは、相対的に動く製品の変化を撮影することにより、傷や汚れの輝度差を検知します。たとえば、傷・ダスト検査や、あるいはロールでまかれた大きいフィルムなどの破損の検査には、EVSの応用が期待できます。

データの軽さと機械学習との相性も特筆すべき特長です。RGBカメラの場合は、色の写りかたで傷などの見え方が異なるうえ、データ量も大きくなります。それに対してEVSは各画素の輝度変化を検出し、変化したデータのみを「座標」および「時間の情報」と組み合わせて出力するので、データも軽く高速です。機械学習との組み合わせにより検査の自動化に貢献します。

関連する分野

電子機器製造
食品・医薬品・化粧品製造

外観検査・異物検査のイメージ画像

機械の異常検知

EVSは、高速物体の動きの検出とトラッキングが可能なため、わずかな挙動の異常も検知し、軽く遅延の無いデータ出力ができます。機械学習との組み合わせにより、異常検知システムに応用が可能です。

関連する分野

電子機器製造
重工業・プラント製造

機械の異常検知のイメージ画像

ロボティクス

物流の業界で今、自動走行のロボットのニーズが高まっています。EVSは、物体の外観の特徴をシルエットの変化から「動き検出」します。障害物検知の高速処理が可能となるため、自動搬送や宅配ロボットなどの、自動走行ロボットへの応用が期待されています。また、介護支援の現場では、介護ロボットへの応用も検討されています。

関連する分野

物流

ロボティクスのイメージ画像

プライバシーに配慮したモニタリング

人物の動きを輝度の変化としてとらえます。人の顔の色や形を具体的にとらえていないため、医療や介護の現場におけるプライバシーに配慮した安全モニタリングに適しています。

また、広いダイナミックレンジ特性から照明環境に左右される事なく「動き」を検知し、軽く遅延の無いデータを出力します。例えば、セキュリティカメラ用イメージセンサーが撮影困難な暗所でも、人の動線をモニタリングできます。他のイメージセンサーとEVSを組み合わせることにより、さらに高性能なモニタリングシステムを構築することが可能です。

関連する分野

安全モニタリング

プライバシーに配慮したモニタリングのイメージ画像

科学計測、調査

EVSは、高速で変化する対象物を判別できるので、科学計測に向いています。顧客行動調査の分野では、動きだけに反応してデータを取得するため、プライバシーに配慮した顧客行動の調査が可能です。

関連する分野

研究・調査

医療、科学計測、調査のイメージ画像

UI/UX開発

イベントベースビジョンセンサーは各画素の動きを輝度変化として捉え、変化したデータだけを低遅延で出力できるので、手の動きなどのジェスチャートラッキングに最適です。ToF方式距離画像センサーとの組み合わせによる応用にも期待されます。

関連する分野

研究・調査

UI/UX開発のイメージ画像

資料ダウンロード

イベントベースビジョンセンサー(EVS)搭載カメラリスト

ソニーのイベントベースビジョンセンサーが搭載されたカメラの一覧はこちらからダウンロードできます。

関連製品&ソリューション

関連コンテンツ

お問い合わせ

仕様書や見積もりのご依頼はこちらから!

※これより先は、当社が委託した株式会社セールスフォース・ドットコムのサイトへリンクします。

お知らせ
メール配信の登録

産業用およびセキュリティカメラ用イメージセンサーの製品・技術、イベント、サービスなどの情報をお届けします。