INDUSTRIAL

イメージセンサー

人間の視神経のように、変化した部分だけをモニタリングできるイベントベースビジョンセンサーが、AIやロボットの可能性を大きく切り開く

2022.03.25

人間の視神経を模したといわれるイベントベースビジョンセンサー(以降、EVS)。これまでのフレームベースイメージセンサーとは全く異なり、EVSは変化した部分だけを軌跡のように捉えるため、センシングしたものを画像として捉えるフレームという概念もなく、高速に動くものでもリアルタイムでモニタリングが可能になるという特長を持っています。また、視神経を模したという言葉のとおり、EVSにはAIやロボットの眼としての役割が期待されており、実用化されれば、ロボットはより素早く物事を判断できるようになるともいわれています。今後、産業機器分野を始めとしたセンシングに新風を巻き起すと思われるソニーセミコンダクタソリューションズグループ(以降、SSSグループ)が開発したEVS。その開発には、全く新しいビジョンセンサーだからこその困難と発見がありました。

酒井 伸

ソニーセミコンダクタソリューションズ株式会社
イメージングシステム事業部

仁田 真一

ソニーセミコンダクタソリューションズ株式会社
システムソリューション事業部

古川 雅一

ソニーセミコンダクタソリューションズ株式会社
イメージングシステム事業部

井原 敏

ソニーセミコンダクタソリューションズ株式会社
システムソリューション事業部

ベンチャー企業との協業で生まれた全く新しい概念のビジョンセンサー

―― EVSとは、どのようなビジョンセンサーなのでしょうか

酒井:人はモノを見るときに、眼に映るものすべてを見ているわけではなく、明るさの変化など動きのあった部分を捉えています。EVSは、この人間の視神経のように、輝度に変化があった画素だけを出力するビジョンセンサーです。従来のイメージセンサーは捉えたすべての画像情報を出力するのに対し、EVSは変化のあった画素だけを出力するので、データ量を削減しながら、高速かつ効率よくセンシングすることが可能です。従来のフレームベースのイメージセンサーよりも一歩進んだ認識技術への活用が期待されます。その一方で、まだ市場には馴染みの薄いセンサーなので、どのように活用すると大きなメリットが受けられるのかといったエンドユーザーでの使い方の部分も含め将来性が大きいセンサーです。

―― 今回、フランスのProphesee社(プロフェシー)と協業で開発されたEVSは、どのようなきっかけで始まったのでしょうか

酒井:私が以前に所属していた部署でProphesee社とのEVSに関わる技術交流がスタートしておりました。もともとは彼らが単独で商品化しようとしていましたが、より良いものをつくりたいということでSSSグループの研究部門とプロトタイプの協業がスタートしていました。
そのころ私は別プロジェクトで研究開発を担当していましたが、研究開発だけではなく、商品化を行うところまでを挑戦したいと上司に相談したところ、ちょうど同じ部署で協業をしていたEVSが商品化を目指しているということで、事業部に異動してProphesee社との開発プロジェクトにリーダーとして参画することになりました。
アサインされた2週間後にはパリへ出張し、Prophesee社と商品化に向けた仕様の議論を行うことになり、慣れない英語での打ち合わせとプロトタイプから商品化へ向けた動きのスピード感に圧倒されたことを覚えています。

仁田:SSSグループでは積極的に新しい技術を取り込もうという動きが盛んで、常に国内、海外問わず有望な技術を持つベンチャー企業をリサーチしています。当時も、Prophesee社の開発していたEVS技術が技監の目に留まり、技術交流から始まったそうです。その後、EVSが非常に多岐にわたるアプリケーションに展開できる可能性があると分かり、一歩進めて事業化を前提とした協業関係を構築し、商品化へ向けた開発をスタートさせました。

―― 開発する際のコンセプトや絶対にこだわると決めていたポイントはありますか

酒井:私たちは常に「なぜSSSグループがつくるのか」「SSSグループがつくるとどうなるのか」といった市場における差異化を考えています。今回のEVSはまだマーケットとしては広く開拓されていないビジョンセンサーですが、Prophesee社が先行してつくっていたものとどのように違う特性を持たせられるかということも念頭に入れました。

仁田:当時複数の会社からEVSに関する技術的な発表や、サンプルによるデモンストレーションは行われていましたが、マーケットに展開はされていませんでした。SSSグループとしては、いち早くこの技術を製品化し、マーケットに投入することで先行優位を確立したいという狙いもありました。

古川:今回はProphesee社と協業で作り上げていくセンサーですので、どういう中身であるのかというのはわれわれとしてもきっちりと評価しなくてはいけないと考えていました。
また、従来のフレームベースのイメージセンサーは明るさが変わることで反応しますが、今回のEVSは輝度の変化に対して反応するという違いがありますので、お客さまに商品を出荷した後に不具合や不都合が起きないよう、いかに特性・品質を担保していくかという部分にかなり気を遣って開発を進めました。

―― 海外企業との協業ということですが、開発はどのように進めていったのでしょうか

酒井:プロトタイプを設計している頃から、週に1~2回のビデオ会議と毎月2日程度パリと厚木で交互に行き来してFace to Faceの打ち合わせをしていました。プロジェクトの進捗や特性と品質面での課題について議論を進めました。
最初の頃は、従来のイメージセンサーの開発方式にならって課題出しや設計を行いましたが、実際に業務を進めていくと見えていなかった課題が多く見つかり、そのたびに解決に向けた検討を行いました。Prophesee社はEVSに関する知識を十分に持っていましたので、SSSグループが独自に培った量産化や品質担保のやり方や技術をうまく補完しあいながらの開発となりました。

仁田:EVSはSSSグループが持つCMOSイメージセンサーの技術と、Prophesee社が持つユニークなイベントベースセンシング技術の融合で実現化されました。加えてProphesee社はそれを動かすアプリケーションや評価するためのキットを開発していました。EVSは、製品単体でお客さまにご提案してもなかなか活用シーンをイメージしにくいものなので、彼らのアプリケーションのアイデアにはかなり期待をしていました。そういう役割分担の下、地域ごとにSSSグループ販社とProphesee社の各地域ビジネス担当者とのコミュニケーショングループを確立し、顧客開拓の情報共有および共同プロモーション活動を行っています。必要があれば、一緒にお客さまのところまで提案にいっています。一方、ベンチャーであるProphesee社と、これまでブランドを築いてきた当グループとの文化の違いから、双方の主張の合意点を探すのに苦労しました。

古川:評価の方法や基準は定例のミーティングで決めていきましたが、基本的にはProphesee社が先に開発していた技術なので、彼らから評価して欲しい点などを出してもらいながら、私たちの方でも「こういう視点で測定した方が良いのではないか」と意見交換を行いました。また、評価環境は弊社側でも準備をしました。Prophesee社と少し異なるのは、私たちがCMOSイメージセンサーで培った環境をベースにEVS用にカスタマイズした環境だという点です。これは量産という視点で見たときに、いかに不良を減らすかという課題がありますので、これまで培ってきたCMOSイメージセンサーのノウハウを取り入れてチューニングを行う形で開発を進めていきました。

最大の難関は“世の中にない”ものの開発へのチャレンジ

―― 開発で苦労したポイントを教えてください

酒井:最初に苦労したのは仕様決めです。EVSの仕様は従来のイメージセンサーにはないものなので、参考にできるものは弊社にはありません。世の中にもほとんど出ていないものなので、参考になるものは大学の研究文献くらいしか見当たらない状態でした。また、すでに使用しているお客さまがいれば、要望をいただいて仕様をすり合わせていくのですが、EVSはお客さまも最適な使用方法がイメージできていない状態でしたので、仁田さんや井原さんにユースケースを想定してもらいながら仕様を決めていきました。自分たちで仕様を決められるということは、目指すべきゴールも自分たちで動かせるということを意味します。仕様を変更すると量産時の歩留りは改善するが、今度はその仕様変更によってビジネスにどれほどのインパクトがあるのかという製品全体を見据えた調整をしながら仕様を決めていきました。

仁田:ビジネスの観点で最も苦労したのは、EVSをお客様に紹介すると、最初は皆さまこのユニークなセンサーに大変興味を持って面白がっていただけるのですが、いざアプリケーションを検討しようとなると、「さてどう使おうか」となってしまい、次のステップになかなか進まないということになるケースが多いということです。このような状況で、Prophesee社から提供される評価キットや、アプリケーションソフトウェアを用いてソリューションとしてプロモーションを行うということがとても重要であると認識しました。また、お客様ごとのユースケースに応じてこのセンサーを使いこなして頂くことの重要性が見えてきました。

井原:今EVSを導入されているお客さまの使い方はさまざまです。そうしたお客さまごとにご期待に沿える性能を引き出す必要があります。今どのような環境での利用を検討されているのか、現状の課題がどこにあるのかを丁寧に確認しながら進めています。現状ではEVSの特性を決める画一的なパラメータ調整方法がないため、各々のユースケースで求められる性能に近づけるよう実験と調整を繰り返して追い込んでいくという地道な作業を行っています。また、センサーのみの対応だけではなく、Prophesee社と協力してソフトウェア・ハードウェア両面でお客様の課題解決に向けて取り組んでいます。まだまだ発展途上ではありますが、今見えている中での最適解を目指そうと取り組んできました。
また、センサーにフォトダイオードが配列されているという構造は他のフレームベースのイメージセンサーと同じため、光学的な影響は共通するところがあります。一方で、EVSにしかない特性が多数あります。両方の知見を持つ設計・評価チームと協力して実験を通して新たに発見される現象について原因考察・改善策検討を行いながら進めています。

酒井:Prophesee社のメンバーと開発を進める中で、彼らは締め切りのギリギリまで、より良いものをつくりだそうといくつもアイデアを出してくれました。その姿勢は見習わなくてはならないと感じた一方で、開発には多くの人間が関わっており、その影響範囲の大きさも考える必要があります。障壁となっているところを説明しつつ、どうしたら彼らのアイデアを実現させられるか何度も議論しました。また、協業をするうえで心掛けた点としては、彼らを信じ、なにごとに関しても丁寧に説明し、良い信頼関係を築くことでした。より良い議論を行うために、私たちも彼らに信頼してもらう必要がありました。その結果、課題の大小に関わらずお互いに意見を出し合って議論することができたことは今回の開発がスムーズに進んだことにとても寄与できていると感じます。

古川:評価に関しては、Prophesee社から提示される資料の書式や、評価で使用するファイル形式がSSSグループとはだいぶ異なるものでした。ですので、提供物を受け取って私たちの評価チームに渡す際にはSSSグループで使われているフォーマットに変換する必要がありました。また、渡された仕様には確認が必要な内容も含まれており、仕様の一つひとつを検証し、修正が必要であれば確認してもらうという作業を行ったので、品質を上げていくのにかなり時間がかかりました。

また、センサーの評価手法に関しても、光源から計算方法、量産時の評価・選別まで、従来のイメージセンサーにはない項目だらけで、EVS用に新たな評価手法をつくりあげる必要がありました。
テストや品質評価を行う上で、これまでは従来デバイスとの特性比較を行うことが多かったのですが、今回のEVSでは従来行っていなかった輝度変化に対するデバイスの応答特性を評価する必要があるため、新しく輝度を変調させることのできる光源を導入しました。さらに、従来のイメージセンサーとは異なる回路構成のため、応答特性に関する測定・評価仕様をどのように策定すればよいか、また、テスト環境で安定したテスト結果を得るための原因調査や対策についても、酒井さんをはじめ社内にいるテストや評価のエキスパートの方々と議論を重ねていきました。

酒井:従来のイメージセンサーのようにテストで出てきた結果に対して、特性の変化が何もなかったことが良いことなのか、悪いことなのかといったところから、前例がないために一つひとつ考察していかなければならなかったので大変でした。

EVSはニューロモルフィック分野をけん引するビジョンセンサーになる

―― ソニーのEVSによってもたらされるソリューションを教えてください

酒井:私たちのEVSには、フォトダイオードやCu-Cu(カッパー・カッパー)接続*1をはじめとするCMOSイメージセンサーでSSSグループが培ってきたデバイス・回路設計の技術がふんだんに導入されています。これらの技術がなければ、私たちのEVSは成り立たないというところまで特性の差異化にこだわってつくっています。
また、EVSはデバイスだけでなく、後段処理からカメラ、システムのアプリ―ケーションまでトータルで構築することで価値が生まれます。半導体技術からセンシング技術まですべてを手掛けているSSSグループの技術を詰め込むことで、最適化されたデバイスを提供していけると考えています。

*1. 画素チップ(上部)とロジックチップ(下部)を積層する際に、Cu(銅)のパッド同士を接続することで電気的導通を図る技術。画素領域の外周の貫通電極により上下のチップを接続するTSV(シリコン貫通電極)に比べて、設計自由度や生産性の向上、小型化、高性能化などが可能。

仁田:これまでも申し上げました通り、EVSは非常に高速な物体の動きを捉え、低レイテンシー(遅延時間)で出力することができます。さらに暗い場所から明るい場所まで撮影できる広いダイナミックレンジ性能、そしてアウトプットデータが非常に軽いという特徴を持っています。これらの特徴を持つEVSはさまざまな領域への活用が期待できると考えています。 その一つに、産業機器領域で非常に高速で動いている装置や製品のモニタリングや検査、計測があります。従来の産業用カメラであれば、難しかったこれらの用途にもEVSであれば適用することが可能になります。 もう一つは、ダイナミックレンジが非常に広いという特徴から、同一画面上で暗い場所と非常に明るい日光を受けたような場所があった場合でも、人の動きをしっかり撮影することができます。また、EVSは人の動きは捉えますが、顔などは映らず、人のアウトラインしか出力されませんので、プライバシーに配慮したセキュリティ用カメラとして活用することができると考えています。

―― EVSの今後の可能性を教えてください

仁田:EVSはこれまで述べた産業機器領域やセキュリティ領域の他にも医療機器、コンシューマー機器、ロボティクス、ゲーム周辺機器、スポーツテックなど多岐に渡る分野で活用が見込まれています。Prophesee社との協力はもちろんのこと、半導体技術からセンシング技術まですべてを手掛けているSSSグループの強みを活かし、様々なアプリケーションを市場に提供していきたいと考えています。
また、私たちはシステムソリューション事業部として AITRIOS™*2というエッジAIセンシングプラットフォームを2021年10月に発表しています。EVSはそのプラットフォームに繋がるデバイスとしてスマートカメラ化し、多くの開発者のアイデアとつながることで提供ソリューションの幅を広げ、市場に広くこの技術を浸透させていければと思っています。

*2.AITRIOS、およびそのロゴは、ソニーグループ株式会社またはその関連会社の登録商標または商標です。

酒井:EVSの技術の源流としては、視神経の信号模擬にあります。人間の脳にはおよそ1000億のニューロンが存在しており、それぞれが相互に接続してネットワークを形成しています。この接続部分をシナプスといいますが、およそ1000兆ものシナプスが、わずか電球1個分よりも少ないエネルギーでこの仕組みを動作させています。AIなど、このニューロンを模した電子回路を活用したシステムのニューロモルフィックの分野において、EVSはコアになる存在だと考えています。ロボットをはじめとした産業機器は、眼となるセンサーでセンシングしないと何も始まりません。そうした部分で最初に使われていくセンサーがEVSなのだと思います。
もちろん、これまでのロボットにもカメラはついていましたが、これは後で人間が確認する用途も含んでいるため、冗長な情報も多く取得していました。自動制御などのシステムが発展していくと人間が制御する必要がなくなるので、より瞬時に物事の判断するために必要な情報だけをアウトプット可能なEVSが主流になると期待しています。

―― 今回、ベンチャー企業との協業によって、得られたことを教えてください

酒井:1つの技術をコアにしているベンチャー企業の場合、「商品化されない」はそのまま「会社がつぶれる」ということになりかねません。そのため、この技術を商品化して世の中に出していくのだという真剣さとアグレッシブな姿勢、危機感、本気度を随所で感じています。
私は今までSSSグループで研究開発を行っていて、残念ながら商品化にならないプロジェクトも経験しましたが、そんな時は次のプロジェクトを考え、SSSグループでできることを模索していきました。もちろんそのプロジェクトに対して本気で取り組んでいましたが、彼らの姿勢を見て、この「次がある」という気持ちはどこか甘えになっているのではと感じました。それからは「もっと今できることがあるのではないか」、「もっと良いものにできるのではないか」と考えるようになり、とてもよい刺激を受けています。

仁田:彼らは自分たちのアプリケーションソフトウェアや評価キットを担いでどんどん顧客にアプローチし、NDA(秘密保持契約)を早々に締結して、顧客との共同技術検討のフェーズに入っていきます。こうした顧客を開拓するスピードやフットワークの良さは大いに見習うところがあります。
また、彼らにはプロモーションにおける発信力の高さも感じています。彼らは非常に視覚的に訴求力の高いプロモーションを行っており、SNSを含めた発信方法のバリエーション、数多くの展示会に出展するなど、アクションのスピードも含めてすごいなと感じました。

古川:今回、ベンチャー企業との協業を通じて、逆に社内で相談や話をする機会が増え、いろいろな技術やメンバーと知り合うことができました。
また情報のやり取りなどで苦労したことが、SSSグループ以外の企業とどのように情報伝達すれば私たちが伝えたいところがしっかり伝わるのかなど、今後の業務の進め方に対する気づきを得ることができました。

井原:Prophesee社はイベントベースの情報処理の先駆者であり、その知見とノウハウが反映されたソフトウェアとドキュメントを提供しています。このソフトウェアのアップデートのスピードが速く、今必要とされている機能を見極めてアップデートされていて、ドキュメントも含めてみるみる良くなっていくのです。この開発スピードやもっと良くしていこうという姿勢には学ぶことが多いです。

―― これから挑戦していきたいことを教えてください

酒井:まずは今回の製品であるIMX636を量産出荷するところまでしっかりとやり切りたいです。
将来的には、今回のEVSのように研究開発から商品化につなげていくことに尽力したいですし、このような経験がSSSグループの他の社員も経験できるといいなと思っているので、新しいことに積極的に挑戦できる仕組みづくりにも貢献できたらと思います。

仁田:とにかくEVSを市場に浸透させることに注力したいと思っています。
EVSの特徴として高速性、ハイダイナミックレンジ、省電力があります。こうした特徴を活かすことで、将来的には二酸化炭素排出の削減など環境に配慮した社会インフラづくりにも貢献できるようにしていきたいと考えていますし、EVSにはその可能性があると思っています。

古川:まずはきちんと量産化に持っていかなければならないと思っています。
その上でいうならば、今回のEVSのような世の中にまだ広がっていない新しい技術の開発に携わり、その製品を世界中に広めていくことに貢献していければと思います。

井原:製造・検査業界に限らず、現在フレームベースのイメージセンサーが使われているさまざまな領域までEVSの応用範囲を広げていき、私たちをご指名いただければEVSをはじめ、お客さまに最適なイメージセンサーを使ったソリューションをご提供できるようにしていきたいと思っています。

関連リンク