最先端のAI・センシング技術を結集。
自動運転の未来を拓く、認識ソフトウェア開発の最前線

平野

SSSはイメージセンサーを主力事業としていますが、ハードウェアだけではなく、センサーで取得した情報を活用して新たな価値を生み出せるように、さまざまなソフトウェア技術の研究開発も行っています。

その中で、私たちはモビリティ分野の研究開発を担当しています。昨今では技術革新が進み、一般的な車にも自動運転を構成する技術が浸透しており、車の周囲の状況をセンシングして得た情報を高度に処理して制御まで結びつけるための技術がますます重要になってきています。そこで、培ってきた知見を生かし、より安全で快適な自動運転を実現するための認識ソフトウェアの事業化に注力しています。

黒木

自動運転や運転支援のソフトウェアと聞くと、多くの方は実際に自動車に搭載されるソフトウェアを思い浮かべるのではないでしょうか。しかし、実際にソフトウェアが自動車に搭載される以前に、開発を支えるプラットフォームを強化することが非常に大切です。現在、私たちは機械学習ベースでソフトウェア開発を進めていますが、このアプローチは高い性能を実現できる一方で、膨大なデータが必要になります。毎日、実験車を使ってデータを集めていますが、そのデータ量はテラバイト単位になることも。この膨大なデータを有効活用するには、ネットワークやデータサイエンスに関する専門知識が不可欠です。

そこで、車載センシング開発部では、マイクロソフト社が提唱するAVOpsと呼ばれる自動運転ソリューション開発のためのアーキテクチャを活用しています。このプラットフォームでは、実験車で収集した大量のデータをクラウドストレージにアップデートしたり、必要なデータを抽出したり、そのデータを分析するなどの処理を効率化するためのクラウドサービスが整備されています。そうして私たちは加工されたデータを有効に活用し、開発を加速させることができています。

平野

認識ソフトウェア開発ではプロジェクトの初期からセンサーフュージョンという技術コンセプトをもとに開発しています。センサーフュージョンとは、カメラ、LiDAR^*2などのさまざまなセンサーの情報を高度に統合することで、より高い認識性能を実現する技術です。カメラは2D画像に基づく物体認識を得意としますが、雨の日にレンズに水滴がついてしまうと認識性能が落ちますし、深度情報の取得に限界があります。そこで、ミリ単位の精度で距離を測定できるLiDARと組み合わせることで、対象物までの距離や形状を正確に把握することが可能になります。このように、各センサーの弱点を補い合うことで、あらゆる環境下で認識性能を向上させることをめざしています。
*2) Light Detection and Ranging（光検出と測距）の略称。レーザー光を使用して対象物までの距離を測定し、高精度な3次元マッピングを行う技術

センサーフュージョン技術は、近年多くの論文が発表されていますが、論文に記載されている技術がそのまま製品に適用できるわけではありません。自動運転においては、悪天候下や、高速道路や田舎道など、多様な環境下での走行を考慮する必要があります。論文で発表される技術は、限られた条件下で有効な場合が多く、実世界の複雑な状況に対応するには学習データの量や質、学習方法など、さまざまなノウハウが必要となります。

SSSには、映像の現像技術などのノウハウを持つ人材が多く在籍しており、長年にわたりセンサーフュージョン技術の開発に取り組んでいます。そのため、センサーで取得した情報をどういう見え方にすれば認識しやすいのか、といった点まで深く考察する力があります。また、センサーの開発段階からさまざまな評価を行い、その特性を深く理解していることもポイントです。以上のように、最新技術を現実世界で活用するための課題を解決できるノウハウを蓄積していることが強みと言えます。

黒木

他の強みとして、合成データ生成技術も挙げられます。SSSで開発している認識ソフトウェアは、逆光や悪天候、夜間などの悪条件下でも高い認識性能を発揮できます。それを叶えるためには、膨大なデータ収集が必要です。しかし、実験車によるデータ収集だけでは、豪雨や豪雪などの悪天候や特殊な状況に遭遇する頻度が限られて、十分なデータを集めるまでに長い時間がかかってしまいます。

そこでポイントとなるのが、最先端の技術である合成データの活用です。たとえば、生成AIを活用したドメイン変換技術を用いることで、晴れの映像を雨や雪、霧に変換することが可能になります。また、シミュレータも使うことで、たとえば前を走っている車の挙動や交通状況をさまざまなパターンで設定し、より多くのデータを生み出すことができます。

これらの合成データは、実験車と比較して迅速で大量に収集しやすいメリットがあり、開発の加速に大きく貢献することが期待されます。しかし、クオリティの高い合成データを作ることは容易ではありません。実写データも価値が高いため、合成データと実写データをバランスよく組み合わせることで、悪環境にも強い認識ソフトウェア技術の実現をめざしています。

平野

自動運転に対しては、ユーザー目線で2つのメリットがあると考えています。1つは、この技術が完成すれば天候に左右されない高度な認識技術となるため、場所や時間を問わず自動運転機能を利用できるようになります。2つ目は、突然の雨や霧など周囲の環境が変化しても常に安定した認識性能を発揮できるため、予期せぬ状況下でも安全で快適な運転につなげられると考えられます。

平野

グリーンイノベーション基金事業という官民で取り組むプロジェクトにおいて、SSSがリードする「電動車等省エネ化のための車載認識技術の開発」が採択されており、この認識ソフトウェア技術も活用されています。2030年の事業化を目標に、他社パートナーの支援を得ながら、自動運転レベル4の実現と実装範囲の拡大をめざしています。また、センサーフュージョン技術などによって車載部品の低消費電力化による脱炭素化も目標にしています。

平野

このプロジェクトはフェーズ3まであり、全体で約10年に及ぶ計画となっています。現在は、フェーズ1の2年間が完了しました。プロジェクト開始前から認識システム自体は開発していましたが、自動車の制御などを含まないもので、カメラ画像を用いて物体を検出する機能がメインでした。実際に認識システムを組み込んでテストをする段階になると、実環境ならではのさまざまな問題に直面しますが、リアルな課題を抽出することにもつながったので、難しいながらも学びの大きい開発だと感じています。

何より、センサーフュージョン技術には多くのメリットがあることが確認できました。今後は、認識システム単体の評価だけではなく、自動運転というシステム全体に対する評価をサイクルに組み込むことで、よりリアルな課題を抽出しながら素早い技術開発を行っていきたいですね。このように評価環境を整備することで、センサーフュージョン技術の価値をさらに深掘りし、高めていけると考えています。

黒木

持続可能な社会の実現に向けて、カーボンニュートラルは社会全体の大きなテーマとなっています。モビリティ分野に参入しているSSSとしては、悪環境に対するロバスト性^*3と省エネ性能を両立する認識技術によって、未来の自動運転の社会実装を加速することに貢献したいと考えています。
*3)外的要因の変化に影響されにくいこと

一般道における自動運転の実現に向けて、段階を進める度に多くの課題が見えてくることが予想されますが、共通の目標に向かってチーム一丸となって開発に取り組んでいきたいです。

平野

何より安心安全で快適な移動体験を提供できることだと思います。そのためにも、高性能なハードウェアと安全性を重視した認識ソフトウェアを組み合わせることで、より高精度な認識を実現したいと考えています。

黒木

認識ソフトウェアを搭載した自動駐車機能や、その他の運転支援技術が普及することで、ドライバーの負担を軽減し、誰もが安心してドライブを楽しめる未来をめざしています。将来的には、自動運転技術の社会実装を進めることで、交通事故の削減、渋滞の緩和など、移動にまつわるさまざまな社会課題の解決に貢献したいと考えています。

平野

私は、身近な存在である車のシステム開発に携わっているので、人々の生活がどのように変化していくのかを具体的に想像しながら、仕事に取り組めることに魅力を感じています。

また、認識・判断・制御という技術面で考えると、周囲の実環境の情報を正確に把握するという技術は、さまざまな自動化技術やロボットの礎になる技術として考えられます。自動運転が公道で走行できるようになれば、実環境のさまざまなデータやノウハウを蓄積できるでしょう。そのようにして培った認識技術を、自動運転だけでなく、他の分野の判断制御にも応用できるような開発をしていきたいと考えています。

黒木

私は現在、合成データの活用に取り組んでいますが、そこで使われる生成AIはここ1、2年の最先端技術です。常に最新の技術を研究開発に取り入れているので先行事例が少なく、試行錯誤の日々です。そのような中でも、数ヶ月間うまくいかなかった研究が、たった1つの調整で技術的なブレイクスルーにつながることもあります。その瞬間、それまでの苦労が報われたと感じ、やりがいを感じます。

何より、認識ソフトウェア 技術は奥が深いと感じます。自分で車を運転していると、死角から歩行者が現れないか予測するなど、高度な状況理解の必要性に気付かされることがあります。あらゆる状況を認識し、適切な行動判断につなげることは技術的に難しいテーマです。しかし、より安心・安全なモビリティの実現に貢献できる部分でやりがいもあり、さらなるレベルアップに向けて貪欲に取り組みたいと考えています。

平野

車載センシング開発部では、ソニーグループ内のさまざまな部署や社外の大学・研究機関など多様な専門性のあるパートナーと協業を行い、実プロダクトに向けた自動運転の開発に取り組んでいくことができます。部署内では、メンバー同士が気軽に情報共有や相談を行っています。新人でも、分析に基づいた提案であれば、役職や経験に関わらず誰とでも議論ができる環境です。そのため、やりたいことを自分から出して進めていける人には向いている文化だと思います。

この分野は技術的にまだまだ成長途中なので、多くの最新技術を積極的に活用するチャレンジ精神も必要です。実際に手を動かしてみることでしか得られない情報や成果は多く、それらを基に詳細な分析をしていける人に入っていただくことで、お互いに刺激しながら開発を進めていけると思います。

黒木

私は、自ら考え、行動できる裁量のあるワークカルチャーに惹かれてSSSに入社しました。実際、安全・安心・快適なモビリティを実現するためのチャレンジを応援してくれる風土だと思います。また幅広いバックグラウンドと高い技術力を持つエンジニアが在籍しており、日々良い刺激を受けながら働ける環境です。

さらに、ソニーグループには国内だけでなく海外にも多くのR&D組織があり、技術交流イベントなどを通じて普段の業務では関わらない領域の情報を入手できます。たとえば、エンタテインメント領域のバーチャルコンテンツ制作技術にも車載用シミュレータ技術と共通する部分があります。他にも実際にグループ内で連携強化できた事例があり、横のつながりを広げやすいこともこの職場の魅力です。どんどん新しい技術を吸収して開発に取り込めるような、好奇心旺盛で推進力のある方にぜひ参画いただけるとうれしいです。