人や背景だけでなく、ジェスチャーまでも正確にとらえるモバイル用Time of Flight（ToF）方式距離画像センサーがスマートフォンをはじめエンタテインメントコンテンツに革新をもたらす

ToF方式距離画像センサーでないと実現不可能で、使って楽しいアプリの開発

―― 開発したアプリは、どのような点に力を注いだのでしょうか

Ivy：当グループは企画、クリエイティブデザイン、SDK開発を、アプリ開発パートナーにリリース作業などを担当いただきともに進めました。最初に私たちはToF方式距離画像センサーをみんなに使ってもらうためにユーザーが楽しめるものをつくらなければいけないと考えました。
そのために、「このセンサーで何ができるのか」という技術的な部分を土井さんや中国の技術スタッフと勉強しました。その上で、TikTokなどのユーザーリサーチを行い、今どんなものが流行っていて、どんなことに興味があるのかを徹底的に調べ上げたのです。

Pop：デザインチームとしても、最初にToF方式距離画像センサーで何ができるのかについてかなりの時間を費やして研究しました。特にこのセンサーならではの特長を活かすためには何をするのがベストなのかを知らなければいけませんし、それを熟知した上で、アプリを開発する必要があると考えました。
もう一つ大切に考えたのは、ターゲットのことをよく知ること。アプリを使ってもらうためには、ターゲットがどのようなアプリを楽しいと感じ、どんな楽しみ方をしているのかを知らなければなりません。
幸いなことに、中国拠点のデザインセンターには開発に必要な最低限のラインを持っていますので、ここで試行錯誤することで技術的な課題を可能な限り排除しつつ、これまで誰も見たことのない独創的なものを創り出そうと試みました。

―― 日本と中国とにまたがった今回のプロジェクトはどのように進めたのでしょうか

鎌野：私たちが今回メインでターゲットとしたスマートフォンメーカーは中国にある企業が多かったため、IvyさんやPopさんなど現地の方たちを中心に検討を進めてもらいました。特にエフェクトの演出については、土井さんと中国にいる開発の方々とで密に話し合ってもらいました。

土井：私たち日本の開発チームはアプリ開発に必要なプログラムなどをパッケージ化したSDKを出します。そして中国には、実際にアプリを開発する企業があります。時勢的な制約もあり、すべてオンラインでコミュニケーションする必要があったので、私が現地の企業に対して直接技術サポートをすることは難しいと考えました。そこで、上海のデザインセンターに技術メンバーを立ててもらい、私はそのメンバーに技術面のレクチャーを行い、現地のアプリ開発企業に対しては、上海デザインセンターのメンバーに技術サポートをしてもらうようにしました。全体の進捗に関してはスケジュール管理アプリを使い、現地の進捗をこちらの厚木で確認しつつ、彼らの手に余る課題が発生した際には、私が直接サポートに入るなど、なるべく現地の開発チームに時間的、距離的なストレスが溜まらないように心がけました。

―― 現地に一度も足を運ばすに、すべてオンラインで進行させることに難しさはありましたか

土井：そうですね。どういうわけか、私はIvyさんにとても怖がられていまして（笑）「ここは、これではダメ」「ここはもっとこうしないと」と技術的な部分の指摘をしているだけだったのですが、Ivyさんは私が怒っていると感じたようなんです。オンラインだと場の雰囲気がうまく伝わらないという部分があり、実際に会って話していたら起こらないすれ違いみたいなものは感じました。

Ivy：土井さん、すみませんでした（笑）
私は技術にそこまで詳しくなかったので、土井さんの話を理解するのはとても大変でしたし、土井さんの話を正確に理解できないと、中国のメンバーが課題の解決に取り組めませんので、技術理解にとても苦労しました。
また土井さんの言うように、今回は上海、深圳、北京、成都、厚木の5の拠点をつないで開発していたこともあり、オンラインミーティングでのコミュニケーションミスを避けるのは難しいと感じました。

鎌野：エフェクトは動画なので、実際のサンプルが出てくるまではイメージボードなどの静止画で共有されるんです。その静止画がどのように動くのかは、各メンバーがイメージで補完する部分になりますので、イメージのズレはどうしても発生してしまいました。
サンプル動画が出てくると「やっぱりここはこうしたほうがいいね」と細かな部分にいろいろな意見が出て議論が進むのですが、動画を見るまではそれぞれのイメージの中での話なので、細かな部分までは詰められないということはよくありました。

Pop：私はこのようなプロジェクトは初めての体験でしたので、最初に職業や専門分野などバックグラウンドの違う人たちを集めてワークショップを行いました。そこではToF方式距離画像センサーでできることをわかりやすく表現したイメージ画像を見てもらいながら、みんなでコンセプトを考えていきました。
考え出したコンセプトを基にドラフトを描き、それをイメージボードとして提案しました。その後、より具体的なエフェクトの動きをイメージしやすくするために、フォトショップでストーリーボードをつくり上げていきました。
サンプルが上がってきたときに「思っていたものと違う」とならないように、このストーリーボードはより具体的に1枚1枚丁寧に制作しました。
また、コミュニケーションの難しさということでは2つありました。
一つは、言語の問題です。1つのミーティングでも、中国語、日本語、英語の3つの言語でコミュニケーションを行っていましたので、コミュニケーションミスが起こりやすかったと思います。
そしてもう一つは、TikTokなどのアプリで流行っているワードやギャグがあるのですが、地域や文化の差もあり、中国語で流行っているワードを日本語や英語にするのが非常に難しく、その面白さがメンバーに伝わらないといったこともありました。

―― 今回のアプリ開発で苦労した点を教えてください

Pop：私が一番苦労したのは、技術を理解することでした。土井さんからさまざまな資料をいただきましたが、それらを見ても実際にどのようなエフェクトが可能なのか想像しにくく、また技術的にどこまでが実現可能なのかもわからなかったので、かなりの試行錯誤を繰り返しました。
もう一つは、ToF方式距離画像センサーのエフェクトとRGB（画像）のエフェクトをきちんと区別するということ。このセンサーの優位性を活かすエフェクトをつくろうと考えるのですが、RGBでもできるエフェクトになりがちで、土井さんから「それはRGBのカラー認識とAIの処理でも可能」という指摘を何度も受けました。「被写体との距離を正確に測れる」、「対象物を3次元の座標でとらえられる」からこそできるToF方式距離画像センサーの面白いエフェクトの企画に非常に苦労しました。

土井：やはりToF方式距離画像センサーの特性を活かしたアプリでないと意味がないので、その部分は企画段階からかなり厳しくチェックしました。でも、そのRGBのカラー認識とAI処理でできることとこのセンサーでなければできないことの区別は技術に詳しくないと難しいことなので、技術理解の部分は中国拠点のデザインセンターの皆さんはだいぶ苦労したかなと思います。

Ivy：デザインセンターでは技術を理解するために3カ月くらいかけて勉強しました。だからこそToF方式距離画像センサーの特性を活かしたアプリをつくれたと思っています。

―― 技術的な理解に加え、今回は面白いかどうかという基準も大切だったわけですね

土井：デザインセンターの彼らが企画したものは、基本的にはどれも面白いアイディアでした。なので「ToF方式距離画像センサーの特性を活かしているか」という部分が大きな判断材料となっていました。

Pop：企画のアイディアは30以上考えていましたね。その中から実際のストーリーボードに落とし込んだのは25案くらい。そのうちの5つが実際にアプリとしてリリースされることになりました。

―― こうして企画されたアイディアの開発はすんなりと進んだのでしょうか

土井：プログラム開発の部分では、指を鳴らすとToF方式距離画像センサーが手の動きを認識して背景が切り替わるというアプリがあるのですが、最初に内部リリースしたバージョンではうまく認識できないという問題が発生しました。実は、指を鳴らすという行為の規定がそもそも曖昧なんです。この手の動きの認識は、指を鳴らした状態をたくさん撮影して「こういう手の形をしたときに指を鳴らしている」ということをAIに学習させていくのです。
この学習は私が一人で行っていたのですが、指の鳴らし方に個人差やクセがあることに最初は気が付かなかったのです。私は手のひらを上に、中指と人差し指が上に向いた状態で、親指と中指をこすり合わせて指を鳴らすのですが、指の鳴らし方は人それぞれ違うんですよね。人差し指を折りたたんでいる人もいれば、手のひらを下に向けて鳴らす人もいます。最初のモデルをつくった時は、たまたま私と周りの人間が同じ指の鳴らし方だったのでうまくできていたのですが、中国のチームに試してもらったら、いろいろな鳴らし方があることがわかりました。
そこで、あらゆる鳴らし方を学習させるために、腱鞘炎になるくらいいろいろな角度、指の形で何千回と指を鳴らしました。

より多くのクリエイターがデプス情報を活用できるようになると写真や動画だけでなく、音楽や感情表現など幅広い分野に可能性が広がっていく

―― 今後のToF方式距離画像センサーの可能性として、どんな活用が考えられるのでしょうか

鎌野：「現実世界とバーチャル世界をつなぐ」ということがキーワードになってくるかなと思っています。今日のインタビューは、私と土井さんは同じ場所に集まっていますが、なぜ集まるかと言えば、実際に会って話すほうが熱量やニュアンスといった伝わる情報量が多いからです。これらの情報もオンライン上でも伝えられるようになれば、もっと時間や距離を越えたコミュニケーションの可能性は広がると思っています。そのためには、平面ではなく物事を立体的に認識することは重要だと思いますし、その部分でToF方式距離画像センサーは大いに役立つのではないかと思っています。

土井：今私はVTuber用のアプリ開発に携わっています。今のVTuber用のアプリというのは顔認識によってキャラクターに動きを付けています。私たちが今開発しているものは、顔だけでなく手の動きも認識できるので、よりポーズの多様性が増し、感情表現がとても豊かになります。手や体など認識する部分を増やすほどに感情表現は豊かになっていくと思いますので、感情を表現していくという部分でToF方式距離画像センサーを役立てていければと考えています。

Ivy：今中国ではメタバース*2といわれる仮想空間を使ったコミュニケーションや経済活動が流行っていますので、こうした部分でもToF方式距離画像センサーの技術は大いに活躍できると考えています。ユーザーがARなどを使ってインタラクティブなコミュニケーションができるようになれば、より一層このセンサーの付加価値は高まっていくと思っています。

^*2:オンライン上に構築された現実世界とは異なる3次元の仮想空間やそのサービスのこと。

Pop：これまでToF方式距離画像センサーのデプス情報はビジュアルへの反映に使ってきましたが、今後サウンドや感情の表現に応用できるようになると、誰も見たことがない表現が可能になりますし、このセンサーを使って自分を表現したいと思うユーザーが増えるのではないかと考えています。
実際、サウンドARとか、どこに音を配置すればよりよい音場になるかなど、多くのアーティストがデプス情報を活用したいと考えていますので、今後ますます需要は増していくと思っています。

―― 今後、挑戦したいことを教えてください

鎌野：私は人、物、空間の情報が細部まで認識でき、かつ有効に活用されることでより便利な世界が実現できると思っています。ToF方式距離画像センサーに限らず、ソニーの持つさまざまなイメージセンサー技術やプラットフォーム、コンテンツを組み合わせて人々の生活をより豊かにできるような活動に携わっていければと思っています。
お客さまからも、ソニーにはさまざまな技術があるので「それらを組み合わせてもっと面白いことできないのか」というお話はよくいただきます。それだけお客さまからの期待値は高く、私たちの持っている技術と世界中のクリエイターがつながれば、全く思いもしなかったようなものが生まれるのではないかと思っています。

土井：技術をより多くの人に触ってもらってさまざまな発想をしてもらうことがとても大事だと思っています。より使いやすいSDKをつくり、公開することで開発者や技術情報がオンラインに蓄積され、デプス利用アプリが開発されるエコシステムが出来上がっていくと考えています。
スマートフォンのアプリも初期は小規模でしたが、開発環境を整えることで多くの企業やクリエイターがアプリを開発・発表するようになりました。AIもSDKがオープンにされたことで一気にAI開発・活用が進みました。同じようにデプス情報をスマートフォンで活用しやすいSDKを公開することで、多くの人に使ってもらえるようにしていきたいと考えています。

Ivy：私も土井さんの言っていることと通じますが、デプスのコミュニティをつくっていきたいと思っています。デプスの可能性に今多くのアーティストが興味を持っていますので、その輪を大きく、可能性豊かなものにしていきたいです。

Pop：もっともっとToF方式距離画像センサーの優位性を表現できるようにしていきたいと思っていますし、モバイルに限らず他のデバイスにもこのセンサーを活用したいと考えています。例えば、中国ではスマートTVが流行っていますが、テレビにToF方式距離画像センサーを付ければ、これまで以上にさまざまなことができるようになりますので、そうしたことに取り組んでいければと思っています。