ソニーセミコンダクタソリューションズ株式会社(以下、SSS)は、誰でも気軽にバーチャルYouTuber(以下、VTuber)を体験できる機能を追加したスマートフォン向けの無償アプリケーション「ToF AR Lab」を拡張し、10月3日(月)にリリースしました。
「ToF AR Lab」は、スマートフォンのカメラを使って画面に映し出された現実風景に、バーチャルの視覚情報を重ねて表示できるスマートフォン向けのアプリケーションで、今年6月15日にSSSより一般公開した開発キット(SDK)「ToF AR」を用いて自社開発されました。今回の機能アップデートにより、カメラで写した人間の動きのデータが取り込まれ、予め用意された3Dの仮想キャラクター(アバター)の動きに反映されます。これにより、アプリケーション対応機種*1をお持ちの方であれば、誰でも簡単にVTuberを体験することができます。
従来のVTuber用のアプリケーションは、細かい動きの再現が難しいという課題がありましたが、本アプリケーションはToF*2カメラなどで取得した被写体の深度(奥行き)情報を利用することで、手や指の細かな動きまでをアバターに反映し、よりスムーズで違和感のない体験を可能にします。
本アプリケーションでは、VTuberに加え、メッシュ処理機能*3を用いて画面上に3Dの仮想空間(メタバース)を作り出す「SandBoxRoom」、まるで水の中にいるようなバーチャル体験ができる「IceWater」、現実風景における壁や床などを手や足で触れる動作により、バーチャルな蝶を飛ばすことができる「Kirigami」などの機能も体験可能です。
「ToF AR Lab」で深度情報を用いたアプリケーションの魅力をより多くの方に体験いただくことにより、開発キット「ToF AR」を通じたアプリケーションの体験価値の向上をめざします。
<ダウンロードページ>
■iOS用 「App Store」
ToF AR Lab on the App Store (apple.com)
■Android OS用 「Google Play」
以下URLにて、2022年10月11日に拡張リリース予定
ToF AR Lab - Google Play のアプリ
*1) iOS用/Android OS用 それぞれの対応機種の詳細は、こちら
*2) ToF(Time of Flight):光を照射しその反射光を検出するまでの時間差を利用して、距離情報を取得できる技術。ToFカメラは、ToF方式のセンサーを搭載したカメラ
*3) メッシュ処理機能:深度情報を元に周辺環境を画面上で三次元化する機能