STORY
图像传感器
January 23, 2023
近年来，智能手机相机的功能越来越丰富。只需一部智能手机就能获得各种体验，除了背景虚化等拍照辅助功能，还能通过运用了AR、VR技术的游戏和空间打造全新的交流体验等。而这些用户体验，都离不开图像传感器的“感知技术”。
感知技术除了人眼可捕捉的信息之外，还能获取并识别人眼不可见的信息。近年来，随着传感器信号处理的高速化，这项技术被越来越多地应用到相机设备中。
在这种背景下，索尼半导体解决方案株式会社（以下称SSS）将感知技术与成像技术相结合，为全球用户创造出形式多样的手机服务。
此次，我们采访了奋斗在这项研究开发第一线的两位年轻的工程师，他们是系统解决方案事业部的荣元优作和手机系统事业部的马场翔太郎。
Eigen Yusaku
Sony Semiconductor Solutions Corporation
System Solutions Business Division
个人简介：2020年入职索尼株式会社。为追求手机用ToF图像传感器而从事PoC开发，使用Unity开发过AR、VR应用程序，还负责过识别手部和全身动作的姿势识别算法的开发。2021年开始开发dToF用AR应用程序、改良3D建模库。并参与使用ToF的AR开发用SDK“ToF AR”的开发，2022年6月向公众发布。
Baba Shotaro
Sony Semiconductor Solutions Corporation
Mobile Systems Business Division
个人简介：2016年入职索尼株式会社。从事手机用相机模块的相位差AF功能评估。从2017年开始负责ToF相机用SW/Calibration系统的启动。之后，参与ToF相机的参考设计开发与评估，进行系统开发、内部评估、支持智能手机厂商和Module integrator导入相机系统以及使用ToF的应用功能评估等。从2021年开始，参与dToF系统开发，负责系统架构直至现在。
SSS在感知领域的代表性技术是Time of Flight（ToF）图像传感器。这项技术可根据相机照射出的红外光接触到被摄体后，反射光返回到相机的时间，测定与被摄体之间的距离。由此，便可获取距离、深度（Depth）相关数据的肉眼不可见的信息。利用这项ToF技术开发AR/VR应用程序的就是荣元。
“我们发布了‘ToF AR’，这是用于开发AR的SDK（Software Development Kit），凭借这个SDK，用户就能通过智能手机轻松使用从ToF图像传感器中获取的深度数据以及利用这一数据实现的识别功能。同时，我们还在使用这款SDK制作应用程序。”
ToF AR利用SSS与索尼集团的R&D中心共同开发的突破性AI处理技术，可流畅地描绘手部和手指的动作。荣元就是利用这款SDK，在开发再现VTuber（虚拟YouTuber）的游戏应用，以及识别用户的面部和手部骨骼等部分进行操作的应用程序等。
这些研发工作的背后，包含了荣元希望让更多人体验和熟悉AR/VR的世界，从而推动ToF图像传感器等感知技术不断普及的强烈心愿。
搭载了ToF图像传感器的智能手机相机，会给用户带来怎样的体验呢？让我们来看具体的使用案例。
其一是可以拍摄背景虚化的照片。
“最近很多智能手机相机都具备了虚化功能，而ToF图像传感器是通过区分背景与前景来实现虚化效果的。通常，只靠普通相机的RGB图像是能实现一定程度的虚化，但是如果穿着与身后的人相似花纹的衣服，在有些场景下，就有可能无法顺利完成虚化处理。而利用传感器测量真实距离，将有效区分前景与背景。利用ToF图像传感器的技术，能够更巧妙地完成虚化处理。可以说这就是这项技术的优势。”（马场）
第二点与自动对焦相关。
“ToF图像传感器也被用于相机辅助功能。想要在暗处对焦时，光靠目前的图像传感器难以满足需求。而ToF图像传感器能够发射红外线，实际测量与被摄体之间的距离，因此，无论环境多么昏暗，都能对焦拍摄对象。”（马场）
另外，使用ToF图像传感器获取的深度数据，用户还能通过智能手机的应用程序体验更加丰富的内容。
“使用运用了ToF技术的应用程序，还能在虚拟空间中试穿服装或进行室内装修的搭配。比如，用户可以通过识别自己双脚的骨骼和尺寸，在应用程序中试穿想购买的多款鞋子，确认颜色、设计是否合适，大小是否合脚，在此过程中享受购物的乐趣。而且，还可通过扫描家中家具的形状和布局，摆设以前没有的地毯、家具、观叶植物等，想象与自己房间搭配的单品。”
这种深度和距离数据，对进一步提升ToF AR的AI处理技术也很有帮助。
“传统的深度学习一直是以RGB图像为主的。但是，除此以外，提供深度图和距离信息，也能促进新的AI开发和精度的提升。”
像这样，安装了ToF图像传感器的智能手机相机能让用户享受更多这项技术的优点。有时，SSS会提出这类新功能的方案，但厂商提出要求的情况也不少。但是，马场和荣元信心十足地表示，无论如何，为了满足用户的心声与期待，只要智能手机推出新机型，他们都会努力充实和改善功能。
在入职第2年就开始参与ToF图像传感器开发的马场看来，他坚信SSS的强项就是技术实力和综合实力。
“除了能够应对各种客户的需求，SSS还具备开发单独的传感器以及整套相机系统的技术实力。另外，SSS还准备了构建高性能系统所需的激光和镜头等的规格信息作为参考，因此可以提供综合性的方案。”
关于这一点，荣元也表示强烈赞同。
“作为客户的智能手机厂商和应用程序开发商有各自想要实现的需求，比如希望以尽可能大的像素进行拍摄，或者将耗电量降至最低等。我们不仅能为每个客户提供定制的产品，还能提供超出客户要求的方案，这正是依靠SSS的技术实力才能实现的。”
另一方面，他们也面临着一些课题。在手机的世界中，感知技术还未完全普及。技术只有被广泛使用才有价值。为此，马场表示必须推出更多应用程序和解决方案，促进ToF图像传感器在日常生活中普及。
“这是一个先有鸡还是先有蛋的问题，我们需要在更多的智能手机终端上搭载ToF图像传感器，但同时，也需要推出更多使用ToF图像传感器的应用程序。而最为关键的，是要让厂商、应用程序开发商以及用户等各类群体都能接触感知技术。”
荣元和应用程序开发团队也在想方设法，努力让更多人、更广泛的群体了解感知技术。这也是因为他们通过反省认识到，如果是AR/VR的游戏应用程序，就只是有限的用户才会感兴趣。
“如果能够通过手指虚空点触或滑动来看播放智能手机上的视频或浏览网页，将非常方便。另外，这对于希望不触碰便利店内的终端显示器，以非接触式方式操作的人来说也非常有用。要让AR/VR融入人们的日常生活，这种社会性应用程序是必不可少的。”
另一项课题是改善电力消耗。传感器发出大量激光，在提升精度的同时，传感器相关的成本也会成比例地上涨。
“比如，使用相机辅助功能时，在相机应用程序正常启动的状态下，由于ToF图像传感器也会开始工作，因此必然会导致耗电量的增加。另外，强力照射激光时，虽然可以进行远距离的拍摄，但是会导致耗电量剧增，应用程序崩溃等问题。我们在反复进行尝试，希望能在成本和性能之间找到一个平衡点。”（马场）
目前，在智能手机终端上已花费相当金额的用户，也希望能避免成本进一步增加。因此，厂商对性价比的要求非常严格。
既要低耗电，又要实现高帧率和低噪点，SSS的传感器和相机系统需要满足这两种相反的市场需求。然而，这是一项高难度的挑战，如能实现，SSS的研发人员们期待将一举改变行全球的行业版图。
荣元意气风发地表示“有些智能手机厂商会模仿竞争对手，在产品中搭载测光和测距的扫描仪。但SSS拥有dToF、iToF等各种ToF技术，也具备可针对智能手机厂商的需求，定制照射距离、像素数量、耗电量等参数的技术实力。能发挥这一技术实力开发各种应用程序正是SSS的强项。因此，我们希望利用感知技术，主动提案，引领行业不断进步。”
通过与客户长时间的持续交流，马场不仅让客户加深了对ToF图像传感器的理解，如今也能与客户进行建设性的讨论了，他也从中体会到了成就感。市场还有很大的开拓空间，转守为攻的时机已经成熟。
“我要再次强调，SSS的强项是以感知技术为核心，针对客户所需要的相机系统，提供综合性的解决方案。能对感知技术等进行评估，并实际制造产品、投入使用，从软件到硬件能提供一站式产品和服务的公司并不多。”
为了给用户创造一个更加方便的世界，今后，SSS的感知技术将继续在智能手机相机中发挥重要作用。
