应用
移动

智能手机(Intelligence)

概述

利用文字、音频数据和图像数据进行的AI识别处理不断普及,在此背景下,索尼半导体解决方案公司(下称SSS)结合AI处理用硬件引擎与轻量化的AI算法,开发了全球首款*1搭载AI处理功能的智能视觉传感器。

智能视觉传感器是可单独完成常规图像传感器信号处理和高速边缘AI处理的传感器,具有划时代的意义。利用SSS的堆栈技术,将AI的图像分析处理功能搭载在逻辑芯片上,成功地在微小的传感器中加入了AI处理功能。

因此,将图像数据上传至云计算系统进行AI处理时的传统系统课题——数据传送时间得到削减。并且,还能保护隐私,减少电力消耗与通信成本。

未来,SSS还将把具备AI处理功能的图像传感器推广到移动设备领域,提升拍摄时的功能、实现全新的应用等,创造出更多新的可能。
*1) 作为图像传感器。索尼调查结果。(截至2020年5月14日发布宣传时)

应用

摄影(消除反射、数码变焦)

窗外的夜景经常因为玻璃上的倒影而无法顺利拍摄。AI功能将颜色传感器与偏光传感器的信息融合在一起,可消除反射,仅留下美丽的夜景。

摄影(消除反射、数码变焦)
摄影(消除反射、数码变焦)

因为物理上的限制而无法搭载光学变焦的智能手机,通常会使用数码变焦功能,通过数字处理将图像的一部分进行放大,但数码变焦有一个缺点,那就是会导致图像粗糙、不清晰。SSS的智能视觉传感器在使用数码变焦时应用AI技术,根据被摄体的特征,进行高精度的超分辨率处理。未来有望拍摄接近于光学变焦的清晰影像。
*) 本内容是设想用于移动设备时的可能性,并非SSS产图像传感器的规格。

物体识别

只需用相机扫一扫,手机图像传感器所搭载的AI功能就能确定“狗”等对象物。而且利用细致的特征分析,还能显示“柯基犬”等犬种及其他信息。利用云计算,还能进一步提升精度。

另外,用AI识别爱犬后,之后只需将相机朝向它,就能自动追踪跑动的爱犬进行对焦,还能以最佳视角截图保存。拍摄的图像会被自动分配“狗”、“公园”、“草坪”等关键词,这样就能轻松从大量照片中,找到自己想要的图片。
*) 本内容是设想用于移动设备时的可能性,并非SSS产图像传感器的规格。

物体识别

学习

从拍摄的图像中获取辉度和颜色成分,从SWIR图像传感器偏光图像传感器中获取信息后,用手机图像传感器所搭载的AI功能进行分析,就能根据自拍照测量脉搏、判断肌肤状态等。未来,通过对各种信息进行AI处理后分析生物状态,还有望对健康状态做出更细致的诊断。
*) 本内容是设想用于移动设备时的可能性,并非SSS产图像传感器的规格。

学习

AR

在相机拍摄的图像上叠加各种信息后进行显示,这就是AR(Augmented Reality/增强现实)。将Time of Flight(dToF)式距离图像传感器获取的立体信息与相机的图像数据,用手机图像传感器所搭载的AI功能进行融合,再叠加地名、建筑名等元信息和CG等,就能实现在画面上叠加箭头、显示方向的智能导航,从树荫下跳出来的动画形象等,从视觉上增强现实,提供便利而充满乐趣的AR体验。未来,还能实现多人共享AR空间,一起体验同一个游戏。
*) 本内容是设想用于移动设备时的可能性,并非SSS产图像传感器的规格。

AR

技术

ToF(Time of Flight)

关于在该领域内有效利ToF(Time of Flight)信息,请参看此处。

相关产品和解决方案

联系我们

有关索尼半导体解决方案集团以及产品、服务的咨询和规格、报价/采购等请求,请点击下方按钮填写专用表格与我们联系。