INDUSTRIAL

图像传感器

“偏光图像传感器”可以识别人眼无法识别的对象,从而扩大产业,ITS,医疗,安保等各个领域的外延

May 28, 2021

听到成像这个词,很容易想到的是对眼前景象的拍摄,但索尼半导体解决方案集团(以下简称SSS集团)也要挑战拍摄肉眼看不见的对象。
“偏光图像传感器”通过捕捉人眼无法识别的光的振动方向,即“偏光”,轻松实现了传统方法难以做到的物体形状识别以及反射清除,变形及划痕检测。涉足过去几乎未曾使用过的“偏光”领域,首创*1半导体芯片和偏振片的工艺融合,实现工业级偏光图像传感器的量产,这不仅仅源自开发团队的伟大构想,更是整个团队不懈努力的结果。“偏光图像传感器”极有可能影响未来的产业界,Intelligent Transport Systems(以下简称ITS)业界以及医疗,研究领域,让我们从其开发故事中,探寻偏振将带来的未来变革。

*1:根据索尼在2021年5月的研究

M.Osawa

Sony Semiconductor Solutions Corporation
Imaging System Business Division

M.Kato

Sony Semiconductor Solutions Corporation
Imaging System Business Division

I.Yamagishi

Sony LSI Design Incorporated
System Solution Engineering Division

T.Yamazaki

Sony Semiconductor Solutions Corporation
Research Div.1

通过捕捉人眼无法识别的光的要素“偏光”
帮助产业领域检测精度实现大幅提升

―― 偏光,偏光图像传感器究竟是什么

Yamagishi:光具有波动性,可以用振幅(亮度),波长(颜色),波的行进方向,波的振动方向(偏光)这几种要素来描述。
简单而言,光的亮度,颜色以及部分行进方向是人眼可以识别的,但是偏光表现的是光的振动方向,是人眼无法捕捉的光信息。
使用偏光图像传感器,可检测到光照射到物体上时振动方向的变化,从而达到多种目的,例如识别物体形状,清除产生干扰的反射光,消除照射到水面及玻璃上的光,从而清楚的看到对面景象。

亮度 - 振幅

颜色 - 波长

偏光(无形的) - 振动方向

―― 偏光图像传感器的用途有哪些呢

Kato:现在,产业界和ITS业界已经开始评估并导入偏光图像传感器。偏光信息在产业界的部分领域已有部分应用,例如玻璃和透明塑料的变形检查,金属产品的目视检查,显微镜等,索尼的4向偏光图像传感器登场后,偏光信息的应用范围更日益扩大。例如,产业界过去目视检测黑色物体,经常存在漏看问题,查用偏光图像传感器后可以实现检测的全自动化。有如,原本必须通过转动偏光偏光片,逐点查找缺陷部位的检查,现在可一键完成。在ITS业界,偏光图像传感器在车窗反射清除用途的应用也备受关注。
另外,在车载,医疗,研究,移动,安防等多个业界,各种用途,我们的偏光图像传感器都崭露头角,对其的应用也在不断探讨之中。

―― 过去的图像传感器,偏光片存在哪些课题

Kato:产业传感用途所需要的不是人眼觉得美丽的影像,而是产品成色,有无附着物或划痕等异物,物体识别等判断OK/NG或者多少毫米等的定量信息。
传感器利用的是对比度的差异。传统的图像传感器识别的是亮度和颜色的对比度的差异。而偏光图像传感器除了亮度和颜色,还能够利用偏光对比度的差异,可实现更加精密的检测。
偏光片要获得偏光信息,需要转动物体或偏光片,进行多次拍摄。这需要机械性转动偏光片的机构和时间,因此,在工厂生产线等处进行检查时要利用偏光是相当困难的。索尼的偏光传感器上搭载了4个方向的偏光片,可一键获取多个偏光图像,从而可实时*2获取偏光信息。

*2:因后段信号处理能力而异。

史无前例的开发。超出想象的各种课题
开发团队的想象力和问题改善能力是攻克课题的原动力

―― 此次史无前例的图像传感器开发的理念或者执着的点是什么

Yamazaki:我们开发的是市面上没有的,具备世界首创结构的偏光图像传感器,因此,很多经历都是初次体验。

应该制造什么样的图像传感器(元件),要获取偏光信息,需要测量什么,需要多少精度,这些都是我们一点一点摸索出来的。关于偏光信息的处理,我们与索尼总公司R&D的偏光算法开发团队紧密合作,调查文献,反复进行反射清除处理,物体形状测定处理等偏光仿真和现场测试,才最终确定了元件的特性。
另外,偏光图像传感器有一项固有特性,那就是消光比。消光比可表现偏光测定的精度,消光比越高,精度越高,但其与透光率(感光度)存在权衡关系。我们希望尽可能地提高消光比,但又不想降低透光率。这是两种相反的特性,但是由于我们的坚持,最终达到了目标值的消光比,同时兼顾了透光率。

Kato:关于结构,我补充一点,下图是偏光图像传感器的截面图。这张图中条纹的位置就是偏光片的部分,它是一种将金属加工成细丝的构造物。(超薄金属板等间距排列形成的造型。)

―― 消光比与透光率权衡关系的课题是如何攻克的呢

Yamazaki:最初,我们从工艺稳定性和可靠性的观点出发,用氧化膜填充细丝状偏光片的缝隙。但是,我们发现这种方法无法解决消光比和透光率的权衡关系。理论上,只要使偏光片的宽度和间隙远远小于光的波长(使宽度变细,间隙变窄),就能同时提升消光比和透光率的特性,但是在加工技术上存在局限。另外,我们注意到因为透过氧化膜的光的波长变短,如果使用以氧化膜填充偏光片间隙的结构,就需要进一步缩小偏光片的宽度和间隙。
因此,我们想到了把偏光片的间隙变成空气层的气隙结构。凭借新开发的气隙结构,我们兼顾了消光比和透光率。
除了消光比,开发过程中需要攻克的课题无以计数,需要确立气隙结构的稳定性和可靠性。对由多个金属层堆叠而成的结构体偏光片进行纳米级加工。必须在表面不平整的图像传感器上进行微细加工等。

Osawa:从量产的观点来看,我们必须确保这种微细结构达到稳定优良的品质。以500万像素的图像传感器为例,必须为500万个像素都实施这种微细加工并确保均一的品质。保持稳定的品质和成品率难度很大,但是同时,这也是一直以来索尼备受客户好评的重要原因,因此,和其他图像传感器一样,对于偏光图像传感器,我们也非常执着于确保其品质。

―― 作为世界首创的图像传感器,在产品的评价标准上也投入了很多心血吧

Yamagishi :我负责开发传感器的评价测量方法。一般情况下,光源产生的光只要不通过偏光片,就会被认为是非偏光光。因此,我一开始认为只要在常规图像传感器的评价光源里安装上偏光片和转动结构,就能简单地开发出偏光光的评价测量环境。

但是,实际实验后发现,像素输出结果与设想的完全不同,开发非常不顺利。因此,我对光源本身进行了细致的调查,发现该光源的偏光状态就不是均匀的,他发出的光有很少一部分就存在偏光。
市面上销售的光源设备,在光的强度和面内均匀度方面有相应规格,但对于偏光的规格完全没有记载,自然也无厂家品质保证。我意识到一个问题,那就是在我们不仅得研究传感器本身的偏光问题,还必须了解光源的偏光状态,因为即使是相同产品型号的光源,因为没有明确规格,个体间的偏光状态也是存在差异的(有偏差)。而且,我们在评价中还发现经判断没有问题而实际被用于评价的光源,其偏光状态可能会随着时间而改变。开发过程中我们为此采取了一系列的应对措施。
光源之外,偏光片的选定也是从购买,试用,再调查偏光片特性开始的,无法顺利获取特性时,就要购买其他偏光片再尝试,这一过程反反复复,经历的失败完全超出了最初的设想。

Osawa:设计和制造工艺是传感器开发中的重要工作,此外,在晶圆量产时,实施什么样的特性检查来保证品质也非常关键我们与山岸先生密切合作,充分利用研究部门先行开发时积累的技术经验,并与Sony Semiconductor Manufacturing Corporation熊本技术中心的技术人员共同改进检查工序,不断积累检查数据,最终确立了索尼偏偏光图像传感器的高品质检测手段。
但是,要说这项工作是否进展顺利,很遗憾,并非如此,我们经常遇到评价结果和预期不一致的情况,每次都要和团队成员研究问题出在哪里,将评价环境与元器件特性原由剥离开来,不断进行讨论。
索尼积累了大量常规图像传感器的数据和技术经验,但并没有偏光特性方面的积累,使用传统的方法导致研发工作经常碰壁,可以说是饱尝了创业之苦。
但即使在这样的状况下,我们也凭靠偏光开发团队里元器件,设备环境,光学等各个领域的专家助力,不断改善,不断创意,这才有了高品质偏光图像传感器的横空出世。

偏光图像传感器的市场开拓刚刚开始
作为研发起家的高科技企业,SSS集团的市场提案能力和应用能力面临考验

―― 偏光图像传感器可以为客户带来怎样的解决方案

Kato:比如在产业界,由于黑色物体和透明体对比度很低,因此,一般的相机难以捕捉,过去都是以目视或抽样方式进行检查的。

而这样的检查使用偏光图像传感器后就能实现自动化,还可以减少误识别的机率。并且,对于必须转动偏光片逐点查找缺陷部位的检查,如果是偏光图像传感器,一键就能确认视角内的全貌,有助于节省人力和缩短检查时间。
另外,应用偏光信息的解决方案还有消除反射,3D识别,素材判断,透明体变形测定等等。
偏光图像传感器的应用领域非常广泛,很难一言概之。详情请大家参阅我们的网站,视频和白皮书。
很多机器视觉相机已经搭载我们的传感器,开始在市面上销售了,偏光希望感兴趣的朋友试用评价。

正常显示

偏光方向显示

―― 请介绍一下偏光图像传感器市场的趋势

Kato:要获取偏光信息,光的控制很重要。我们预计将从能控制光源的工厂等开始率先导入偏光图像传感器。
产业界的话,还是希望偏光图像传感器能在检查用途上得到更为广泛的应用。替代人工检测,挑战偏光传统图像传感器的检测难题,是我们的奋斗方向。
另外,在ITS业界,我们关注的是消除车窗反射的解决方案。传统的偏光片添加方案,无法消除某些车型的反射,期待我们的偏光图像传感器能改善效果。
※单击此处以获取ITS中的应用示例。

清晰成像,无反射–改善人脸识别

―― 偏光图像传感器与AI结合将创造怎样的未来

Yamagishi:对于AI而言,信息增加意味着判断材料增加,是非常有用的。从这个意义上来说,增加偏光这个信息轴非常有帮助。而且,在反射产生干扰的场景中,偏光图像传感器可阻断不必要的信息,为AI助力偏光, 大幅提高AI的判断精度。与AI的结合,无论是出于增加信息的目的,还是便于筛选的目的,都非常适合。
另外,偏光图像传感器与其他传感器结合,应用多光谱判断肉类等对象的新鲜程度也是我们关注的新应用。除了波长信息,如果还能加上偏光信息,再由AI判断,就能大大提升评测精度。

Kato:我也认为偏光图像传感器适合与AI结合使用。因为这样能获取更多光的信息,原理上将提升识别精度。
我们曾利用深度学习比较人,车辆,透明瓶等的识别率,发现在测试环境中,无论什么情况下,都是偏光图像传感器的识别率更高。
在偏光图像传感器与AI结合的实用化中,不仅需要图像信号处理的知识,还必须对“偏光”有一定程度的理解。技术难度或许提高,但正因如此,也是一个充满商机的崭新领域。

正常显示

偏光方向显示

开发,量产并非终点
有多少客户,对于偏光就有多少需求,其可能性将不断扩大

―― 今后,你们还将进行哪些挑战

Yamazaki:偏光图像传感器独具优势,但目前,还有一些缺陷,比如偏光图像传感器因为搭载偏光片,会导致感光度和分辨率下降。我们希望开发感光度和分辨率不会下降的偏光图像传感器,使偏光图像传感器在各个领域得到更广泛的应用。

Yamagishi:从结构上来说,各种规格的图像传感器上都可以安装偏光片。随着偏光需求的增加,自然而然就会产生对各种功能,特性的偏光图像传感器的需求,我们将不断积累技术,确保无论何种特性,都能创建高品质的测定环境和光源。

Osawa:最近与客户对话的机会越来越多,我们也由此倾听到客户的各种课题。索尼的优势就是除了偏光图像传感器,还有许多其他独特的图像传感器。我们将充分利用这些产品,提供最佳的客户解决方案。
如果届时遇到无法解决的难题,我们将把它视为机会,不断开发新技术,为社会发展贡献我们的微薄之力。

Kato:传感技术发展后,就可以越来越多的用机械代替人的单纯作业,帮助人们创造美好轻松的生活。
但是,像偏光这样的技术,如果因为其知识复杂而难以导入实际应用的话,这些技术就会变得无用武之地。因此,我们必须关注并创建让客户们顺畅应用这些技术的环境。
技术被使用后才有价值,因此我们将大力推进技术的实用化,让技术得到广泛应用。

相关内容

※点击该按钮将跳转到本公司的委托公司salesforce.com Co., Ltd.的网站。请使用英语咨询。

White Paper

利用偏振光消除反射的原理及偏光图像传感器的特长