概述

基于事件的视觉传感器(EVS)是一种检测各像素亮度变化,结合“坐标”与“时间信息”,仅输出变化像素对应的数据,从而实现高效率、高速低延迟数据输出的视觉传感器。可以将EVS善于动态捕捉的特点应用于多种不同领域。

什么是EVS

EVS能够捕捉动态(=亮度变化)

EVS是模仿眼睛的感光机制而建立的传感器技术。人眼感受到光线后,视网膜上的受体细胞就会将光信号转换成神经信息,后段的神经细胞再分别挑选出亮部和暗部,经由神经节细胞,将信息传递到大脑的视觉皮层。

另一方面,在EVS中,入射光在传感器的光接收电路中会转换成电气信号。电气信号通过放大器,由比较器根据亮度变化进行分离,形成变亮信号(正极性事件)和变暗信号(负极性事件),然后再通过后段的信号处理,以EVS图像数据的形式输出。

什么是EVS
放大 放大
什么是EVS

EVS的动作原理

对于按像素分别捕捉到的光的亮度变化,当超过设定的阈值时,基于事件的视觉传感器就会将其检测为事件,然后输出发生事件的像素的坐标、时间和极性。此动作各像素是独立、非同步进行的。
这个图是表现传感器面如何捕捉球体动态的模式图。

EVS的动作原理
基于事件的传感器的输出 放大 放大
EVS的动作原理

基于事件的传感器的输出


各像素由受光部、亮度变化检测部构成。入射光在受光部被转换成电压。亮度检测部的差分检测电路将检测基准电压与从入射光转换而来的电压之间的差分,在比较器中,当这个差分超过正负两侧设定的阈值时,就会输出事件。

基于事件的传感器的输出1
放大 放大
基于事件的传感器的输出1

为了把事件发生时的亮度水平作为基准,会将电路复位,然后根据这一基准电压设定正侧(亮侧的变化)和负侧(暗侧的变化)的阈值。超出正侧阈值的输出电压的变化,即入射光的亮度变化超过一定比率时,将输出正极性事件,而发生超出负侧阈值的电压变化时,将输出负极性事件。

基于事件的传感器的输出2
放大放大
基于事件的传感器的输出2

①设定基准电压、正侧和负侧阈值。
➁入射光亮度下降,超出负侧阈值时,输出负极性事件。
③以事件输出的时间点为基准,设定基准电压、正侧和负侧阈值。
④入射光亮度进一步下降,超出负侧阈值时,输出第二个负极性事件。
➄以第二个事件输出的时间点为基准,设定基准电压、正侧和负侧阈值。
⑥之后,当亮度上升、超出正侧阈值时,输出正极性事件。


如下图所示,入射光被像素以对数关系由亮度转换成电压。因此,EVS既可以在低亮度下检测出微弱的亮度差,又可以在高亮度下抑制因较大亮度差所导致的事件信号饱和,从而实现了传感器的宽动态性能。

基于事件的传感器的输出3

根据上述动作原理,可输出如下(右图)所示的EVS视频。

基于事件的传感器的输出4

由于像素的亮度变化是在被摄体移动时发生的,因此,该图像看起来就像是提取了移动被摄体的轮廓(照片是将搭载EVS的相机设置在汽车仪表板上拍摄到的图像)。

技术说明

实现业界最小像素尺寸的堆栈式小型、高分辨率传感器

传统技术中将受光部与亮度检测部配置在同一个平面上,而本产品划分出像素芯片(上部)与嵌入了信号处理电路的逻辑芯片(下部)两个部分。两个芯片堆栈在一起,利用Cu-Cu(铜-铜)连接实现各像素的导通。除了业界最小的像素尺寸4.86μm,还对逻辑芯片采用了40nm的微细工艺,实现高度集成,这样,仅需1/2.5英寸就能实现1,280×720的HD分辨率。

*1) 在堆栈式基于事件的视觉传感器中,基于索尼研究,截至2021年9月9日发稿时间。

实现业界最小像素尺寸的堆栈式小型、高分辨率传感器

实现高速、低延迟

各像素独立检测到亮度变化后,会立即将数据作为事件输出。当多个像素发生事件时将凭借仲裁电路,按照事件的先后顺序依次输出。基于这样的逻辑电路,能够以低电力消耗、微秒级的高速度,仅输出有效的动态信息。

实现高速、低延迟

H/W内置事件过滤功能

为应对各种用途,搭载了针对事件数据的多重过滤功能。
利用这一过滤功能,能够过滤LED闪烁等特定周期发生的无需识别的事件、很可能不属于动态被摄体轮廓的事件,以及调整后段系统可处理的事件发生率以下的数据量等。

相当于30fps的“帧化事件数据”的累积图(左图、右图)

相当于30fps的“帧化事件数据”的累积图(左图、右图)
相当于30fps的“帧化事件数据”的累积图(左图、右图)

(利用软件模拟的结果。相比左图削减了约92%的数据量)

过滤功能ON(右图)以后,有望达到在保留特定用途中有用信息的同时削减数据量的效果。
例如右侧(ON的图)中的“道路白线信息”就是有用的信息。

事件信号处理例

①液体监测

基于帧的传感器的图像

基于帧的传感器的图像

水流形成的模糊影像,让水滴看起来是连成线的,
难以判断液滴的状态

  • EVS的图像

    EVS的图像

    可以捕捉每一粒水滴的状态[高速性]

  • EVS(超慢动作)

    EVS(超慢动作)

    按时间序列无缝捕捉数据,因此可从相同数据中获取超慢动作或特定时间的信息

②人体追踪

基于帧的传感器的图像

基于帧的传感器的图像

身着深色服装的人很难看清
在明亮的环境中,即使是基于帧的传感器
也可以捕捉到人物的身姿

EVS的图像

EVS的图像

不依赖于服装,仅提取人物的轮廓
不输出运动的人物以外的信息[节省数据]

应用的输出

应用的输出

[利用机械学习模型得到的检测结果]
被识别为步行者
无论是追赶还是奔跑,都能不间断地识别

③金属过程监控

基于帧的传感器的图像

基于帧的传感器的图像

火花的高亮度导致过度曝光
使火花看起来如线条一般

EVS的图像

EVS的图像

可捕捉高速运动的每一粒火花[高速性]
不输出火花以外的工夹具等的信息
[高效率:节省数据]

应用的输出

应用的输出

为捕捉到的每一粒火花分配ID,实现可追踪性
⇒ 可对个数、尺寸、速度等进行解析

④3D测量

基于帧的传感器的图像

基于帧的传感器的图像

传输带上移动的箱子被激光照射到
用EVS相机拍摄反射光

EVS的图像

EVS的图像

激光照射到箱子表面后,
根据基准面(传输带表面)反射与被测物(箱子表面)反射位置的偏差与时间信息生成3D图像

应用的输出

应用的输出

仅从激光反射光在EVS上的入射点可获取高度信息。时间分辨率高,因此可从非常精细的点上获取高度信息。

⑤振动监测

基于帧的传感器的图像

基于帧的传感器的图像

振动台上汽车模型的振动
肉眼无法捕捉

EVS的图像

EVS的图像

只输出振动部位的信息,
所以可肉眼识别振动

应用的输出

应用的输出

可解析每个像素的频率,并以二维方式显示

*)Metavision是Prophesee公司的SW开发环境与算法库群。
Metavision®是、PROPHESEE S.A.的注册商标。

应用

外观检查、异物检查

EVS是通过拍摄产品的相对动态变化,从而对划痕及污垢的亮度差进行检测。例如,在划痕/灰尘的检查或者在大型卷筒薄膜的破损检查等场景下,EVS有望得到广泛应用。

其显著特长是数据量较小以及与机器学习的兼容性高。在RGB相机的情况下,由于显色方式的影响,会导致划痕等的外观存在差异,而且数据量也很大。而EVS则能够检测出各个像素的亮度变化,并将“坐标”和“时间信息”进行组合输出,因此数据量较小,速度很快。通过与机器学习相结合,还能够有助于检查的自动化。

相关领域

电子设备制造
食品・医药品・化妆品制造

外观检查、异物检查

机械异常的检测

由于EVS可以检测高速物体的动态并进行追踪,因此,即使是轻微的动作异常,也能够输出轻量且无延迟的数据。通过与机器学习相结合,还可以应用于异常检测系统。

相关领域

电子设备制造
重工业・成套设备制造

机械异常的检测

机器人领域

目前,在物流行业,对自走式机器人的需求正在日益增加。EVS可根据物体轮廓的变化,对物体的外观特征进行“动态检测”。而且,还能够对障碍物的检测进行高速处理,因此,在自动搬运机器人及快递机器人等自走式机器人领域有望获得广泛应用。另外,在护理支援的现场,还正在研讨将其应用于护理机器人。

相关领域

物流

机器人领域

保护个人隐私的监控

可以将人物的动作状态作为亮度的变化进行捕捉。而且不会对人脸的颜色和形状进行具体拍摄,因此,非常适合在医疗及护理现场中的安全监控,可以保护个人隐私。

另外,依靠其动态范围较宽的特性,可以在不受照明环境影响的情况下对“动态”进行检测,并输出轻量且无延迟的数据。例如,即使在安防用图像传感器难以拍摄的昏暗场所,也可对人的移动路线进行监控。通过将EVS与其他图像传感器进行组合,还能够构建性能更高的监控系统。

相关领域

安全监控

保护个人隐私的监控

科学测量、调查

由于EVS能够识别快速变化的物体,因此非常适用于科学测量领域。在客户行为调查领域,由于只是对人的动态进行反应获取数据,因此可以实现保护个人隐私的客户行为调查。

相关领域

研究・调查

科学测量、调查

UI/UX开发

基于事件的视觉传感器可将各像素的动态作为亮度变化加以捕捉,并能够以低延迟只输出发生变化的数据,因此最为适用于手部动作等的手势追踪设计。通过与ToF式距离图像传感器进行组合,还有望进一步扩大应用。

相关领域

研究・调查

UI/UX开发

下载

搭载基于事件的视觉传感器(EVS)的相机列表

下载搭载索尼基于事件的视觉传感器的相机列表

相关产品和解决方案

相关内容

联系我们

点击此处索取产品规格/报价 (RFQ)!

* 点击该按钮将跳转到本公司的委托公司salesforce.com Co., Ltd.的网站。请使用英语咨询。

订阅邮件资讯

获取更多索尼产业设备图像传感器的最新资讯