基于事件的视觉传感器（EVS）技术

概述

基于事件的视觉传感器（EVS）是一种检测各像素亮度变化，结合“坐标”与“时间信息”，仅输出变化像素对应的数据，从而实现高效率、高速低延迟数据输出的视觉传感器。可以将EVS善于动态捕捉的特点应用于多种不同领域。

什么是EVS

EVS能够捕捉动态（=亮度变化）

EVS是模仿眼睛的感光机制而建立的传感器技术。人眼感受到光线后，视网膜上的受体细胞就会将光信号转换成神经信息，后段的神经细胞再分别挑选出亮部和暗部，经由神经节细胞，将信息传递到大脑的视觉皮层。

另一方面，在EVS中，入射光在传感器的光接收电路中会转换成电气信号。电气信号通过放大器，由比较器根据亮度变化进行分离，形成变亮信号（正极性事件）和变暗信号（负极性事件），然后再通过后段的信号处理，以EVS图像数据的形式输出。

EVS的动作原理

对于按像素分别捕捉到的光的亮度变化，当超过设定的阈值时，基于事件的视觉传感器就会将其检测为事件，然后输出发生事件的像素的坐标、时间和极性。此动作各像素是独立、非同步进行的。
这个图是表现传感器面如何捕捉球体动态的模式图。

基于事件的传感器的输出

各像素由受光部、亮度变化检测部构成。入射光在受光部被转换成电压。亮度检测部的差分检测电路将检测基准电压与从入射光转换而来的电压之间的差分，在比较器中，当这个差分超过正负两侧设定的阈值时，就会输出事件。

为了把事件发生时的亮度水平作为基准，会将电路复位，然后根据这一基准电压设定正侧（亮侧的变化）和负侧（暗侧的变化）的阈值。超出正侧阈值的输出电压的变化，即入射光的亮度变化超过一定比率时，将输出正极性事件，而发生超出负侧阈值的电压变化时，将输出负极性事件。

①设定基准电压、正侧和负侧阈值。
➁入射光亮度下降，超出负侧阈值时，输出负极性事件。
③以事件输出的时间点为基准，设定基准电压、正侧和负侧阈值。
④入射光亮度进一步下降，超出负侧阈值时，输出第二个负极性事件。
➄以第二个事件输出的时间点为基准，设定基准电压、正侧和负侧阈值。
⑥之后，当亮度上升、超出正侧阈值时，输出正极性事件。

如下图所示，入射光被像素以对数关系由亮度转换成电压。因此，EVS既可以在低亮度下检测出微弱的亮度差，又可以在高亮度下抑制因较大亮度差所导致的事件信号饱和，从而实现了传感器的宽动态性能。

根据上述动作原理，可输出如下（右图）所示的EVS视频。

由于像素的亮度变化是在被摄体移动时发生的，因此，该图像看起来就像是提取了移动被摄体的轮廓（照片是将搭载EVS的相机设置在汽车仪表板上拍摄到的图像）。

技术说明

实现业界最小像素尺寸的堆栈式小型、高分辨率传感器

传统技术中将受光部与亮度检测部配置在同一个平面上，而本产品划分出像素芯片（上部）与嵌入了信号处理电路的逻辑芯片（下部）两个部分。两个芯片堆栈在一起，利用Cu-Cu（铜-铜）连接实现各像素的导通。除了业界最小的像素尺寸4.86μm，还对逻辑芯片采用了40nm的微细工艺，实现高度集成，这样，仅需1/2.5英寸就能实现1,280×720的HD分辨率。

*1) 在堆栈式基于事件的视觉传感器中，基于索尼研究，截至2021年9月9日发稿时间。

实现高速、低延迟

各像素独立检测到亮度变化后，会立即将数据作为事件输出。当多个像素发生事件时将凭借仲裁电路，按照事件的先后顺序依次输出。基于这样的逻辑电路，能够以低电力消耗、微秒级的高速度，仅输出有效的动态信息。

H/W内置事件过滤功能

为应对各种用途，搭载了针对事件数据的多重过滤功能。
利用这一过滤功能，能够过滤LED闪烁等特定周期发生的无需识别的事件、很可能不属于动态被摄体轮廓的事件，以及调整后段系统可处理的事件发生率以下的数据量等。

相当于30fps的“帧化事件数据”的累积图（左图、右图）

过滤功能ON（右图）以后，有望达到在保留特定用途中有用信息的同时削减数据量的效果。
例如右侧（ON的图）中的“道路白线信息”就是有用的信息。

事件信号处理例

①液体监测

②人体追踪

③金属过程监控

④3D测量

⑤振动监测

*)Metavision是Prophesee公司的SW开发环境与算法库群。
Metavision®是、PROPHESEE S.A.的注册商标。

外观检查、异物检查

EVS是通过拍摄产品的相对动态变化，从而对划痕及污垢的亮度差进行检测。例如，在划痕/灰尘的检查或者在大型卷筒薄膜的破损检查等场景下，EVS有望得到广泛应用。

其显著特长是数据量较小以及与机器学习的兼容性高。在RGB相机的情况下，由于显色方式的影响，会导致划痕等的外观存在差异，而且数据量也很大。而EVS则能够检测出各个像素的亮度变化，并将“坐标”和“时间信息”进行组合输出，因此数据量较小，速度很快。通过与机器学习相结合，还能够有助于检查的自动化。

相关领域

电子设备制造
 食品・医药品・化妆品制造

机械异常的检测

由于EVS可以检测高速物体的动态并进行追踪，因此，即使是轻微的动作异常，也能够输出轻量且无延迟的数据。通过与机器学习相结合，还可以应用于异常检测系统。

相关领域

电子设备制造
 重工业・成套设备制造

机器人领域

目前，在物流行业，对自走式机器人的需求正在日益增加。EVS可根据物体轮廓的变化，对物体的外观特征进行“动态检测”。而且，还能够对障碍物的检测进行高速处理，因此，在自动搬运机器人及快递机器人等自走式机器人领域有望获得广泛应用。另外，在护理支援的现场，还正在研讨将其应用于护理机器人。

相关领域

物流

保护个人隐私的监控

可以将人物的动作状态作为亮度的变化进行捕捉。而且不会对人脸的颜色和形状进行具体拍摄，因此，非常适合在医疗及护理现场中的安全监控，可以保护个人隐私。

另外，依靠其动态范围较宽的特性，可以在不受照明环境影响的情况下对“动态”进行检测，并输出轻量且无延迟的数据。例如，即使在安防用图像传感器难以拍摄的昏暗场所，也可对人的移动路线进行监控。通过将EVS与其他图像传感器进行组合，还能够构建性能更高的监控系统。

相关领域

安全监控