Prophesee:基于帧的传感器到基于事件的视觉系统
2019年06月14日 由 Aaron 发表
361842
0
基于事件的视觉功能,如眼睛和大脑,以克服传统机器视觉的固有限制。人眼与传统摄像机几乎没有什么共同之处。
所有传统视频工具都通过每秒捕获一些静止帧来表示动作。这些图像快速显示,产生连续运动的错觉。从翻书到电影摄影机,错觉变得更有说服力,但它的基本结构从未改变过。
对于计算机来说,这种运动表示方法几乎没用。相机在每个帧之间是盲目的,丢失有关移动物体的信息。即使在相机正在拍摄时,其每个快照图像也不包含有关场景中元素运动的信息。更糟糕的是,在每个图像中,重复记录相同的不相关背景对象,从而产生过多的无用数据。
考虑一个挥杆的高尔夫球手的视频。传统传感器将任意帧速率应用于整个场景,比如说每秒30帧。重要的信息是球杆的摆动和球的运动,但具有讽刺意味的是,传感器将错过这些信息的一部分,同时反复对作为背景的天空,树木和草进行大量清查。
简洁的解决方案
Evolution开发了一种简洁的解决方案,使自然视觉永远不会遇到这些问题。它不需要帧。当你眼睛里的细胞检测到一个事件场景的变化时,它们会向大脑报告。如果没有任何变化,则单元格不会报告任何内容。一个物体移动得越多,你的眼睛和大脑对它的感知就越多。
该过程允许人类视觉收集它所需的所有信息,而不会浪费时间和能量来重新处理场景中不变的图像。
仅通过记录变化,眼睛和大脑可以从每秒变化高达1000次的事物中收集有用的信息,而不需要使用大量的脑力。这是基于事件的视觉独立受体,收集所有的基本信息,而不是其他无关内容。
基于事件的视觉系统感知场景的生命力
PROPHESEE创建了神经形态传感器和生物启发算法,其功能类似于眼睛和大脑。这种整体方法是计算机视觉的根本转变——从基于帧的传感器到基于事件的视觉系统的转变。
每个像素仅在感知到移动时报告。而在基于帧的传感器中,所有像素同时记录,在基于事件的传感器中,每个像素完全独立。
当每个像素仅在触发时可以自由记录时,所创建的信息不会逐帧到达。相反,移动被捕获为连续的信息流。帧之间没有任何损失。
基于事件的视觉系统产生的数据比传统传感器少1000倍,同时达到了更高的等效时间分辨率,每秒大于10000帧。基于事件的视觉绕过了传统计算机视觉固有的局限性,正在颠覆汽车、深度学习、工业自动化、物联网、安全、监控和医疗等领域。