Prophesee:基于EVS打造机器视觉新范式

  需求爆发,机器视觉发展换挡提速。根据前瞻产业研究院的统计数据,2023年全球机器视觉市场规模约为130亿美元,预计2024-2029年将以20%左右的年复合增长率快速地增长,到2029年市场规模达到近400亿美元。

  在机器视觉应用迅速增加的过程中,传统基于CMOS传感器、CCD传感器或RGBD的相机,在捕捉场景中的运动变化,以及无“事件”发生时的功耗等方面遇到了一定的瓶颈,EVS(基于事件的视觉传感器)成为打造机器视觉应用的新选择。

  在2024中国(上海)机器视觉展暨机器视觉技术及工业应用研讨会(VisionChina(上海)2024)上,Prophesee销售总监高喆敏在接受电子发烧友网记者正常采访时表示,传统相机有一个重要指标是帧率,也就是通过每秒捕捉一些静止帧来表现运动,并不具备动态捕获的能力 ,由于传统相机受限于曝光时间,所以没办法捕捉每一帧之间的信息的,这与人眼的工作原理是完全不同的。EVS则是模拟人眼感知光的原理,我们设计了像视网膜感光细胞一样工作的像素,EVS中所有的像素都是独立和异步的,所以它们只会在场景发生明显的变化时做出一定的反应,上报事件即event。这样的工作原理让它兼具:超高速、小数据量、低功耗等优势。

  高喆敏强调,在EVS相机中,每个像素只在感觉到运动时才被触发,且每一个像素都是完全独立的。当像素捕捉光的亮度超过阈值后就会被检测为事件,然后输出事件像素的坐标、时间和极性信息。和传统相机相比,EVS相机能够捕获的信息不会逐帧到达,也就不存在帧与帧之间的损失。由于EVS的像素不是同步而是异步的,因此时间域上是非常稠密的,Prophesee已经量产的传感器芯片可以等效每秒10000帧的传统传感器。并且,每个像素只有在被触发时才会记录,数据量是非常小的,并不是特别需要很高的CPU性能和传输带宽,功耗低是EVS天然的优势。

  在VisionChina(上海)2024上,Prophesee展示了多款基于EVS相机的demo,包括颗粒检测、振动监测、运动捕捉,以及采用STMCUAMD芯片打造的高级应用。

  Prophesee演示了基于EVS相机的振动监测应用。传感器能监测马达和电刷的振动,打造一个非接触式的解决方案。然后通过软件界面上的数据,就可以准确获取到电机系统每一个部分的振动情况,当检测到振动数值超出设定数值后,系统就会报警。在演示案例中,Prophesee的方案能够覆盖1Hz到kHz范围的振动范围,提供1个像素的精度。

  高喆敏谈到,由于EVS相机在时间域上是非常稠密的,通过跟踪场景中每个像素的时间演变,能够连续远程监控振动频率,具有像素精度。因此,EVS相机在工业设施检测上不会丢失关键信息,这是一个非常大的优势,有助于实现更好的设备维护。

  Prophesee还演示了基于EVS相机的运动检测应用。通过XYT查看器可视化事件数据,揭露物体在时间和空间上连续变化的信息。如上所述,在这个应用中,EVS相机可以揭示帧与帧之间的不可见内容,并能放大时间,了解场景中的细微运动。

  针对运动检测应用,高喆敏说,EVS在捕获运动信息时,不会呈现传统相机提供的色彩、纹理和灰度值等信息,只能看到物理运动的边缘信息,这个边缘信息在时间戳上是非常稠密的。之所以能做到这样连续的边缘信息输出,得益于EVS另一个显著的特征:快,通过快速捕获动态信息的变化,克服了传统相机在拍摄高速运动物体时掉帧的问题。

  Prophesee也展示了基于第三方计算芯片打造的高级功能。比如,在基于成本优化的MCU平台上演示数据流、以及端到端延迟事件处理实验。这个demo选择的就是市面上很常见的ST MCU。

  基于ST MCU的demo演示专为嵌入式应用设计,提供320×320 像素采用1/5光学格式,像素延迟@1k lux120 dB。这个demo的典型应用场景包括:

  高喆敏表示,在这个demo里Prophesee的EVS传感器提供超低功耗模式,相关应用的能效表现会非常好。在方案设计上,EVS相机不需要传统相机所需的ISP模块,能够逐步降低方案成本。

  另一款demo是Prophesee携手AMD推出的业界首款兼容 Kria™ KV260视觉AI入门套件的事件视觉解决方案,专为高级视觉应用开发而构建,无需开发者拥有复杂的硬件设计知识或技能。

  该套件中包含一款突破性的即插即用主动光通信ve MarkersTracking)应用程序,支持>

  1,000Hz的3D位姿估算(3D pose estimation),能够在像素级别上完全消除背景干扰,同时在复杂的照明条件下提供极高的鲁棒性。该款应用程序展现了Prophesee Metavision 事件视觉技术的独特功能,为实现一系列全新的超高速跟踪用例提供了助力,如游戏控制器跟踪、建筑施工工地安全、重载防摇摆系统等。

  在产品迭代上,目前Prophesee已经发布第五代EVS传感器。第四代产品的空间分辨率是1280×720,是一个百万像素级的产品。第五代产品的空间分辨率是320×320,是一个十万级像素的产品。两者之间的目标应用有明显的差异。同时,为了进一步体现低功耗的属性,第五代EVS传感器提供超低功耗的模式,可以分区感受环境的变化,打造目前热门的“always on”应用。高喆敏称,在超低功耗模式下,Prophesee第五代EVS传感器的功耗是微瓦级的。

  为了帮助研发人员更好地运用EVS相机打造机器视觉应用,Prophesee不仅是提供传感器,也提供配套的开发资源,包括开发板和SDK等。同时,Prophesee也在积极筹建和运营EVS技术社群,让更多开发人员了解和参与到EVS相机的生态建设中。

  EVS相机的出现,解决了传统相机每一帧捕获的信息并不存在动态信息,且每一帧之间的信息无法被捕捉的痛点,以模仿人眼的机制构建了一个机器视觉的新范式。EVS相机不仅仅可以连续捕捉动态信息,且天然具有低功耗的特性,加上非常小的数据量传输,能够明显降低机器视觉的硬件门槛,让更多应用受益于这项先进的技术。

  技术对图像做处理、分析和理解的技术。它在许多领域都有广泛的应用,包括工业自动化、医疗诊断、交通监控、安全监控等。 一、引言

  传感技术、Ultraleap在手势识别技术方面的专长,以及雷鸟创新在消费级AR硬件和软件开发方面的专业方面技术积淀,共同

  解决方案 /

  Metavision® 智能手机影像去模糊解决方案可投入量产,针对第三代骁龙 8 移动平台全面优化

  今日宣布,与高通技术公司的合作进入可量产阶段。在巴塞罗那世界移动通信大会(MWC)期间,

  Metavision® 智能手机影像去模糊解决方案可投入量产,针对第三代骁龙 8 移动平台全面优化 /

  传感器, 该款突破性的 视线 跟踪系统将 助力 带来直观、无缝 流畅 的 新 用户体验   Zinn Labs 宣布推出业内首款基于事件的视线

  传感器的视线跟踪系统,为 AI 智能镜框和 VR/MR 系统赋能 /

  功能的软件系统。它能够最终靠对图像和视频做多元化的分析,识别和理解目标物体,以实现自动化和智能化的任务。

  已将其基于事件的摄像头调整为适合始终在线的 AIoT(物联网人工智能)设备

  为AIoT应用重塑 DVS 摄像头 /

  传感器,瞄准超低功耗边缘智能设备 /

  传感器 GenX320性能达到新高,提供超低功耗、低延迟、高灵活性,适用于 AR/VR、

  传感器,超低功耗、极小尺寸让消费类智能设备更自主、更安全 /

  的工作原理 /

  )今日宣布推出高速、经济高效且紧凑的评估套件 (EVK),以满足计算机

  评估套件 EVK5,搭载与索尼合作开发的传感器 IMX646 HD /

  求FPGA 驱动控制ltc2271 或者 ltc2180 或者 ltc2190或者 ltc2202 的代码

相关新闻