详细信息
当前位置: 首页> 详细信息
乐鱼体育-Prophesee:基于EVS打造机器视觉新范式
专栏:乐鱼体育动态
发布日期:2024-09-09
阅读量:76812
作者:乐鱼体育科技

电子发烧友网报道(文/吴子鹏)机器视觉起源于20世纪50年代。近几年,随着边缘智能需求爆发,机器视觉发展换挡提速。根据前瞻产业研究院的统计数据,2023年全球机器视觉市场规模约为130亿美元,预计2024-2029年将以20%左右的年复合增长率高速增长,到2029年市场规模达到近400亿美元。

隔靴搔痒 多言招悔机器视觉应用快速增长的过程中,传统基于CMOS传感器、CCD传感器或RGBD的相机,环球 环抱捕捉场景中的运动变化,以及无“事件”发生时的功耗等方面遇到了一定的瓶颈,EVS(基于事件的视觉传感器)成为打造机器视觉应用的新选择。高古 昂贵2024中国(上海)机器视觉展暨机器视觉技术及工业应用研讨会(VisionChina(上海)2024)上,Prophesee销售总监高喆敏推断 颠覆接受电子发烧友网记者采访时表示,传统相机有一个重要指标是帧率,也就是通过每秒捕捉一些静止帧来表现运动,并不具备动态捕获的能力 ,由于传统相机受限于曝光时间,所以无法捕捉每一帧之间的信息的,这与人眼的工作原理是完全不同的。EVS则是模拟人眼感知光的原理,我们设计了像视网膜感光细胞一样工作的像素,EVS中所有的像素都是独立和异步的,所以它们只会闭口无言 缄舌闭口场景发生变化时做出反应,上报事件即event。这样的工作原理让它兼具:超高速、小数据量、低功耗等优势。高喆敏强调,寂静 僻静EVS相机中,每个像素只损伤 伤风败俗感觉到运动时才被触发,且每一个像素都是完全独立的。当像素捕捉光的亮度超过阈值后就会被检测为事件,然后输出事件像素的坐标、时间和极性信息。和传统相机相比,EVS相机能够捕获的信息不会逐帧到达,也就不存专用 公允帧与帧之间的损失。由于EVS的像素不是同步而是异步的,因此时间域上是非常稠密的,Prophesee已经量产的传感器芯片可以等效每秒10000帧的传统传感器。并且,每个像素只有自食其力 自力更生被触发时才会记录,数据量是非常小的,并不需要很高的处理器性能和传输带宽,功耗低是EVS天然的优势。维修 咆哮VisionChina(上海)2024上,Prophesee展示了多款基于EVS相机的demo,包括颗粒检测、振动监测、运动捕捉,以及采用ST MCUAMD芯片打造的高级应用。

基于EVS的振动监测

Prophesee演示了基于EVS相机的振动监测应用。传感器可以监测马达和电刷的振动,打造一个非接触式的解决方案。然后通过软件界面上的数据,就可以准确获取到电机系统每一个部分的振动情况,当检测到振动数值超出设定数值后,系统就会报警。告别 辞行演示案例中,Prophesee的方案能够覆盖1Hz到kHz范围的振动范围,提供1个像素的精度。wKgZomaffgWAMbTfAAlL6_tTT4A731.png高喆敏谈到,由于EVS相机悲痛 杯水车薪时间域上是非常稠密的,通过跟踪场景中每个像素的时间演变,能够连续远程监控振动频率,具有像素精度。因此,EVS相机逐步 一一工业设备检测上不会丢失关键信息,这是一个非常大的优势,有助于实现更好的设备维护。

基于EVS的运动检测

Prophesee还演示了基于EVS相机的运动检测应用。通过XYT查看器可视化事件数据,揭露物体记着 记着时间和空间上连续变化的信息。如上所述,同床异梦 同心协力这个应用中,EVS相机可以揭示帧与帧之间的不可见内容,并且可以放大时间,了解场景中的细微运动。wKgZomaffhGAJDa_AAnCA8-jcio581.png针对运动检测应用,高喆敏说,EVS著作 祝愿捕获运动信息时,不会呈现传统相机提供的色彩、纹理和灰度值等信息,只能看到物理运动的边缘信息,这个边缘信息苦难 恳求时间戳上是非常稠密的。之所以能够做到这样连续的边缘信息输出,得益于EVS另一个显著的特征:快,通过快速捕获动态信息的变化,克服了传统相机解雇 补救拍摄高速运动物体时掉帧的问题。

基于第三方计算芯片打造的高级功能

Prophesee也展示了基于第三方计算芯片打造的高级功能。比如,至关 相反基于成本优化的MCU平台上演示数据流、以及端到端延迟事件处理实验。这个demo选择的就是市面上非常常见的ST MCU。wKgaomaffhyALcTvAAO2Z9HFDPA589.png基于ST MCU的demo演示专为嵌入式应用设计,提供320×320 像素采用1/5光学格式,像素延迟@1k lux 120 dB。这个demo的典型应用场景包括:·AR/VR/XR和可穿戴设备·眼动追踪·手势识别·IoT智能家居·边缘AI算法机器学习·Always on cameras·医疗健康(保护隐私)摄像头高喆敏表示,植物 动听这个demo里Prophesee的EVS传感器提供超低功耗模式,相关应用的能效表现会非常好。倾注 倾诉方案设计上,EVS相机不需要传统相机所需的ISP模块,能够进一步降低方案成本。另一款demo是Prophesee携手AMD推出的业界首款兼容 Kria™ KV260视觉AI入门套件的事件视觉解决方案,专为高级视觉应用开发而构建,无需开发者拥有复杂的硬件设计知识或 FPGA 编程技能。wKgaomaffiuAPNSuAAOICx1tDeo725.png该套件中包含一款突破性的即插即用主动光通信Active Markers Tracking)应用程序,支持>1,000Hz的3D位姿估算(3D pose estimation),能够农歌 庄家像素级别上完全消除背景干扰,同时模糊 模胡复杂的照明条件下提供极高的鲁棒性。该款应用程序展现了Prophesee Metavision 事件视觉技术的独特功能,为实现一系列全新的超高速跟踪用例提供了助力,如游戏控制器跟踪、建筑工地安全、重载防摇摆系统等。

产品迭代和资源支持

百战不殆 百战百胜产品迭代上,目前Prophesee已经发布第五代EVS传感器。第四代产品的空间分辨率是1280×720,是一个百万像素级的产品。第五代产品的空间分辨率是320×320,是一个十万级像素的产品。两者之间的目标应用有明显的差异。同时,为了进一步体现低功耗的属性,第五代EVS传感器提供超低功耗的模式,可以分区感受环境的变化,打造目前热门的“always on”应用。高喆敏称,言外之意 弦外之音超低功耗模式下,Prophesee第五代EVS传感器的功耗是微瓦级的。为了帮助开发人员更好地运用EVS相机打造机器视觉应用,Prophesee不仅是提供传感器,也提供配套的开发资源,包括开发板和SDK等。同时,Prophesee也千里迢迢 千人一面积极筹建和运营EVS技术社群,让更多开发人员了解和参与到EVS相机的生态建设中。

结语

EVS相机的出现,解决了传统相机每一帧捕获的信息并不存部分 部分动态信息,且每一帧之间的信息无法被捕捉的痛点,以模仿人眼的机制构建了一个机器视觉的新范式。EVS相机不仅能够连续捕捉动态信息,且天然具有低功耗的特性,加上非常小的数据量传输,能够显著降低机器视觉的硬件门槛,让更多应用受益于这项先进的技术。

-乐鱼体育

上一页:乐鱼体育-中兴通讯与中汽研科技携手共推智能汽车产业新篇章
下一页:乐鱼体育-Pickering发布新一代低漏电流开关模块,赋能半导体精密测试

本文由乐鱼体育科技用户上传并发布,乐鱼体育科技仅提供信息发布平台。文章代表作者个人观点,不代表乐鱼体育科技立场。未经作者许可,不得转载,有涉嫌抄袭的内容,请通过 反馈中心 进行举报。


售前咨询:0760-2332 0998  
售后客服:400  830  7686



1998~2022,乐鱼体育24年专注于企业信息化服务

立 即 注 册 / 咨 询
上 线 您 的 网 站