宾夕法尼亚大学工程师把事件相机视觉提速至每秒440次
Fast Feature Field系统跳过空白传感器数据,帮助机器人更快追踪运动并在黑暗空间中导航。
作者: Letizia Giugliano
阅读约3分钟由人工智能辅助撰写 · 审校与批准:Letizia Giugliano

宾夕法尼亚大学(University of Pennsylvania)的工程师开发出一款人工智能工具,每秒最多可处理440次事件相机视觉数据。这项名为Fast Feature Field的软件发明,使机器解读快速环境变化的速度比早期方法快2至5倍。《Science Robotics》期刊报道称,该系统可帮助自主无人机、轮式车辆和步行机器人在杂乱空间和弱光条件下快速作出反应。
预测运动,而不是做孤立的任务
标准相机按固定间隔记录完整的视觉场景,而事件相机依据不同的原理工作。据Interesting Engineering报道,每个像素都会持续记录光强的变化,无需拼合传统的帧就能捕捉快速运动。
这类传感器发出的是数百万个分散的信号,而不是结构化的帧,因此传统计算机软件如果没有分别用于物体检测、距离测量或运动追踪的程序,就很难解读这些信号。宾大团队用一个名为Fast Feature Field(F³)的神经网络解决了这一瓶颈。研究人员没有为不同的视觉任务分别训练模型,而是训练该系统根据过去的数据预测即将出现的信号。
“要根据过去的事件准确预测未来的事件,网络必须学会同时表示场景的结构和其中发生的运动,”第一作者Richeek Das在Interesting Engineering详细报道的研究结果中解释道。这个预测模型在一个处理步骤中提取几何信息和运动信息。
“要根据过去的事件准确预测未来的事件,网络必须学会同时表示场景的结构和其中发生的运动”
——Richeek Das,第一作者,宾夕法尼亚大学
“我们的目标是让使用事件相机像使用传统相机一样简单”
——Pratik Chaudhari,副教授,宾夕法尼亚大学
跳过95%的空白视觉点
事件传感器每秒产生数千万个离散信号,很容易让移动计算芯片不堪重负。然而,研究人员发现,在任意一个瞬间,大约95%的传感器可能坐标没有任何活动。
据Interesting Engineering报道,F³完全忽略这些不活跃的位置,只对发生光线变化的坐标进行计算。
这种过滤方法削减了不必要的计算。处理高清事件数据时,F³的运行速度为每秒120次。在较低的VGA分辨率下,速度提高到每秒440次,实现实时的机器人感知。
四足机器人与夜间街道上的测试
据Interesting Engineering报道,研究人员使用从汽车、四足机器人和自主飞行无人机采集的传感器数据流评估了他们的系统。实验涵盖了困难的视觉条件,包括夜间昏暗的城市街道和拥挤的室内走廊。
该软件在运行速度快2至5倍的同时,达到或超过了现有的机器人视觉基准。它还让机器人专家可以把现有的视觉工具适配到事件数据上,无需为每次部署设计定制软件。
虽然该论文没有列出正式的专利申请号,但这一技术架构是通过学术研究开发的知识产权资产,有可能在实验性传感器与实用机器人技术之间架起桥梁。
面向自主无人机的直接硬件集成
宾大研究小组目前正在把F³安装到设计用于穿越杂乱黑暗空间的自主飞行无人机上。
据Interesting Engineering报道,长期计划瞄准传感器硬件本身。工程师打算把算法模型直接嵌入相机芯片,在设备内部把原始电脉冲转化为可用的视觉数据。
“我们的目标是让使用事件相机像使用传统相机一样简单,”宾夕法尼亚大学副教授Pratik Chaudhari在Interesting Engineering报道的评论中表示。团队在《Science Robotics》期刊上发表了完整的技术评估。
另请阅读The Patent:三方专利局在维也纳就全球转让和AI举行会议 · 麻省理工学院(MIT)工程师打造受蛇启发的软体机器人探索小肠
由英文原文自动翻译. 阅读原文
The Patent ® 编辑部的文章,借助人工智能,依据编辑部选定的来源撰写。审校、更正及批准发布:Letizia Giugliano。责任出版方:WitUp Ltd。



