Prophesee为其事件驱动的人工智能(AI)视觉开发生态系统新增开源模块和训练数据资源库。
开源模块和训练数据资源库
据麦姆斯咨询报道,法国AI视觉开发商Prophesee面向光流和目标探测等AI视觉应用,发布了一套关键的开源软件模块和一组事件驱动的机器学习工具。
Metavision Intelligence套件
作为Metavision Intelligence套件的一部分,Prophesee向开发者提供了业界最大的高清事件驱动数据集OpenEB(免费下载)。这有助于开发人员使用事件驱动的方法来进行机器学习,这种方法由场景的变化而不是神经网络框架触发。
和人眼视觉原理类似,Prohesee开发的传感器只有在感知到场景变化时才会进行记录,不同于传统图像传感器以固定的帧时钟记录图像信息。即仅在场景发生变化时,这种基于事件的视觉传感器上的像素才做出反应,场景中静态的部分都不会被捕捉。
Prohesee基于事件驱动的图像传感器
这种基于事件的视觉感知设计,主要有三大优势:产生数据量更少;反应速度更快;以及实现更高的动态范围(》120 dB)。这些优势对于当代机器视觉而言极具价值,尤其在减少数据量的问题上,对于有限的通信、存储与计算资源都显得相当友好。
传统基于帧和Prophesee基于事件的视觉传感器成像对比
Prophesee联合创始人兼首席执行官Luca Verre解释称:“所谓‘事件’,是指一个像素激活自身并发送事件检测到发生的X、Y坐标和时间戳。传感器上每个像素独立接收光子,光电二极管因此产生电流,进行累加之后,像素再持续地将电流的实时电荷电压与参考值做比较。在电压增减达到一定程度时,该像素就会发出一个事件。整个过程是μs级别的速度。”
首款事件驱动AI相机已出货
日本CenturyArk推出的SilkyEvCam人工智能相机,采用了Prophesee的事件驱动图像传感器和软件
日本CenturyArk在2020年末面向广泛的工业机器视觉应用推出了超小型USB摄像头SilkyEvCam。SilkyEvCam采用了Prophesee的Metavision视觉传感器以及Metavision Intelligence套件。为采用事件驱动方案的机器视觉开发人员,提供了更快的上市时间。
相比传统基于帧的视觉传感技术,这款相机采用了基于时间的Metavision视觉传感器,将场景中收集的数据量减少了1000倍,显著提高了性能。这种事件驱动方案能够以等效10000 fps以上的时间分辨率进行高速视觉,并支持超过120 dB的宽动态范围,使其适合在苛刻的照明条件下进行高效运行。
在此基础上,这款相机率先提供了对Metavision Intelligence套件的全面支持,这是业界最全面的一套开发工具,用于加速机器视觉系统中对基于事件的视觉技术的探索和实现过程。该套件包含62种算法、54个代码示例和11个现成的应用程序。它为用户提供了C++和Python API以及大量的文档和示例,通过增加难度来逐步引入基于事件的机器视觉的基本概念。
Prophesee最新发布的Metavision Intelligence版本增加了一套扩展的开发工具和软件,用于设计具有事件驱动机器学习的工业视觉系统。该套件现在包括近100种算法、67个代码样本以及11个特定用例的应用模块,可以加速用户的开发过程。
OpenEB的开源模块可以通过Github获取,它允许设计人员构建自定义插件,并兼容用于开发事件驱动系统的Metavision Intelligence套件。它为开发者提供了一个跨机器视觉生态系统共享软件组件的平台。
“我们希望在机器视觉生态系统中建立一个开放的技术标准,实现易得性和互操作性的新高度。”Luca Verre说,“我们的方案为基于事件的技术提供了持续增长的生态系统,具有丰富的开放基础和强大的开发框架。它包括了我们多年来收集的广泛而可靠的数据,以及利用我们在各种用例中积累的专业知识,加速客户特定系统开发的应用模块。”
OpenEB数据库为相机制造商及其客户提供了标准的基于事件的数据格式。Metavision Intelligence套件的开源模块,可以兼容相机制造商及其客户的生态系统。Prophesee开源许可提供关键模块,可以加速定制插件的创建,同时确保兼容相机制造商提供的底层硬件。
从Prophesee过去四年来创建的实际序列数据集开始,其开发环境为机器学习应用的快速发展提供了一个完整平台。开发人员可以利用各种工具指导神经网络模型的开发,对基于事件的数据进行推理,以进行用于目标探测的监督训练和用于光流的自监督训练,均为基于事件的视觉应用进行了优化。
此外,开发人员可以利用提供的基于事件的模拟器轻松创建自己的模型,或利用其现有的基于帧的数据集和模型,并使用基于事件的视觉对其进行改进。
Metavision Intelligence套件添加了新的即用型应用,并可以通过基于事件的视觉进行增强,其中包括:
- 粒度监测:在生产线上以极高的速度(高达50000像素/秒),对通过视场的物体进行计数和测量,计数精度高达99.9%,从而确保更好地控制过程。
- 喷射监测:实时监测液体分配的速度和质量。对高速喷射进行检测和计数,支持高达500 Hz的喷射分配,并在分配器出现错误时自动生成警报。
- 轮廓特征跟踪:利用基于事件的传感器提供的低数据率和稀疏信息,以较低的算力实现超稳健的3D目标实时跟踪。
编辑:lyn
-
机器视觉
+关注
关注
162文章
4369浏览量
120298 -
AI
+关注
关注
87文章
30818浏览量
268974 -
机器学习
+关注
关注
66文章
8414浏览量
132601 -
事件驱动
+关注
关注
0文章
9浏览量
6741
原文标题:基于事件驱动的AI视觉开源库,加速机器视觉应用开发
文章出处:【微信号:MEMSensor,微信公众号:MEMS】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论