和高通一起打造智能手机影像的硬件创新，2023年Prophesee进入收获期

不久前，Prophesee与高通技术公司联合宣布双方将合作优化 Prophesee Metavision 事件视觉传感器与高通骁龙移动平台的深度融合，为智能手机提供神经拟态视觉技术在速度、性能和成像质量方面的优势。据了解，这一方案正积极推进，很快就会有品牌智能手机的项目落地。
 
日前，Prophesee联合创始人兼执行总裁Luca Verre以及Prophesee副总裁兼大中华区总经理杨雪飞接受包括电子发烧友网在内的媒体采访，分享了 Prophesee Metavision技术的应用情况以及公司发展等话题。
 

 

Prophesee Metavision技术推动智能手机摄影的创新

 
Prophesee Metavision 事件视觉传感器能够模拟人眼工作模式。Luca Verre解析，通常人眼在观察画面时，关注点并不是整个画面，而只是关注于画面当中正在发生变化的部分，Prophesee的传感器技术通过独立且异步的像素设计实现这个原理，可以独立地对画面中发生变化的物体信息做出反应，这样不仅可以很大程度上减少信息量，并且像素反应速度极快，而且几乎不受光线条件的影响。
 

图：Prophesee 联合创始人兼首席执行官Luca Verre

 
Prophesee成立于2015年，技术团队对于事件视觉传感器的研究长达25年之久，最初是希望借助这个技术帮助视力受损的人修复视觉，这项工作在2016年取得很大的成功。同时这项技术也赋能到一些设备上，特别是在人工智能（AI）和机器视觉领域，包括像物联网设备、机器人、无人机以及智能手机上。
 
如今，手机是图像传感器最大的市场，占比达60%。手机的摄影功能是各大手机厂商都非常重视的指标，都在不断地追求极致。在手机端，将Prophesee的事件传感器与传统的以帧为单位的图像传感器进行结合，能够提高手机摄影照片的质量。
 
Prophesee和高通都一致认为，神经拟态技术将会为未来智能手机带来非常多的附加价值，不论是在计算摄影还是在其他一些传感应用方面，这也是为什么高通决定和Prophesee达成长期战略性的合作伙伴关系。Luca Verre表示，我们和高通的合作主要是在两个方面，在技术层面，高通帮助我们把事件视觉传感器和软件整合到骁龙移动平台上；在业务发展层面，高通将会和我们一起，向手机OEM推广这个解决方案。Prophesee在神经拟态视觉领域具有领导性的地位。我们希望能够和高通一起，共同推进这个产品和技术的发展和落地。
 
摄影模糊是当前手机影像面临的一大挑战。如果你的拍照对象移动速度很快的话，很容易产生模糊的情况。
 

 
如上图，左侧展示的是用常规的摄像机拍摄的照片，整个过程有停顿，并且很明显在照片当中出现了模糊的状态；而在右侧使用我们事件相机的技术，可以看到非常连贯，并且能够很好地捕捉到运动的部分。在捕捉动态物体方面，Prophesee的技术和解决方案要比传统的摄像机表现更优越。
 
进一步来看，在使用普通常规摄像机拍摄的时候，如果被拍摄对象移动速度很快，比如照片上的这位男士，或是由于场景光线不足导致曝光时间延长，都可能会导致照片发生模糊。简单来说就是普通照相机的传感器没有足够的时间去收集到足够的信号，也没有时间去对这些捕捉到的数据和信号进行重新的架构。
 

而基于事件的视觉解决方案，它收集到的事件数据在时间上具有连续性，可以借助这些信息来重新构建和修复常规摄像机拍摄的模糊的图像，像照片上的这位男士以及球杆，都可以恢复到接近我们人眼视觉看到的状态。
 
以双摄像头模组来看，右侧是事件相机，左侧是以帧为基础的相机，将两者进行结合以提升照片的质量，可以借助事件相机捕捉到的运动对象的信息，来校准发生模糊的照片。
 

 
 
据透露，目前Prophesee已经开发了比较成熟的摄像头模组和应用软件，计划会在下个季度向市场推出相关的手机参考设计。照片去模糊只是事件视觉技术众多应用中的一个，未来Prophesee还将高通以及手机OEM厂商共同开发更多的功能。
 
 

以低延迟低功耗，助力AR/VR领域的跟踪功能创新

 
随着越来越多的摄像头用于边缘智能的处理，传统基于帧的摄像头在在数据的处理量、处理速度、以及周围光线条件不理想时，遇到的模糊问题日益突出。除了智能手机是Prophesee重点关注的赛道之外，事件视觉技术未来还将解锁更多市场应用，能够为行业带来巨大的范式转变。
 
Prophesee目前在可穿戴设备以及AR/VR领域进行探索和突破，包括位姿跟踪、手势追踪、眼球跟踪等等。可以尽可能地帮助减少延迟和降低功耗，这也是提升沉浸式体验的关键。
 
 

 
Luca Verre解析，从应用案例来看，像inside-out tracking借助事件视觉技术，可以精准检测目标对象的轮廓，并进行高速追踪，而且几乎不受光线条件的影响。这些应用也能够帮助我们更好地与空间进行交互和互动，比如说提升游戏的体验感等。
 
还有眼球追踪案例中，如果使用传统摄像头进行眼球追踪，通常需要达到500帧/秒以上的速度，这就对算力的要求非常高。而事件视觉技术只关注画面中动态变化的信息，可以大大降低数据量，并且实现非常高速的追踪。去年Meta公司发布了基于Prophesee合作取得的系列成果和数据，在有限的功耗内实现了高性能的眼球追踪。
 
Prophesee的事件视觉解决方案可以有效解决三个痛点，即高速跟踪、降低算力需求以及降低整体功耗。而未来这项技术会在AR/VR领域解锁更多的应用可能，创造更多的价值。
 

2023年进入收获期，更多项目落地

 
目前Prophesee已经获得了超过1.2亿美元的融资，团队成员超过110人，在法国、美国、中国和日本都设立办公室。中国团队目前规模最大，增长速度也非常快。
 
Prophesee 副总裁兼大中华区总经理杨雪飞介绍，除了中国区总部上海之外，公司在北京、香港、台北等地方覆盖了团队，同时还在加速设立深圳办公室，来支持合作伙伴和客户。

 Prophesee 副总裁兼大中华区总经理杨雪飞

Prophesee中国团队不仅以销售为主，开发也是非常重要的一个方向。公司也致力于把基于事件的（event-based）解决方案的软件提供给客户，使用自己的软件处理数据，给客户提供所需的解决方案。
 
去年夏天，公司专门从法国邀请了创始团队当中的一位成员担任中国区CTO，带动技术研发以满足中国区客户的支持与开发。同时Prophesee也在加强本地化团队的技术开发能力，以及快速地响应能力，完全地支持在中国区的客户。
 
到2022年为止，Prophesee 与中国区合作伙伴进行了大量地合作，包括如清华大学在内的超过30所大学院校、大专院校以及研究所单位。同时也面向工业类、应用类，与大量的ToB企业进行合作，包括小米、索尼这些头部的企业。去年Prophesee在中国也找到了相机合作厂商，在中国区落地EVS相机和本地化的生产。
 
杨雪飞表示，跨入到2023年之后，Prophesee逐渐开始收获。
 
首先，今年将推出Prophesee的中文版官方网站。Prophesee的欧洲版官方网站有一个开发者william hill官网 ，这个william hill官网 提供很多新技术的开源代码给广大开发者，在william hill官网 上相互交换研究所得。目前在全球英文开发者william hill官网 上面已经有超过8000多的会员共同来开发事件视觉传感器各种应用领域，包括很多知名的大学院校和相应的研究单位。今年也会在中国区开发中文的开发者william hill官网 ，方便和中国的广大合作伙伴一起把这个技术的交流和研发推向一个更广阔的前景。
 
第二，2023年是Prophesee收获众多合作开发果实的一年。目前Prophesee已经完全打通了高通平台，也正在全面与中国各家知名的手机OEM厂商展开合作。
 
除了手机之外，在IoT这个领域的监控安防，Prophesee在该领域就会有相应的量产产品落地，目前正在稳步推进。Prophesee的技术不但能够保护隐私，而且能够节省数据流量和资源，让整个方案变得更便捷、安全。
 
另外，VR的眼球追踪技术，或者真人动作捕捉类技术，事件视觉传感器捕捉到的信息具有优秀的连贯性，能够带来非常好的效果，这类应用也有紧密合作中。
 
今年Prophesee还会推出针对3D深度信息捕捉的解决方案。事件视觉传感器的高速特性会大幅提升捕捉速度，能够在更高速的运动过程中进行3D信息的传输。