DSP IP如何助力sensor fusion面临的挑战

电子发烧友网报道（文/李宁远）从可穿戴设备到虚拟助手，再到汽车雷达/激光雷达，各种传感器在边缘设备中的使用越来越多，这不仅要求SoC在DSP性能和低功耗/面积之间取得最佳平衡，还要求SoC开发人员能够轻松扩展其硬件架构以处理不同数量的数据流。

Sensor Fusion传感器融合

传感器融合的目的简单来说，就是结合大量传感设备的数据得出更精准的结果。因为各类传感器都有自己的优劣势，不可能从单一传感获得我们所需要的所有功能，因此sensor fusion传感器融合这一概念应运而生。得益于MEMS技术的发展以及传感器成本在逐渐下降，很多传感设备都能应用到这一概念中来。

其中在日常生活中，已经有很多sensor fusion的应用，一个大家都会用到的例子就是计步器。要达到比较精准的步伐计算，通常会融合加速度计、陀螺仪、磁力仪等等。有的计步器为了感知周围环境还会加上压力传感器、温度传感器。这种简单的应用不需要太高的运算能力，小型MCU上的几十个MIPS就足够。

涉及全屋智能、汽车自动驾驶ADAS这种场景sensor fusion就复杂多了，会涉及很多交互、感知、识别。这种场景计算要求很高，而且需要动态管理计算资源，并且通常来说，这类应用里功耗都是受限的。

sensor fusion是一个基础模块，有了它，便可以实现稳定的定位、稳定的目标检测以及稳定的单目标多目标跟踪。sensor fusion并不是简单的传感器堆叠，它是传感器的属性合一。以现在最火热的汽车ADAS应用来说，摄像头、Lidar以及Radar的融合是最常见的。这些传感器进行融合的先决条件，是传感器必须在一个共同参考系中，同时传感器必须能够以某些方式同步或者能用一个通用的时间参考。

时间同步是很重要的一个环节，不同传感器触发方式不相同，原始数据帧率也各不相同，从10Hz到几百Hz不等。有的传感器自带时间基准，有的需要外部时间戳。一般由硬件同步板卡来完成很高精度的时间同步。

Sensor Fusion异构处理需求

各式各样的传感设备意味着有着各式各样的数据需要处理，不同数据的处理可能有着天差地别的处理方式，因此有弹性的处理方式更契合现在的sensor fusion。

因为这种应用里包含了大量的运算，通用处理器已经不太适合，一般采用DSP或特定的硬件加速器。而硬件加速器只适用特定的应用，不太适合可能需要各种运算的传感器融合系统。而向量DSP有大量的并行处理，包括VLIW，SIMD以及多核，可以很好地满足PPA的要求。

DSP IP如何助力sensor fusion面临的挑战？

在前端处理上，DSP处理与传感器相关的输出信息，这些前端处理上往往会涉及包括F相关算术运算，比如FFT，CFAR，以及线性代数和非线性代数，以及向量运算等等基础的资料处理运算。后端处理根据应用会有很大的变化，像物体侦测、物体识别，物体追踪等等应用里DSP运算会随着时间不断演进，运算的资料形态也根据实际情况不尽相同，运算多样弹性较高。

这里会涉及数据的关联，Lidar提供3D点云数据，图像提供2D数据，毫米波雷达提供雷达点，这些数据全部关联起来需要进行匹配计算做特征匹配，会有大量的运算需求。DSP除了能提供这些前后端处理的计算能力，也能够分担一些融合中和AI相关的计算任务。一个好的DSP IP很适合作为sensor fusion的运算单元，提供运算的弹性，支援多样的运算。

什么样的DSP IP可以降低sensor fusion在SoC层面面临的挑战？首先，从一体式结构来说，DSP IP需要提供丰富的接口集是很有必要的，启动器接口、目标总线接口以及支持外设和加速器集成的接口都需要支持。高效的数据移动能力不必多说，这不仅需要能从内存和外设中移动数据的高效DMA，还要能提供在高内存延迟上的恢复能力。最后，一流的PPA当然也是不能少的，更高的运算能力更少的功耗总是更好的。

小结

各种sensor fusion应用推动了对更高效数字信号处理的需求，采用经过VLIW，SIMD，多核等并行处理器技术优化后的DSP IP，可以在遵守单一编程环境的同时来优化处理一系列sensor fusion应用里的工作负载。