黑芝麻智能NeuralIQ ISP的优势

开芯课堂是黑芝麻智能打造的一档技术分享类栏目，与大家分享我们的领先技术，展示我们的产品成果，通过专业技术沙龙、视频直播、深度图文，共同交流探讨，一起进步，一起探索黑科技的世界。

什么是ISP?

ISP是Image Signal Processor 的简称，也就是图像信号处理器，主要用来处理Image Sensor(图像传感器)的输出数据。

由于镜头和sensor在不同的制造商之间差异很大，以及拍摄的光线条件多样，镜头和sensor需要根据环境做适应，就像人眼要通过瞳孔缩放，适应环境明暗一样。

ISP在能够有效纠正和统一这些差异方面发挥着非常重要的作用，并且可以有效地将不同光谱特性的sensor数据按照预期需求统一实现。如果没有ISP模块，我们将很难生成人类预期的图片质量。

常见的RGB的Bayer sensor处理的结果，从图中可以看出，在同样光源下不同sensor做白平衡之后色彩有比较明显的差异，很难用统一的色彩校正矩阵来统一处理，这给当前一些基于RAW图的AI感知算法(不带ISP)的实际应用落地带来挑战。

更进一步，当前有很多sensor的光谱特性并不局限于RGB三色的Bayer模式，RCCB sensor及RGBIr sensor的ISP处理结果与原始图像。在这些更加特别的光谱组合中，原始色彩更是与用户直观感知差别很大，如果缺少ISP的处理，后端感知算法处理这些数据就比较困难。

自动驾驶ISP的特殊性

自动驾驶对ISP提出了更高的设计需求，首先是低延时，手机拍摄可以允许1到2秒的延时，但这对自动驾驶而言是决不允许的，车辆“致盲”2秒在高速上就意味着跑出去50多米，这已经不能用危险来形容了。

因此车端芯片的ISP需要毫秒级的高处理率和高传输率。

此外自动驾驶汽车的ISP要求全时在线，面临的场景也丰富的多，诸如被强光直射、黑夜、强弱光交替等极端场景，车端芯片自动驾驶的ISP需要解决这些挑战。

黑芝麻智能NeuralIQ ISP优势

色彩还原和渲染

自动驾驶场景中很多与颜色相关的重要信息，比如红绿灯、道路地面上的各种标志线等等，都是后端感知算法识别场景的重要目标。在一些特殊光照条件下，这些色彩还原的难度增大，渲染出的色彩准确性降低，会给感知算法带来不少困惑。

一个雨天路面场景，潮湿地面的反光和阴雨天较差的光照条件使得对比厂商的ISP产品整体颜色偏淡，对比度偏低，道路中心的对向车道分隔“双黄线”颜色很浅，就有可能被误识为同向车道分隔白线，从而使得自动驾驶做出错误的选择和判断，而给用户带来危险。经过NeuralIQ ISP处理之后的图像，就准确恢复了原本的色彩。

不同传感器的噪声一致化

不同的sensor在感光灵敏度和光谱方面都有自身的特点，从而在噪声形态和噪声强度方面各不相同。感知算法在处理图像时，对于输入图像的信噪比(signal-to-noise ratio，SNR)有一定的要求，并且可处理的噪声形态取决于训练数据。可想而知当输入图像的噪声形态和噪声强度发生变化时，感知算法的正确性和准确性都会受到很大影响。而黑芝麻智能的NeuralIQ ISP可以使不同sensor采集到的数据具有类似的噪声强度和噪声形态，可以直接输入给已训练好的感知算法使用。

反映了ISP对于不同sensor的不同噪声的处理能力，上下两行分别是两个不同sensor的数据，原始数据的噪声密度和噪声形态不太一致，上排sensor的原始噪声以团状色噪声为主，下排sensor的原始噪声以散在单点噪声为主，经过NeuralIQ ISP去噪模块之后，两种数据的效果很相似，噪声去除的同时，信噪比也得到了比较大的提升，以符合感知算法的要求。

高动态范围融合的画面瑕疵处理

自动驾驶环境下，相机所遇到的场景的亮暗对比变化非常广泛。一般相机单次拍摄所能捕捉到的数据动态范围大约只有60-70dB，而车载环境下的场景往往可以高达140dB以上，单次拍摄很难直接捕捉到如此高动态范围的场景。车载sensor中一般通过多种不同的技术，例如数字重叠技术(DOL/Stagger)、 双转换增益技术(DCG)、大小像素技术(LPD-SPD)，以获取对场景的“多重曝光“，从而合成出整个高动态范围(HDR)场景的数据。通常场景中暗处靠着长曝光来捕捉，而高亮部分需要短曝光来捕捉。如此在不同曝光的重叠区域里，合成算法要保证颜色的准确性和合成过渡的自然性。

一个典型的车载HDR场景，隧道里的亮度很低，隧道外通常是阳光照射下的高亮区域。在隧道口处通常就是典型的不同曝光合成的过渡区域，这个区域里有很多问题需要处理，比如色彩一致性问题，比如信噪比不连续问题等等。图5右图是其他厂商ISP处理结果，地面处出现严重斑驳，可能会被检测为路面的缺陷而影响自动驾驶的决策，隧道外的路牌原本应为蓝色，被合成为了褐色，这样感知算法可能会把普通道路(蓝色路牌)理解为风景区路牌(褐色)。而NerualIQ ISP就能很好处理这些信息。

多帧处理

夜晚或者室内低亮情况下，一般相机会通过延长曝光时间来达到合适的亮度。但是因为自动驾驶时候的车辆通常处于运动甚至高速运动状态，曝光时间的增长会导致图像中的运动模糊的增加;有时候哪怕运动速度不快，但是由于车辆处于转弯状态，远处场景的转弯线速度很大，模糊严重，这些都给感知算法的计算和识别带来困难。

近些年多帧去噪算法(时域去噪)经历了长足的发展。NeuralIQ ISP控制相机的曝光和增益，在曝光量(曝光时间x增益)相同的情况下，使用更短的曝光时间，更高的增益。针对减曝光+高增益图像使用多帧技术，可以将噪声水平控制在低增益水平上，同时因为基准单帧图像的曝光时间的减少，运动模糊问题得到了很好的改善。

一个典型的示例，传统ISP做法如右图，曝光时间30ms，3倍增益，因为车辆在行驶过程中，可以明显观测到运动模糊，上方指示牌的字体都具有重影，小号字体难以辨认;而NeualIQ ISP控制曝光时间10ms，9倍增益情况下，保持了总曝光量的不变，所以图像亮度与传统ISP类似，同时NeuralIQ ISP对图像采用多帧降噪技术(本示例使用3帧降噪)，所以尽管单帧图像的增益高达9倍，处理结果的噪声水平也与低增益图像类似，噪声得到了很好的抑制。由于NeuralIQ ISP的图像基准曝光较短(比如10ms)，单帧基准图像的运动模糊就很小，处理结果中的物体和字符清晰可辨，无可见的运动模糊现象。

低延迟处理

如前所述，车载环境下的图像输出不能有太大的延迟，几乎要达到“实时处理”的要求。NeuralIQ ISP从算法设计上就考虑算法的复杂度和算法的流水线结构。支持sensor数据流的在线和离线的混合处理模式。在线模式下，ISP输出的延迟几乎只取决于ISP算法本身所需的行缓存。典型场景下，NeuralIQ ISP数据处理的延迟不超过1毫秒，为后端感知算法实时获取到图像数据提供了有力的保障。

视觉与AI是智能驾驶领域的关键技术和基础能力，而图像质量对于视觉应用和算法识别起着至关重要的作用。黑芝麻智能车规级图像处理器——NeuralIQ ISP，通过其强大的图像处理能力，让汽车洞察秋毫，万事一清二楚，助力实现更安全的智能驾驶。

让汽车“洞察秋毫”，秒懂自动驾驶ISP系列第一期就到此结束啦~让我们相约下期的开芯课堂!

审核编辑：汤梓红