CMOS图像传感器的元视觉：超越人眼

回顾历史，地球上最古老的生物出现于34亿年前。在此之后，生命的进化过程一直很缓慢。大约5.4亿年前，由于物种变得多样化，生命的进化速度突然加快。这个时期就是所谓的寒武纪生命大爆发。

导致物种突然呈现多样化发展趋势的众多原因之一是生物感官的进化。在此过程中，眼睛的出现是最重要的一部分。学者们解释说，物种变得多样化并且进化迅速是因为混沌黑暗世界中新信息的出现。大脑的一部分凸出成为眼睛，开始观察这个世界。这致使生物体增加了对能量的需求，并且因为各种新信息扩大了适应和运动的范围。

我们使用的电子设备上也出现了类似的现象。随着数字化进程的不断深入，移动设备上的摄像头与人眼扮演着相同的角色。摄像头上的CMOS图像传感器（以下简称为CIS）则具有像人眼视网膜一样捕捉图像的功能。

借助CIS技术，我们可以轻松地处理、复制和储存海量图像信息。因此，移动设备必须具备处理大量数据的能力，这再次强烈推动了担当大脑角色的应用处理器（AP）的性能或内存容量的发展。此外，从用户的观点来看，摄像头的功能显得尤为重要，这进而促使了移动设备的多样化发展。

与寒武纪发生的变化一样，电子设备的日新月异体现在我们的日常生活中。新冠疫情的爆发开启了“无接触”的时代，在加速电子设备多样化的同时，也推动了用户需求的迅猛增长。疫情虽将在不久后结束，但这种趋势将会延续下去。

模拟人眼

CIS最大的作用是准确地再现我们眼中的世界。我们希望它具有和人眼相似的分辨率，必须清楚分辨各种明暗环境，同时还能识别高速移动的物体。

下图展示了CIS的基本像素（pixel）结构和成像操作特性。物体反射的光线通过光学系统进入光电二极管，当光线中的光子能量超过半导体带隙的能量时，就会产生电子-空穴对（e-/h+）。根据光的强度，累积和读取该信号可以形成2D图像。硅元素的带隙能量为1.1eV（电子伏特），可以覆盖整个人眼可见的光谱范围。众所周知，硅是常见的半导体材料。这可谓是无巧不成书。

图1 人眼与CIS响应系统对比

要想使图像在黑暗情况下清晰可见，需要放大来自微弱光线的信号，同时尽可能抑制非光信号（噪点）。此外，要想在明亮的环境下看清，需要接收大量的强光并加以区分。这些特征可以使用所谓的SNR（信噪比）通过光强和DR（动态范围：满阱容量噪声比）来量化。

在暗光信噪比控制方面，人们为了在放大信号的同时降低不需要的噪点做了很多努力。如今，我们正逐渐将这些特性提高到5勒克斯（lux）的水平，这是一个相当黑暗的环境。在动态范围方面，人眼的场景内和场景间动态范围通常分别为120 dB和180 dB，在不断发展的状态下，当前智能手机的场景内和场景间动态范围分别为70 dB和120 dB。

影响上述特性的最重要因素是像素的尺寸和分辨率。为使CIS获得更高的分辨率，必需缩小像素尺寸（像元大小）。如果要在同样分辨率下将CIS放在更小的芯片区域上，像素尺寸也必须更小。在缩小像素尺寸的情况下保持上述特性不变是最关键的因素。

图2 光响应特征与动态范围扩展

像素尺寸和分辨率之争还将持续多久？

人眼对静止图像中心部分的分辨率约为5.76亿像素，对移动图像的分辨率约为800万像素。CIS技术一直在不断进步以赶上人眼的一水平。在将像素尺寸降至大约1.12μm并将分辨率提升至1300万像素后，CIS技术的研发速度开始变得缓慢，但是，Quad技术（使用相同的滤色器合并2×2像素）的引入再一次加快了像素尺寸缩小的发展速度。最近，这一水平已达到了0.7μm范围，分辨率也升至6400万像素。

如今，随着NONA（3×3）和QxQ（4×4）技术的发展，像素尺寸已经达到至0.6Xμm范围的水平。反过来，像素尺寸缩小技术催生出了近期推出的1.08亿像素分辨率图像传感器。随着这一发展，人们越来越期待不久后将推出的2亿像素分辨率相机。

如今我们迎头赶上了很多新的发展。上述像素绑定技术得到积极采用的原因是拍摄视频时我们对分辨率要求不高。但是在这一新技术（像素绑定技术）的加持下，摄像机现在可以支持以每秒60帧的速度不间断录制4K（4000 x 2000：800万像素）视频。像素绑定技术使摄像机能够保持视频中大像素的特性并提供出色的低光灵敏度和动态范围。为了为客户提供增值服务，未来，超低光、动态范围扩展技术、快速自动对焦等功能有望加入到视频拍摄中。

图3 低光信噪比和动态范围扩展技术

缩小图像传感器体积（包括缩小像素尺寸）是所有半导体公司共同面对的挑战。为了在更小的尺寸上保持相同的功能特性，这些公司在设备和制造工艺上进行了大量的技术开发工作。此类技术包括：掺杂优化（doping optimization）和垂直转移栅（vertical transfer gate）——以提高全阱容量（FWC)，同时保持电荷转移效率；源跟踪工程（source follower engineering ）和各种降噪技术；滤色器隔离（color filter isolation）和深沟槽隔离（deep trench isolation）技术——将相邻像素之间的干扰降至最低；使用较厚的外延层（epi layer）来提高像素感光度或应用各种滤色器相关技术等。

在观看图像这一方面，如今的半导体通过上述的技术实现了在性能上与经过数百万年进化而来的生物的眼睛几乎相同。然而，在功效方面仍有改进的可能。我们现今正在见证低功耗技术的发展：在待机模式下，以最低功耗运行（所谓的常开模式）或通过压缩传感方法来优化功耗。

图4 像素缩放技术

超越人眼

在CIS的应用领域扩大过程中，最具代表性的就是深度传感技术。早期CIS利用两台摄像机模仿人眼的双眼视差来感知距离。然而，人们还需要努力突破精确度、距离可扩展性及两台摄像机之间最小距离等方面的限制。

根据光线从物体反射后返回的时间差来测量距离的方法被称为“飞行时间”（ToF）。ToF分为两种类型，即直接飞行时间（dToF）和间接飞行时间（iToF）。

从操作原理上看，这两种方法各有利弊。间接飞行时间的传感基于模拟电荷累积的工作原理，由于信号在远距离衰减，其可测量距离范围受到局限。而直接飞行时间在分辨率上有局限性，由于检测每一个单光子（SPAD：单光子雪崩二极管）单元大小非常棘手，再加上还需要在每个单元中堆叠以读出威廉希尔官方网站 。综上所述，这两种方法可以在各自的应用程序中实现和利用自身优点，或努力改进以克服其缺点。

图5 ToF（飞行时间）传感器工作原理和应用领域

图6 SK海力士的首款ToF传感器（红外图像和深度图像）

图7 iToF和dToF的进化发展

CIS以广谱光为基础，利用可见光、紫外光、近红外光、短波红外光等，扩大应用领域，为丰富人类生活做出贡献。紫外和红外波长为采用替代材料（如Ge（锗）、InGaAs（铟镓砷）和InP（铟磷））解决硅的缺点提供了机会。此外，多光谱和高光谱成像，或偏振传感器也开始发挥助力作用。

图8 图像传感器应用领域的扩展

人工智能（AI）被各行各业广泛的采用也给CIS行业带来了好处。该技术在早期阶段主要集中在降噪或增强分辨率来改善图像本身，而目前正朝着物体识别和安全领域扩展。摄像头的普遍安装引起了人们对隐私问题的担忧。在确保安全所需的数据传输到服务器的同时，也要防止其他数据被泄露。因此，AI功能将迁移到边缘设备上，使我们能够减少物联网设备之间的数据传输的同时实现节能的功效。红外数据的使用和基于事件驱动的传感器的出现也与这一方向相契合。

随着这些传感器的出现，相关一系列的技术也得到进一步的发展——头戴式显示器（HMD）、AR/VR眼镜等新型可穿戴设备、自动驾驶汽车、机器人和无人机等自动化应用，以及不同设备的融合和集成等。

通过提供图像的技术和感测各种光的信息，CIS将继续使我们的生活变得更方便和安全。SK海力士致力于不断开发并顺应这一趋势，研发各种产品，创造更多机会来增加社会价值。

审核编辑 ：李倩