清华类脑视觉芯片取得重大突破，“天眸芯”登上Nature封面

电子发烧友网报道（文/李宁远）5月30日，来自清华大学类脑计算研究中心团队的类脑互补视觉芯片“天眸芯”登上了《Nature》封面。 文章名为“A vision chip with complementary pathways for open-world sensing”，即面向开放世界感知的具有互补路径的视觉芯片。

这是世界上首款类脑互补视觉芯片，基于视觉原语的互补双通路类脑视觉感知新范式，突破了传统视觉感知芯片在稳定性和安全性等方面的性能瓶颈。

天眸芯：受人类视觉系统启发的互补双通路类脑视觉感知

视觉传感器发展到现在，在应用上已经表现得很成熟，但目前常用的视觉成像硬件系统的功能仍然不能像人类视觉系统那样灵活，这一类图像传感器在处理开放世界应用中的动态、多样和不可预测的场景时仍旧面临着巨大的挑战。

具体来说传统视觉感知芯片在高速、高分辨率、大动态范围和高精度方向上同时发展受到了功率和带宽的严重限制。在处理开放世界中的动态不可预测情景时，这些感知芯片感知器件面临失真、失效抑或高延迟等问题，严重影响了系统的稳定性和安全性。

为解决这些限制，清华大学类脑计算研究中心团队解析了人类视觉系统，论文中讲解到，人类视网膜由视杆细胞和视锥细胞组成，它们以相反的方式运行以扩大灵敏度范围。在下一个系统层级上，外侧膝状体（LGN）中的M通路和P通路以互补的方式编码视觉信息。然后，来自LGN的输出信息被重组为一系列primitive基元，这些基元包含了颜色、方向、深度和方向等信息。

传入的感觉信息通过与感官相对应的特定模式通道发送到大脑，这些通道中的每一个都进一步将输入的信号解析为并行流，向大脑提供紧凑、高效的输入。

受到这种构造的启发，团队提出了一种类脑的互补感知范式，该范式将视觉信息解析为primitive-based，并将这些原始的primitive-based信息组合在一起形成两种互补的视觉通路，一是以准确认知为导向的认知通路，另一种是以行动为导向的快速响应通路。

为了实现这一范式，团队开发了“天眸”视觉芯片，该芯片结合了混合像素阵列和并行异构读出架构。该芯片采用90纳米背照式CMOS，对认知导向的通路COP和行动导向通路AOP威廉希尔官方网站 做了并行的异构组合，再通过稀疏时空差分分组器生成压缩数据。

互补通路构筑的类脑视觉感知，已在实际应用中展现超强性能

利用互补视觉路径的特性，天眸芯实现了高达10000帧/秒的高速传感，动态范围为130 dB，在空间分辨率、速度和动态范围方面具有明显的优势。

天眸芯公布的功耗中，最高的是在10000fps@±1-bit（threshold=50mV）下的419.7mW，也是极低的功耗水平。不同像素、模拟、数字和接口威廉希尔官方网站 下，最低为757fps@±7-bit（threshold=0）下的328.4mW。

在天眸芯中，不同的数据原始组合被编码形成AOP数据和COP数据。这两种通路有独立的缓冲区，并支持独立的反馈控制。然后，AOP和COP的处理数据被发送到不同光流求解器中。推理结果最终被集成到多对象跟踪器。这种方法优化了两条互补通路，同时保留了低延迟响应能力和高性能特征。

天眸芯测试板与处理系统示意图，来源：Nature

在整个视觉重建中，有自监督训练管道，使用两个通路提供的彩色图像并根据这些图像之间的差异数据来提供训练样本。不断调整输入数据量就能获得任何时间点的高速彩色图像，最终完成图像输出。

清华大学团队在论文中展示了实际应用中的芯片特性，如捕捉快速移动中的乒乓球、记录车轮旋转以及抓拍闪电。车轮抓拍中该芯片COP部分记录下的车轮混叠通过高速AOP消除并进行了抗锯齿重建，闪电拍摄中COP遗漏的闪电在AOP进行了补全，表现十分亮眼。

天眸芯特别在开放环境的车载平台上进行了多项性能验证，在多种极端场景下，该系统实现了低延迟、高性能的实时感知推理，展现了其在智能无人系统领域的应用潜力。

值得一提的是AOP中的稀疏数据流，加上特殊的编码方法，使天眸能够自适应地调整其传输带宽。即使大多数情况下芯片处于小于80 MB/s的带宽下，但在这种互补感知下，大量测试案例已经表明了该带宽已经足以解决许多现实应用中动态不可预测的场景感知难题。

清华大学表示，“天眸芯的成功研制无疑是智能感知芯片领域的一个重大突破。它不仅为智能革命的发展提供了一个强大的技术支持，还为自动驾驶、具身智能等重要应用开辟了新的道路”。

继异构融合类脑计算芯片“天机芯”后，清华大学类脑计算研究中心团队凭借“天眸芯”再次登上《自然》杂志封面。此前天机芯的发布标志着我国在类脑计算上的突破，此次天眸芯发布，意味着我国在类脑感知方向上同样取得了至关重要的突破。天眸芯的出现，让视觉感知进入了全新的篇章。

不断突破的类脑技术正在推动智能应用颠覆性变革

本次“天眸芯”的公布，加之“天机芯”积累的技术与应用基础，无疑将进一步完善类脑智能生态，有力地推动通用人工智能的发展。国内也有不少科研机构和企业在这条赛道上持续突破，用类脑技术推动智能应用变革。

北京灵汐科技是国内领先的类脑计算企业，灵汐科技研发经理杨哲宇博士也是本次天眸芯论文的共同第一作者之一。灵汐科技已经发布并量产了具有完全自主产权的商用类脑芯片——领启KA200(-S)。该款芯片采用了异构融合、众核并行、存算一体的架构，单芯片集成25万神经元和2500万突触，可扩展支持200万神经元和20亿突触的集成计算。目前已在云边端AI应用领域取得了不错的落地。据悉未来还会继续推动类脑技术在机器人及具身智能、大模型、智算中心等新兴应用领域的应用。

SynSense时识科技今年也战略收购了瑞士类脑视觉传感器公司iniVation，成为全球首家完整拥有类脑传感和类脑计算技术的公司，可以充分发挥类脑感算的高效协同作用。SynSense时识科技目前正在推进工业安防、眼动追踪、消费电子、航空航天和自动驾驶等领域的类脑技术落地。

人工智能的飞速发展有目共睹，人工智能的应用已经从早年前的理论和小型测试发展到现在的企业级用例。类脑技术正是为了解决人工智能思考的难题，模拟人类大脑处理信息的机制使得相关芯片及相应的硬件系统能够像人类一样思考，成为真正意义上的人工智能。现在不断突破的类脑技术正推动着智能应用走向颠覆性的变革。

小结

前沿技术的突破为类脑技术的落地提供了强有力的支持，类脑技术与视觉传感的融合打破了传统视觉传感的局限，为下一代智能视觉传感指明了一条清晰的技术道路。可以说，类脑技术正在为智能应用开辟新的道路。