什么是“Blockdrop”？立体视觉应用的神经形态技术

尽管有众多人工智能(AI)处理器竞相抢市──每一种都自称是“突破”──今日的AI社群仍被无数问题所困扰，包括能量、速度、AI硬件的尺寸与AI算法，这些都尚未证实在强韧度以及性能方面有所改善。

在计算机视觉方面，如IBM Research的计算机视觉与多媒体研究经理Rogerio Feris所言，最大的挑战在于如何“让视觉分析更有效率”。要特别说明的是，AI仍在早期发展阶段，需要全新的想法、长期性的眼光，以及学界与研究机构在研发上的更多投入。

IBM Research会在本周于盐湖城(Salt Lake City)举行的2018年度计算机视觉与图形识别研讨会(Conference on Computer Vision and Pattern Recognition，CVPR)上，发表两篇关于AI软件与硬件技术的论文；CVPR是由计算机视觉基金会(Computer Vision Foundation)以及IEEE计算机学会赞助，号称是最具竞争力的计算机视觉技术研讨会之一。

在AI硬件部分，IBM Research正在推广一种立体视觉(stereo-vision)系统，是透过将以大脑启发的棘波神经网络(spiking neural-network)技术应用于数据撷取(传感器)与数据处理所开发；该设计利用了IBM自家的TureNorth芯片──是一种非冯诺伊曼(non-von-Neumann)架构处理器──以及一对瑞士业者iniLabs开发的事件导向(event-driven)摄影机

IBM的TrueNorth架构

在AI软件部分，IBM Research的论文是关于“Blockdrop”，也就是被认为可降低深度残差网络(deep residual networks)所需之总运算量的关键步骤。Feris解释，以上两篇论文是从两个不同角度解决一个相同的问题──视觉分析效率。

Feris表示，当有人要过马路，自动驾驶车辆会被预期要做出“实时推论”；虽然影像辨识准确度很重要，不过自驾车要花多少时间产生结论、识别出那是什么东西，才是它在现实世界应用的终极试验。

什么是“Blockdrop”？

在2015年ImageNet大会上成为赢家的残差网络，在计算机视觉技术社群掀起了一场风暴；该技术已经证明了它能提供优异的识别结果，因为能训练神经网络中的数百甚至数千层。不过Feris指出：“将残差网络需要的那些一体适用运算应用于所有成像，会太没有效率；”他解释，如果有一只狗在白色背景前，会比在忙碌都市街景中更容易被识别。

为此IBM Research开发了BlockDrop，这是一种学习动态选择残差网络中哪些区块(包括多个层)来执行推论任务的方法；Feris指出：“该方法的目标是妥善减少整体运算辆，同时不损失预测准确度。”

BlockDrop说明

IBM声称，BlockDrop在测试中平均能将识别速度提升20%，有时甚至能加快36%，而且不牺牲残差网络在ImagNet数据集中达到的准确度。Feris表示，IBM这项研究是在2017年夏天与美国德州大学(University of Texas)、马里兰大学(University of Maryland)合作展开，该公司将会把BlockDrop释出给开放源码社群。

立体视觉应用的神经形态技术

在硬件方面，IBM Research瞄准了一种利用棘波神经网络的立体视觉系统；该公司表示，目前产业界是使用两个传统(讯框)摄影机来产生立体视觉，但从未有人尝试过神经形态技术。虽然以传统摄影机提供立体影像并非不可能，不过会需要高画质影像信号处理，例如高动态范围(HDR)成像、超高分辨率处理以及自动校准等。

根据IBM研究员Alexander Andreopoulos在论文中的描述，其系统是利用两个iniLabs开发的事件导向摄影机(又被称为动态视觉传感器-DVSe)，撷取画面之后以IBM TrueNorth芯片丛集来提取快速移动物体之深度。

IBM的目标是大幅降低取得立体影像所需的功耗与延迟，在接收直播的棘波输入(这已经大幅降低数据量)后，该系统是用IBM的神经形态硬件重建3D影像，透过估算来自两个DVSe之影像的差异，以及藉由三角测量定位3D空间中的物体。

神经形态立体影像

数据撷取与处理

有一家法国新创公司Prophesee是利用神经形态技术来撷取数据，并降低传感器所收集的资料量；该公司的传感器技术并非以讯框为基础，而是以简化并打造适合机器使用的数据为设计目标。Prophesee首席执行官先前接受EE Times采访时表示，这能大幅减轻数据量负担，应该也能因此让车子能做出几乎实时性的决策。

不过新一代的IBM立体视觉系统不只将类人脑技术用于数据撷取，也用在数据处理上，以重建立体影像；Andreopoulos表示，该系统还有一个最大的成就，是透过编程让TrueNorth有效率地执行「棘波神经网络立体视觉必备的各种常见子程序(sub-routines)」。IBM补充指出，TrueNorth芯片的架构功耗比传统系统低，这会有利于自动驾驶系统的设计。

同样的，利用一对DVS摄影机(非讯框式)也能降低数据量与功耗，并提升速度、减少延迟，提供更好的动态范围，而IBM表示这些都是实时系统设计的关键元素。在被问到新的TrueNorth系统还有那些优势时，Andreopoulos表示，与采用传统CPU/GPU处理器或FPGA的最先进系统相较，其每像素视差图功率(power per pixel disparity map)有两百倍的改善。

利用以事件为基础的输入，馈入IBM系统的实时影像数据，是以9颗TrueNorth芯片进行处理，每秒能计算400张视差图，延迟仅11毫秒(ms)。IBM在论文中指出，藉由特定的权衡(trade-offs)，该系统能将速率进一步提升到每秒2,000张视差图。

采用TrueNorth芯片的立体视觉系统何时可以商业化？Andreopoulos表示：“我们还不能透露时间点，只能说我们已经进行测试并且成功编程芯片有效处理视差图，现阶段是概念验证。”