时识科技提出新脉冲神经网络训练方法 助推类脑智能产业落地

近日，SynSense时识科技技术团队发表题为“EXODUS： Stable and Efficient Training of Spiking Neural Networks”的文章，在文章中提出了新的脉冲神经网络训练方法EXODUS。研究显示：EXODUS能够大大减低训练复杂程度，更具稳定性，并提升了准确度。

这项研究由SynSense时识科技瑞士技术团队算法应用、机器学习工程师共同完成。具体见：https://arxiv.org/abs/2205.10242v1

Code： https://github.com/synsense/sinabs-exodus

“EXODUS是一种更加严谨的算法，对SLAYER进行了优化，在多种基准数据集中显示出了更快速的收敛和更高的准确性。”

——SynSense时识科技

高级算法总监Sadique Sheik

在如今的机器学习任务中，功耗正在被置于越来越重要的地位。受生物大脑启发的脉冲神经网络尤其在连接事件驱动的传感器及异步硬件时，显示出突出的低功耗、低延迟特征。因此，超低功耗脉冲神经网络也正在被广泛接受。

研究人员设计了不同的方法用于脉冲神经网络训练。当前，训练脉冲神经网络所运用的基于时间的反向传播（BPTT），却较为耗时。来自NUS的Shrestha和Orchard此前提出了一种名为SLAYER的算法，能够相当程度上提升训练速度。然而，SLAYER并未在计算梯度中将神经元膜电位重置机制纳入考量，这也是造成数值不稳定的一大原因。为了对抗这一缺陷，SLAYER引入了梯度缩放超参数，并且需要手动调试。

SynSense时识科技在最新研究中，对SLAYER进行了改善并设计了一种名为EXODUS的算法。EXODUS将神经元膜电位重置机制考虑在内，应用了隐函数定理（ Implicit Function Theorem /IFT） 来计算梯度，无需特置梯度缩放，大大减低了训练复杂程度。

SynSense时识科技在此研究过程中演示了3类类脑任务：通过DVS Gesture、Heidelberg Spiking Digits（HSD）、Spiking speech commands （SSC） ，围绕EXODUS及SLAYER进行了对比，EXODUS显示出了较SLAYER更高的准确性。

验证准确度提升及训练提速对比

自成立以来，SynSense时识科技持续助推类脑智能产业落地，同时在这一进程中，于脑科学、神经网络模型、算法、硬件架构、芯片设计、系统级设计、应用、软件等类脑工程相关的各个领域持续创新，对国内外科研领域产生了积极深刻的影响。SynSense时识科技核心团队在类脑芯片领域科研上的实力位于世界最顶级的行列，这也将作为强大驱动，加快SynSense时识科技类脑智能应用落地，为类脑技术的更广泛铺开而形成助力。