清华大学集成电路学院提出基于旋转神经元的新型储备池计算硬件架构

随着摩尔定律的放缓，基于硅晶体管和冯诺依曼架构的传统计算硬件系统在人工智能时代面临严峻的性能瓶颈。受大脑启发，基于新原理器件的类脑计算致力于充分挖掘电子器件自身的物理属性作为计算资源，从而在硬件层面高效实现各种人工神经网络。其中，储备池计算（Reservoir Computing）是一种适用于高效处理时序信号的人工神经网络，以其特有的记忆特性和易于硬件实现等优点成为近年来类脑计算领域的前沿热点。

在最新的研究中，动态忆阻器、自旋电子器件、光电器件等多种新器件被用作储备池系统中的动态单元。然而，此前的研究大多聚焦在材料与器件层面，储备池计算硬件架构层面的创新却并不常见，现有架构大多依赖于复杂的外围辅助模块，比如数模转换、存储器、控制器等，或存在可解释性差、并行度低等问题，如何设计一个简洁、高效的储备池计算硬件架构仍然是该领域面临的一大难点。

为此，清华大学集成电路学院的钱鹤、吴华强教授团队与格拉斯哥大学合作者近期在Nature Communications上在线发表了题为“Rotating neurons for all-analog implementation of cyclic reservoir computing”的研究论文，提出了一种基于旋转神经元的新型储备池计算硬件架构，该架构在原理上与储备池算法等效，具有较强的可解释性，同时在非线性系统拟合任务上表现优于现有储备池计算系统；研究团队进一步搭建了集成忆阻器阵列输出层的储备池计算系统，硬件演示了实时混沌序列预测和手写字母识别，成功实现了端到端的全模拟计算和极低的系统功耗。

图1.旋转神经元储备池的发展脉络，在原理上等效于循环储备池

　　团队在研究储备池计算的过程中发现，在物理连接上将一种特定的非线性动态单元（神经元电路）旋转起来，得到的输出等效于循环储备池（Cyclic reservoir）算法的状态向量输出。研究团队通过推导硬件行为描述方程和循环储备池算法在原理上证明了该等效性，并将这种硬件实现形式命名为旋转神经元储备池（Rotating neurons reservoir, RNR）。旋转是自然界中常见的运动，RNR理论具有一定的普适性，该理论认为大部分旋转物体都可以被用来实现与储备池算法等效的硬件储备池。

图2. 基于电子元器件的旋转神经元储备池系统

　　为了验证RNR的可行性，研究团队设计了基于电子元器件的旋转神经元储备池（electrical RNR，eRNR），包括输入层、神经元前后转子、动态神经元三个部分。团队首先将eRNR的仿真模型应用于十阶非线性系统拟合基准任务（NARMA10），得益于硬件行为的非理想动态特性，得到了显著优于此前文献报道的拟合效果：单个eRNR的情况下，NRMSE=0.078；多个并行eRNR的情况下，NRMSE=0.055。

　　研究团队基于该模型在硬件上搭建了包含64个神经元的eRNR系统，并进一步将忆阻器阵列作为全连接输出层，实现从传感器输入到储备池计算输出的全模拟计算与信号处理。团队在该系统上成功演示了实时混沌序列预测（Mackey-Glass）和手写元音字母识别，同时功耗比此前文献报道的储备池计算系统低三个数量级。

图3.旋转神经元储备池计算系统实现混沌序列预测和手写字识别

实验结果表明，eRNR通过引入旋转神经元的概念实现了简洁高效的储备池计算架构，与其它储备池系统相比，旋转神经元储备池计算系统节约了大量的外围辅助模块和模块间的接口，因此降低了整个系统搭建的成本和功耗开销，更接近于实际应用中的需求。

相关成果以“基于旋转神经元的全模拟循环储备池计算”（Rotating neurons for all-analog implementation of cyclic reservoir computing）为题在线发表在《自然•通讯》（Nature Communications）上。审稿人高度评价了该研究成果，认为它“有对类脑计算领域产生重要影响的潜力”和“代表了储备池计算的通往实际应用中过程中的一个有趣和令人兴奋的进展”。该工作也获得《自然•通讯》编辑的好评，被推荐入选了该期刊的亮点文章（Editors’Highlights）。

清华大学集成电路学院唐建石副教授、吴华强教授和格拉斯哥大学哈迪·海德里（Hadi Heidari）副教授是本论文的共同通讯作者，清华大学集成电路学院访问博士生梁向鹏和博士后仲亚楠为共同第一作者。该研究得到了国家自然科学基金委、科技部重点研发计划、北京信息科学与技术国家研究中心、科学探索奖、高精尖创新中心等支持。

论文链接：

http://www.nature.com/articles/ s41467-022-29260-1