中科院微电子所在忆阻器实现连续学习方面取得新进展

近年来，以深度学习和神经网络为代表的人工智能技术在人脸识别、自动驾驶、智慧城市和健康监测等多个领域迅速发展。但传统神经网络模型在处理多任务连续学习时将会面临灾难性遗忘问题，即神经网络在学习新任务时会遗忘已经学到的知识，导致在执行先前任务时性能大幅下降。 

针对这一问题，微电子所微电子器件与集成技术重点实验室刘明院士团队的尚大山研究员、香港大学的王中锐博士和清华大学刘勇攀教授等基于忆阻器存算一体芯片，开发了一款软—硬件协同设计的连续学习原型系统。在软件方面，受人类大脑启发，团队提出了一种基于突触元可塑性的混合精度连续学习模型（MPCL）。该模型采用前馈全连接神经网络架构，其中隐藏层权重分别由二值权重和浮点型权重两部分组成（图1a）。模型在进行多任务连续学习时采用了非对称权重更新策略，通过限制与新任务相关性弱的权重更新，平衡权重的可塑性与稳定性，从而有效缓解灾难性遗忘（图1b）。在硬件方面，团队将MPCL模型部署在一个由忆阻器（RRAM）存算一体（IMC）芯片和通用数字处理器组成的混合模拟数字硬件系统上（图1c）。通过将二进制权重映射到忆阻器阵列，该系统采用IMC计算范式，利用基尔霍夫定律和欧姆定律加速向量矩阵乘法操作，减少了处理器和存储器之间数据传输的能量和时间开销。同时，为减轻忆阻器非理想因素对系统性能的影响，团队在软件模拟中重构了与硬件完全相同的计算流程，并利用原位精调的方法优化了权重的映射过程，并使硬件系统在保持推理准确率的同时最大限度地提高计算并行度（图1d）。该原型系统在MNIST和Fashion MNIST数据集上分别实现五个任务连续学习94.9%和95.3%的平均准确率（图1e），同时相较于传统数字系统，核心运算能耗得到大幅降低（图1f）。这种基于忆阻器存算一体能力的连续学习实现方案，为未来构建具有自适应能力的低能耗人工智能体提供了参考。 

该项目得到了科技部、国家自然科学基金委、中科院和香港大学的支持。成果近期发表在《先进智能系统》期刊上（Advanced Intelligent Systems, DOI: 10.1002/aisy.202200026），微电子所博士研究生李熠为文章的第一作者，香港大学王中锐博士，微电子所尚大山研究员为该文章的共同通讯作者。Wiley学术出版集团科技新闻网站Advanced Science News对这一研究结果以“Continual learning, just like humans”为题进行了专题报道。 

图1. （a） 混合精度连续学习模型程序框图；（b）非对称更新策略限制权重更新；（c）基于忆阻器芯片的数模混合硬件系统；（d）并行度优化前后准确率对比；（e）多任务连续学习的硬件准确率与软件基准对比；（f）与数字系统MAC功耗对比。

文章链接：https://doi.org/10.1002/aisy.202200026 

Mixed-precision continual learning based on computational resistance random access memory

Yi Li, Woyu Zhang, Xiaoxin Xu, Yifan He, Danian Dong, Nanjia Jiang, Fei Wang, Zeyu Guo, Shaocong Wang, Chunmeng Dou, Yongpan Liu, Zhongrui Wang,* Dashan Shang*

Advanced Intelligent Systems (2022). 

DOI: 10.1002/aisy.202200026