据中科院微电子所公众号报道,该所微电子器件与集成技术重点实验室尚大山研究员与香港大学、清华大学研究人员合作,基于忆阻器(RRAM)存算一体(IMC)芯片,研制了一款连续学习原型系统,该系统针对多任务连续学习场景。
研究团队展开软硬件协同设计,软件方面开发了基于突触元可塑性的混合精度连续学习模型(MPCL),采用非对称权重更新策略,平衡权重的可塑性与稳定性,有效缓解灾难性遗忘;硬件方面,团队将MPCL模型部署在由忆阻器存算一体芯片和传统架构处理器组成的混合模拟数字硬件系统上。
近年来,以深度学习和神经网络为代表的人工智能技术在人脸识别、自动驾驶、智慧城市和健康监测等多个领域迅速发展。
中科院微电子所表示,该系统采用IMC计算范式,利用基尔霍夫定律和欧姆定律加速向量矩阵乘法操作,减少了处理器和存储器之间数据传输的能量和时间开销。同时也解决了传统神经网络模型处理时会遗忘已经学到的知识,导致在执行先前任务时性能大幅下降的问题。经测试,该原型系统在两个主流数据集上分别实现了五个任务连续学习94.9%和95.3%的平均准确率,相较于传统计算架构系统,运算能耗大幅降低。这种基于忆阻器存算一体能力的连续学习实现方案,为未来构建具有自适应能力的低能耗人工智能体提供了参考。
该项目得到了科技部、国家自然科学基金委、中科院和香港大学的支持。成果近期发表在《先进智能系统》期刊上(Advanced Intelligent Systems, DOI: 10.1002/aisy.202200026),微电子所博士研究生李熠为文章的第一作者,香港大学王中锐博士,微电子所尚大山研究员为该文章的共同通讯作者。Wiley学术出版集团科技新闻网站Advanced Science News对这一研究结果以“Continual learning, just like humans”为题进行了专题报道。
原文链接:https://doi.org/10.1002/aisy.202200026
来源:中科院微电子研究所