点击蓝字 关注我们
SUBSCRIBE to US
ISTOCK
模仿神经元连接突触的记忆装置可以作为复制大脑学习方式的神经网络的硬件。现在,两项新的研究可能有助于解决这些组件面临的关键问题,不仅是产量和可靠性,而且还有助于发现神经网络以外的应用。
忆阻器,或称记忆电阻器,本质上是一种开关,可以在电源关闭后记住它们被切换到哪种电状态。世界各地的科学家致力于使用忆阻器和类似组件来构建电子器件,像神经元一样,既能计算又能存储数据。这些忆阻器件可以大大减少传统微芯片在处理器和存储器之间来回传输数据时所损失的能量和时间。这种受大脑启发的神经形态硬件也可能被证明是实现神经网络的理想选择。人工智能系统越来越多地应用于分析医学扫描和增强自动驾驶汽车等应用。
然而,当前的忆阻器件通常依赖于具有低产量和不可靠电子性能的新兴技术。为了帮助克服这些挑战,以色列和中国的研究人员使用标准CMOS生产线制造了忆阻器件。该团队建造的硅突触的产量达到了100%,与高性能Nvidia Tesla V100图形处理单元相比,能量效率提高了170至350倍。
“Memristors are a highly promising lead to provide low-energy-consumption artificial intelligence.”
—Damien Querlioz, Université Paris-Saclay
科学家们利用商用闪存中使用的浮栅晶体管技术开发了新器件。传统的浮栅晶体管有三个端子,而新的元件只有两个端子。这大大简化了制造和操作,并减小了它们的尺寸。此外,该研究的资深作者、海法以色列理工学院电气与计算机工程副教授Shahar Kvatinsky表示,忆阻器只有二进制输入和输出,因此不需要通常用于神经形态硬件的大型、耗能、模数和数模转换器。
新设备显示出高耐久性,通过使用电压脉冲编程和擦除超过100000个周期。此外,他们只显示了中等的设备间变化,预计数据保留时间超过10年。
研究人员使用大约150个这些组件的阵列来实现一种仅使用二进制信号操作的神经网络。在实验中,它可以以大约97%的准确率识别手写数字。Kvatinsky表示,这项工作“只是一个开始——概念的证明,而不是一个完整的集成芯片或大型神经网络。集成和扩展是一个重大挑战”。
在另一项研究中,一组法国研究人员研究了使用忆阻器进行统计计算技术,即贝叶斯推理(Bayesian reasoning),其中先验知识有助于计算不确定选择可能正确的可能性。与许多几乎无法理解的人工智能计算不同,它的结果是完全可解释的,并且当可用数据很少时,它可以很好地执行,因为它可以结合先前的专家知识。然而,“如何用忆阻器计算贝叶斯推理还不明显,”研究合著者Damien Querlioz表示,他是巴黎萨克莱大学CNRS的研究科学家。
苏黎世神经信息学研究所的神经形态学家Melika Payvand表示,使用传统电子技术实现贝叶斯推理需要复杂的记忆模式,“这种模式随着观察次数的增加呈指数级增长”,她没有参与这两项研究。然而,Querlioz和他的同事“找到了一种简化方法”,她指出。
Memristor AI “excels in safety-critical situations, where high uncertainty is present, little data is available, and explainable decisions are required.”
—Damien Querlioz, Université Paris-Saclay
科学家们重写了贝叶斯方程,以便记忆阵列可以进行统计分析,利用随机性,也就是“随机计算”。使用这种方法,阵列在时钟的每一刻产生半随机比特流。这些位通常是“0”,但有时是“1”。0与1的比例编码了阵列执行统计计算所需的概率。与非随机方法相比,这种数字策略使用了相对简单的电路,所有这些都减少了系统的尺寸和能量需求。
研究人员在同一芯片上的30080个CMOS晶体管上制作了一个包含2048个氧化铪忆阻器的原型电路。在实验中,他们让新电路从戴在手腕上的设备发出的信号中识别出一个人的手写签名。
贝叶斯推理通常被认为是传统电子计算的昂贵计算。Querlioz说,新电路使用传统计算机处理器的1/800到1/5000倍的能量进行手写识别,这表明“忆阻器是提供低能耗人工智能的一个非常有前途的先导”。
新设备还可以立即打开和关闭,这表明它能够只在需要时工作,以节省电力。此外,研究人员表示,它对随机事件的错误也适应性很强,因此在极端环境中很有用。总而言之,Querlioz表示,新电路“在安全关键情况下表现出色,在这种情况下,存在高度不确定性,可用数据很少,需要做出可说明的决定。例如,用于监测工业设施安全的医用传感器或电路”。
Payvand表示,贝叶斯电路的未来方向可能包括收集多种类型的感官数据的机器,其中可能包括自动驾驶汽车或无人机。她指出,如果机器对基于一种感觉做出的预测不自信,它可以通过分析不同的数据来增强信心。
Payvand警告说,贝叶斯系统面临的一个关键障碍“是它们对更大问题或网络的可扩展性”。Querlioz指出,该团队已经设计了一个“目前正在制造中”的设备的大规模版本。他指出,他们的电路目前只是专门用于某些类型的贝叶斯计算,但他们希望在未来创造出更具适应性的设计。
在一定程度上,这两项研究都使用了随机性 —— Querlioz和他的同事将其用于统计分析,而Kvatinsky和他的合作者让他们的神经网络以随机间隔采样数据,以避免在有限次数采样数据时可能出现的错误。
惠普实验室的高级人工智能研究科学家Giacomo Pedretti表示:“这些方法与忆阻器设备的遗传随机性非常吻合。” 他说,尝试使用这些电子设备中的固有噪声来产生受控的随机性“而不是使用昂贵的数字伪随机数发生器”将是“非常有趣的”。
这些研究成果于12月19日发表在《自然电子》杂志上,https://www.nature.com/articles/s41928-022-00886-9.epdf?sharing_token=ILlWCzeQnBSekKsKASeAjdRgN0jAjWel9jnR3ZoTv0NtXNKH535TKSJRUs86AFU5pMOKYbVrb1yfjh2r509igCJJ2FkbPiixTC99PUXfW0Ty_dD9QLWAlpSj58bl_qMp6VjAHINUTy8e2ECjljD7n7WAvjuKNi9ZOWJfCakj0g3iqXrErlnAbO-NtqpjTErDtf2-ygA-3gbliT07PpKuubaVndVV6EeCfw3kwhEobTIYHLOYv5vVH-v_uyvVVSmE&tracking_referrer=spectrum.ieee.org。
微信号|IEEE电气电子工程师
新浪微博|IEEE中国
· IEEE电气电子工程师学会 ·
往
期
推
荐
人工智能在日常生活中的10种用途
屋顶太阳能持续突破 屋顶风能或有新发展?
为什么许多四足机器人设计成狗的样子呢?
气候变化 | IEEE 2023主席Saifur Rahman和IEEE代表团出席COP27