“你有时间吗?”随着密歇根大学(University of Michigan)最新的忆阻器发现,人工智能芯片可能很快就会注意到事件的顺序。
密歇根大学的一个研究小组利用新的忆阻器技术创建了一个时间感知神经网络。虽然这项技术目前只是在小规模上实现,但其特性可能会导致人工智能的重大范式转变。
与感知器等早期神经网络相比,现代人工智能模型远远超出了简单的模式识别。最新的部署,如 Copilot 或 GPT4,可以生成新的材料。然而,这种性能会消耗相当大的功率。
研究人员研究了人脑中的神经元,以了解他们如何在忆阻器(神经元的硬件模拟)中复制计时。神经元通过一种称为“松弛时间”的东西来编码有关一系列事件何时发生的信息。神经元接收并发送一些电信号。神经元只有在接收到一定的输入信号阈值时才会发送自己的信号,并且必须在一定的时间范围内达到这个阈值。如果时间过长,神经元就会放松并释放电能。人类可以理解事件发生的时间和顺序,因为这些神经元在我们的神经网络中以不同的速率放松。
到目前为止,忆阻器的工作原理与此不同。当一个忆阻器接触到一个信号时,它的电阻会减小,允许更多的下一个信号通过。随着时间的推移,更多的放松会导致更高的电阻。然而,加州大学团队的研究表明,基底材料的变化可以产生不同的弛豫时间,类似于神经元弛豫时间的自然变化,从而使忆阻器具有计时机制。
研究人员挖掘“原子世界的厨房水槽”
使用熵稳定氧化物 (ESO),UM 忆阻器表现出随时间变化的弛豫时间,可以在159到278 ns之间进行调节。依赖时间的神经元激活可以在硬件中编程,从而在部署模型时不需要耗电的GPU。
UM小组使用钇、钡、碳和氧(YBCO)衬底开发了这种ESO,该衬底在-292°F以下具有超导特性。该项目的一位研究人员将这种熵稳定的氧化物称为“原子世界的厨房水槽”;也就是说,研究人员添加的元素越多,它就越稳定。
经过训练后,该设备可以识别数字 0 到 9 的声音(在许多情况下甚至在音频输入完成之前),同时与基于 GPU 的系统相比,始终保持更好的运行效率。未来,该团队相信他们可以进一步改进用于制造设备的能源密集型过程。
在现代神经网络中,GPU 技术完成了大部分训练和识别。GPU 从内存中提取已知权重,将它们用于乘法和累加,并将它们发送回内存。这可以重复任意次数,结果是模型输出。这种方法非常适用于小型模型。随着模型变得越来越先进,内存移动的数量开始凸显冯·诺依曼架构的弱点。许多研究人员和开发人员正在转向内存计算或硬件支持的技术,以加快这种数据传输并降低能耗。
UM小组并不是第一个在人工智能和高级计算中使用忆阻器的团队。以前的许多小组已经探索了用于内存计算的新材料。然而,UM是第一个表现出时间依赖性行为的研究小组,这对于复制人脑的运作方式至关重要。
虽然 UM 小组对他们的可调 ESO 能否很快投入商用没有任何误解,但他们的研究标志着向硬件支持的人工智能性能又迈进了一步。
如果忆阻器件能够利用现代半导体技术,它们对定制的人工智能硬件解决方案的影响可能是巨大的。UM团队估计,在不改变时间常数的情况下,他们的新材料系统可以将人工智能芯片的能效提高到目前材料的六倍。
关于忆阻器相关资料推荐: