点击蓝字 关注我们
SUBSCRIBE to US
ALFRED PASIEKA/SCIENCE PHOTO LIBRARY/GETTY IMAGES
人类的大脑由860亿个神经元组成,这些神经元通过神经网络连接在一起,可以完成非凡的计算能力。这是如何做到的?
IEEE Spectrum最近与科罗拉多州博尔德国家标准与技术研究所的物理学家Jeffrey Shainline进行了交谈,他的工作可能会为这个问题带来一些启发。Shainline正在寻求一种计算方法,这种方法可以为高级形式的人工智能提供动力,即所谓的尖峰神经网络,与目前广泛使用的人工神经网络相比,它更接近于模拟大脑的工作方式。如今,主流范式使用运行在数字计算机上的软件来创建具有多层神经元的人工神经网络。事实证明,这些“深层”人工神经网络非常成功,但它们需要巨大的计算资源和能量才能运行。这些能源需求正在迅速增长:尤其是,训练深层神经网络所涉及的计算变得不可持续。
长期以来,研究人员一直被这样一种前景所吸引,即创造出更能反映生物神经元网络中发生的事情的人工神经网络。当一个神经元接受来自多个其他神经元的信号时,它可能会达到一个激活阈值水平,导致它“激发”,这意味着它会产生一个输出信号尖峰,然后发送到其他神经元,可能会诱导其中一些神经元也被激发。
“Compared with semiconductors, you can fit many more neurons and synapses on a wafer because you can stack in the third dimension. You can have maybe 10 layers, and that’s a big advantage.”
—Jeffrey Shainline, NIST
一些公司已经生产了用于实现电子脉冲神经网络的芯片。Shainline的研究重点是在这种网络中使用超导光电元件。他的工作最近从研究理论可能性发展到进行硬件实验。他向Spectrum讲述了他实验室的这些最新进展。
Q
多年来,我(作者,以下简称我)从IBM和其他地方听说过神经形态处理芯片,但我感觉不到它们在实际世界中获得了吸引力。我错了吗?
Jeffrey Shainline:好问题:那么刺激神经网络它们有什么好处?
IBM 2014年推出的True North芯片引起了巨大轰动,因为它是全新的、与众不同的、令人兴奋的。最近,英特尔在Loihi芯片方面做得很好。英特尔现在有了它的第二代产品。但这些芯片能否解决真正的问题仍然是一个大问题。
我们知道生物大脑可以做数字计算机无法比拟的事情。然而,这些令人兴奋的神经形态芯片并不会立即让我们大吃一惊。为什么不呢?我认为这并不容易回答。
我要指出的一点是,其中一个芯片没有100亿个神经元(大致相当于一个人大脑中的神经元数量)。即使是果蝇的大脑也有大约150000个神经元。英特尔最新的Loihi芯片甚至没有这个功能。
英特尔的人们做了一些聪明的事情:他们为学者和初创公司提供了廉价访问他们的芯片的机会——在很多情况下是免费的。他们正在众包创意,希望有人能找到一款杀手级应用。
Q
你猜第一个杀手级应用会是什么?
Shainline:也许是一个智能音箱,一个音箱需要一直在等待你说出一些关键词或短语。这通常需要很大的功率。但研究表明,运行在一个简单芯片上的非常简单的脉冲神经算法可以在几乎不消耗电力的情况下做到这一点。
Q
告诉我你和你的NIST同事正在研究的光电设备,以及他们如何改进脉冲神经网络。
Shainline:首先,你需要明白,在一个脉冲神经系统中,光是神经元之间交流的最佳方式。那是因为没有什么能比光速更快。因此,使用光进行交流将使你拥有最大的神经网络。
但仅仅快速发送信号是不够的。你还需要以节能的方式来做。因此,一旦你选择以光的形式发送信号,你能达到的最佳能量效率是,如果你只将一个光子从一个神经元发送到它的每个突触连接,你不能减少光量。
我们正在研究的超导探测器在探测单个光子方面是最好的,从它们消耗的能量和运行速度来看是最好的。不过,你也可以建立一个尖峰神经网络,使用室温半导体发送和接收光信号。目前,还不清楚哪种策略最好,但我可以首先分享一些追求超导方法的理由。
诚然,使用超导元件会带来很大的开销,你必须在低温环境中制造所有的东西,这样你的设备才能保持足够的低温以实现超导。但一旦你做到了这一点,你可以很容易地添加另一个关键元素:一个叫做约瑟夫森结(Josephson junction)的东西。
约瑟夫森结是超导计算硬件的关键组成部分,无论是用于量子计算机中的超导量子比特、超导数字逻辑门还是超导神经元。
一旦你决定使用光进行通信并使用超导单光子探测器来感应光,你就必须在低温环境中构建你的计算机。因此,在不增加额外开销的情况下,现在可以使用约瑟夫森结。
这带来了一个不太明显的好处:事实证明,在三个维度上集成约瑟夫森结比在三个维度上集成 [MOSFET——金属氧化物半导体场效应晶体管] 更容易。那是因为对于半导体,你可以在硅片的下平面上制造MOSFET。然后你把所有的布线层都放在上面。用标准的加工技术在上面再加一层MOSFET是不可能的。
相比之下,在多个平面上制作约瑟夫森结并不困难。两个不同的研究小组已经证明了这一点。对于我们所讨论的单光子探测器也是如此。
当你考虑到需要什么才能让这些网络扩展成类似于复杂的大脑的东西时,这是一个关键的好处。与半导体相比,你可以在一个晶片上安装更多的神经元和突触,因为你可以在三维中堆叠。你可能有 10 层,这是一个很大的优势。
Q
这种计算方法的理论意义令人印象深刻。但是你和你的同事们实际建造了什么样的硬件呢?
Shainline:我们最近最激动人心的结果之一是超导单光子探测器与约瑟夫森结的集成演示。这使我们能够接收单个光子,并利用它来切换约瑟夫森结,产生电信号,然后整合来自多个光子脉冲的信号。
我们最近在实验室展示了这项技术。我们还制造了在低温下工作的芯片光源。我们也在芯片上传输光信号所需的波导管上花了很多时间。
我提到了3D集成——这种计算技术可以实现的叠加。但是,如果你想让每个神经元与几千个其他神经元进行通信,你还需要某种方式使光信号在没有损耗的情况下从一层的波导过渡到另一层的波导。我们已经证明了,用多达三个堆叠平面的这些波导,我们相信可以将其扩展到10层左右。
Q
当你说“集成”时,你的意思是你已经把这些组件连接在一起了,还是所有的东西都在一个芯片上工作?
Shainline:我们确实将超导单光子探测器和约瑟夫森结结合在一个芯片上。该芯片被安装在一个小的印刷电路板上,我们把它放在低温恒温器中,以保持足够的低温以保持超导。我们使用光纤进行从室温到低温的通信。
Q
为什么你如此热衷于采用这种方法,为什么其他人不这么做?
Shainline:关于为什么神经形态计算的这种方法会改变游戏规则,有一些非常有力的理论观点。但这需要跨学科的思考和合作,而现在,我们是唯一一个专门从事这项工作的群体。
如果有更多的人加入,我会很高兴的。作为一名研究人员,我的目标不是成为第一个做所有这些事情的人。如果来自不同背景的研究人员能够共同为这项技术的发展做出贡献,我将非常高兴!
微信号|IEEE电气电子工程师
新浪微博|IEEE中国
· IEEE电气电子工程师学会 ·
往
期
推
荐
身体是最好的安全数据通道
增强连接和可穿戴设备的集成 支持远程医疗的发展
熔盐电池可将电池“冻结”以不损失能量
无需动力部件的新型电机