接上两篇:
行业第一次致力于软件融合。
在早期的疯狂和分散之中,即使是软件融合的努力也是分散的。百度的人工智能研究团队进行了一项调查,发现了11项措施,弥补用于管理神经网络的竞争软件框架之间的差距。
最有希望的是开放神经网络交换(ONNX),这是一个由Facebook和微软开始的开源项目,最近由亚马逊加入。该小组在12月份发布了ONNX格式的第一版。它旨在将用十几个竞争软件框架中的任何一个创建的神经网络模型转换成图形表示。
芯片制造商可以在结果图上定位他们的硬件。这对于那些不能编写独立软件来支持竞争模型框架的创业公司来说是个好消息,例如Amazon的MxNet,Google的TensorFlow,Facebook的Caffe2以及微软的CNTK。
由30多家主要芯片供应商组成的团队于12月20日发布了他们的首选选项 - 神经网络交换格式(Neural Network Exchange Format,简称NNEF)。NNEF旨在为芯片制造商提供创建自己的内部格式的替代方案,就像英特尔在Nervana Graph和Nvidia所做的那样与TensorRT。
在百度找到的其他格式的大写字母名称缩写中,有ISAAC,NNVM,Poplar和XLA。百度硅谷人工智能实验室高级研究员格雷格·迪莫斯(Greg Diamos)表示:“现在知道是否会出现一个成功的实施可能还为时过早,但是我们正在走上一条更好的路,其中一条最终可能会胜出。”
图文: 在人工智能框架中,亚马逊声称其MxNet框架和新兴的Gluon API提供了最好的效率。 (来源:亚马逊)
另外,谷歌已经开始使用软件来自动化精简DNN模型的过程,以便他们可以运行从智能手机到物联网(IoT)节点的所有事情。 如果成功的话,可以将50Mbyte的模型降低到500K字节。
谷歌还在探索如何在手机上进行有限的模型培训,方法是根据当天收集的数据调整模型的顶层或者在夜间运行的一个流程。 像SqueezeNet和MobileNet这样的行业工作也类似地展示了更简单的成像模型的路径。
负责Google TensorFlow Lite工作的Pete Warden表示:“我们看到了大量使用机器学习的人们在各种各样的产品中大量涌现。 “让每次运算的能耗降下来这件事,让我每天工作到深夜。”
当专家细看AI的未来时,他们看到了一些有趣的可能。
今天我们使用基于手动调整模型的监督式学习。谷歌的守望者(Warden)是在不久的将来出现半监督方法的研究人员之一,手机等客户端设备自己处理一些学习。最终目标是无监督的学习 - 计算机教育它们自己,而不再需要建造它们的工程师的编程帮助。
在这条路上,研究人员正在设法自动标记数据,这些数据来自手机或物联网(IoT)节点等设备。
“谷歌说,现在我们需要大量的计算,在这个过度阶段,一旦事情被自动标记,你只需要索引新的增量内容,这更像是人类如何处理数据,”Janet George,西部数据的科学家说。
无监督学习打开了加速机器智能时代的大门,有些人认为这是数字化的必杀技。另一些人则担心技术可能会在没有人为干预的情况下以灾难性的方式失控。 Google公司TPU项目负责人Norm Jouppi说:“这让我感到害怕。
同时,从事半导体工作的学者对未来的AI芯片有自己的长远展望。
英特尔,Graphcore和Nvidia“已经在制造全标线芯片,下一步就是三维技术”,Patterson说。 “当摩尔定律如火如荼时,由于担心可靠性和成本问题,人们会在看到复杂的封装技术之前就临阵退缩了。现在摩尔定律正在结束,我们将看到很多封装方面的实验。“
这里的最终游戏是创造出新型的晶体管,可以在逻辑和存储器层上堆叠。
Notre Dame电气工程教授苏曼·达塔(Suman Datta)看好负电容铁电晶体管技术的晶体管。他在最近召开的所谓的单体三维(3-D)结构会议上展望了该领域的前景。这样的设计应用和先进的3-D NAND闪存已经采用了on-die芯片堆栈技术。
来自伯克利,麻省理工学院和斯坦福大学的团队将在二月份的国际固态电路会议上展示一个类似的前沿技术。芯片(下图)将电阻RAM(ReRAM)结构堆叠在由碳纳米管制成的逻辑上的碳纳米管。
伯克利,麻省理工学院和斯坦福大学的研究人员将在ISSCC上报告一种使用碳纳米管,ReRAM和图案作为计算元素的新型加速器。 (来源:加州大学伯克利分校)
从DNN获得灵感,该设备被编程为近似模式,而不是计算机迄今使用的确定性数字。 伯克利教授扬·拉巴伊(Jan Rabaey)说,这个所谓的高维计算使用了几万维的向量作为计算元素,伯克利教授为本文做出了贡献,并且是英特尔AI顾问委员会成员。
Rabaey说,这样的芯片可以从例子中学习,并且比传统系统需要的操作要少得多。一块测试芯片将很快问世,它使用振荡器阵列,作为与相关存储器阵列中的采用了ReRAM单元的模拟逻辑。
Rabaey在IEEE人工智能研讨会上表示:“我梦想的引擎,是可以随身携带,现场为我提供指导......我的目标是推动AI运行在小于100毫伏的运行。 我们需要重新思考我们如何做计算。 我们正在从基于算法的系统转向基于数据的系统。”
(全文完)
作者: Rick Merritt, EETimes硅谷主编
编译:Mike Zhang
本文为《电子工程专辑》作者原创,版权所有,未经许可,不得转载。