对于“未来的算法能与现有半导体芯片或正在开发之新运算架构契合”这件事,我们能抱持多大的信心?随着算法的进展速度超越硬件技术进展进步,甚至是最先进的深度学习模型都可以被布署于只要5美元的Raspberry Pi开发板。

在1980年代的处理器上执行目前最先进的算法,与在目前最先进的处理器上执行1980年代之算法,哪一种可以算得更快?答案令人惊讶,通常是在旧处理器上执行新算法能算得更快。虽然摩尔定律(Moore’s Law)因为是电子产业快速发展的驱动力而备受关注,但它只是驱动力的其中之一,我们经常忘记算法的进展速度其实在很多情况下都胜过摩尔定律。

根据德国柏林工业大学教授、知名数学家Martin Grötschel的观察,在1988年需要花费82年才能算出解答的一个线性程序设计问题,在2003年只需要1分钟就能解决;在这段时间,硬件的速度快了1,000倍,算法的进步则达到4万3,000倍。

美国麻省理工学院(MIT)教授Dimitris Bertsimas的类似研究结果显示,在1991年至2013年间,混合整数求解器(mixed integer solvers)算法速度快了58万倍,同时间顶尖超级计算机的硬件速度只有进步32万倍。据说类似的结果也发生在其他类型的约束优化(constrained optimization)问题和质因子分解(prime number factorization)问题中。

这对人工智能(AI)意味着什么?

过去五年来,AI无论在学界、业界或是新创领域都呈现爆炸性发展,最大的转折点可能是发生在2012年,当时一个来自加拿大多伦多大学(University of Toronto)的团队AlexNet,利用深度学习方法一举赢得了年度计算机视觉影像辨识大赛ImageNet Large Scale Visual Recognition Challenge (ILSVRC)冠军,自此深度学习就成为实现AI的关键方程式。

计算机视觉的演进已蔓延至自然语言处理和其他AI领域。智能喇叭、实时计算机翻译、机器人对冲基金(robotic hedge funds),以及web参考引擎(web reference engines)…等等新产物,已经不会再让我们感到惊讶。

AI也成为了交通运输产业的驱动力(这也是Autotech Ventures的投资目标之一);我们已经观察到,先进驾驶辅助系统(ADAS)、自动驾驶、车队检测(fleet inspection)、制造质量控制,以及车载人机接口等等应用领域具备庞大的发展潜力。到目前为止,我们已经投资了几家在诸如ADAS、自动驾驶、视觉检测与边缘运算等应用领域开发AI解决方案的新创公司,在分析这些商机时,算法和硬件之间的交互作用是我们进行投资决策时的关键考虑因素之一。

大众对AI硬件的关注

基于深度学习的AI在其转折点之后,出现了对绘图处理器(GPU)的强劲需求。由于具备很强的平行运算能力,GPU对于深度学习算法所采用的逻辑碰巧能展现惊人效率;GPU大厂Nvidia在市场竞争中脱颖而出,其股价从2013年到2018年上涨了20倍。

当然,Nvidia竞争对手们正在努力追赶;高通(Qualcomm)、Arm和其他公司将注意力集中在AI芯片设计上,英特尔(Intel)则收购了AI芯片新创公司Nervana Systems。Google、Facebook、苹果(Apple)和亚马逊(Amazon)纷纷投入了为自家数据中心及其他计划开发自有AI处理器,也有一些新创公司(例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova)看准商机,试图设计更好的图灵机(Turing machine)系统。像D-wave Systems和IBM等其他一些公司也在积极探索后图灵时代的架构。大多数芯片开发的目标是赶上或超过Nvidia。然而,据我们所知,大多数处理器都是针对今日的AI算法进行设计。

尽管需要庞大的前期开发成本,我们仍将经历各种AI芯片设计的“寒武纪大爆发”。AI前景如此诱人,让产业玩家愿意投入巨资开发硬件,在以往是要让硬件与基础数学算法匹配,但对于让现有半导体芯片或正在开发的新运算架构能与未来的算法契合,我们有多大的信心?

有鉴于算法的演进速度和幅度变化是如此之快,许多AI芯片设计可能还没上市就过时了;我们推测明日的AI算法可能会需要完全不同的运算架构、内存资源,以及数据传输能力等等条件。

尽管深度学习框架已经出现很长一段时间,直到最近才真正被付诸实现,这要感谢摩尔定律所预测的硬件技术进展。最初的数学不一定是为工程实践而设计的,因为早期研究人员无法想象今日花1,000美元就能获得的运算能力有多么大。现今许多AI实作都是使用原始的数学模型,朝着准确、简单且更深层的方向发展,或者添加更多数据;但这样只会很快消耗GPU的运算容量。只有一小部分研究人员专注于改善基础数学和算法框架的难题。

还是有很多机会认识并利用这些新颖的数学进展,我们所观察到的方法包括精简冗余数学运算(redundant mathematical operations)而减少运算时间,将卷积压缩到较小的矩阵而减少内存需求,或者对加权矩阵进行二值化(binarize)而简化数学运算。这些是算法演进的第一次尝试,其发展之快已经开始超越硬件进展。

举例来说,从美国加州大学伯克利分校(UC Berkeley)研究项目独立的DeepScale ,就是将应用于ADAS和自动驾驶的AI,“塞进”车用芯片(不是GPU),与仅采用算法的物体检测模型相比较,他们的神经网络模型的指令周期要快30倍,同时在功耗和内存占用方面也有很大的提升,足以在这几年问世的现有硬件上执行。

另一个算法大跃进的案例来自美国的非营利研究机构艾伦人工智能研究所(Allen Institute of Artificial Intelligence),该机构研究人员采用一种利用神经网络二值化的创新数学方法,已经证明可以大幅提高速度,同时降低功耗和内存要求;如此甚至能让最先进的深度学习模型布署于售价仅5美元的Raspberry Pi平台上。研究人员最近将这种算法和处理工具独立为一家公司XNOR.ai,旨在于边缘设备布署AI,并进一步推动AI算法的进步。

有趣的是,新的二值化框架从根本上改变了最佳处理逻辑的类型,它们不再需要解决神经网络所需的32位浮点卷积,而只需要进行位计数运算(bit counting operations)——这将改变GPU领域的权力平衡。此外如果这些算法与专门设计的芯片相匹配,则可以进一步降低运算资源需求。

算法的进步不会停止;有时需要数年甚至数十年才能发明(或者说是发现)新的算法。这些突破无法以与摩尔定律推动的运算进展相同之方式来预测。它们本质上是非确定性的;但是当它们发生时,整个局势变化通常会让现有的主导者变成脆弱的猎物。

黑天鹅效应

畅销书《黑天鹅效应:如何及早发现最不可能发生但总是发生的事》(The Black Swan: The Impact of the Highly Improbable)的作者在书中阐明,最佳决策在很大程度上取决于分析过程是不可预测或不确定;换句话说,我们是在处理“已知的未知”(known unknowns)还是“未知的未知”(unknown unknowns)?算法创新基本上是未知的未知,因为它们的发现时间不确定以及影响不可预测,押注于这类发展需要持续的关注。

然而,在应用数学领域,尤其是AI应用领域,在最近二十年内出现了数次颠覆性的算法发现,它们与GPU一起,将AI从一个不起眼的研究领域带到了商业化最前线。

我们意识到这些运算领域“黑天鹅”的潜力,它们将使现有芯片架构成为过去,或者在一夜之间让它们的市场地位重新洗牌。对我们来说,这些「黑天鹅」最后可能会实现更安全的自动驾驶车辆,以及许多其他未知的应用案例。

编按:本文作者为Autotech Ventures高层主管,该公司为专注与智能交通相关技术的风险投资业者。本文同步刊登于EDN电子技术设计2018年10月刊杂志

责编:Judith Cheng,EDN Taiwan 

qrcode_EETCwechat_120.jpg

关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”

阅读全文,请先
您可能感兴趣
近年来,AWS还积极投资于人工智能(AI)、机器学习(ML)、大数据分析和边缘计算等前沿技术,以保持其在这些领域的竞争优势。
有鉴于电动汽车、自动驾驶和人工智能业务等未来增长潜力,以及在马斯克在当选总统特朗普政府中的“特殊地位”,多家分析机构认为,马斯克的财富未来还将进一步增长。
今年初的GTC上,黄仁勋就说机器人的“ChatGPT时刻”要来了。也就是说这波AI驱动的机器人热潮要来了...最近的ROSCon China 2024大会似乎也能看到这种迹象...
据悉,此次交易是通过马斯克亲自与英伟达CEO黄仁勋进行沟通促成的。这批GB200 AI芯片将被用于强化其旗舰级超级计算集群——Colossus(巨人)。Colossus作为xAI的技术基石,将借此机会实现计算能力的飞跃。
人工智能(AI)功能已经在各种移动设备中变得至关重要。尤其是2024年,AI PC陆续推向市场,甚至可以称为“边缘设备AI元年”。 这次我们就来盘点一下2024年下半年发布的主要AI PC和处理器。
借着传说中Intel在中国举办的有史以来规模最大的生态大会,谈谈AI PC生态于2024收官之际大致发展到了哪儿...
目前,智能终端NFC功能的使用频率越来越高,面对新场景新需求,ITMA多家成员单位一起联合推动iTAP(智能无感接近式协议)标准化项目,预计25年上半年发布1.0标准,通过功能测试、兼容性测试,确保新技术产业应用。
中科院微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用……
C&K Switches EITS系列直角照明轻触开关提供表面贴装 PIP 端子和标准通孔配置,为电信、数据中心和专业音频/视频设备等广泛应用提供创新的多功能解决方案。
投身国产浪潮向上而行,英韧科技再获“中国芯”认可
今日,长飞先进武汉基地建设再次迎来新进展——项目首批设备搬入仪式于光谷科学岛成功举办,长飞先进总裁陈重国及公司主要领导、嘉宾共同出席见证。对于半导体行业而言,厂房建设一般主要分为四个阶段:设备选型、设
12月18日,珠海京东方晶芯科技举行设备搬入仪式。插播:加入LED显示行业群,请加VX:hangjia188在10月31日,珠海京东方晶芯科技有限公司发布了Mini/Micro LED COB显示产品
万物互联的时代浪潮中,以OLED为代表的新型显示技术,已成为人机交互、智能联结的重要端口。维信诺作为中国OLED赛道的先行者和引领者,凭借自主创新,实现了我国OLED技术的自立自强,成为中国新型显示产
阿里资产显示,随着深圳柔宇显示技术有限公司(下称:“柔宇显示”)旗下资产一拍以流拍告终,二拍将于12月24日开拍,起拍价为9.8亿元。拍卖标的包括位于深圳市龙岗区的12套不动产和一批设备类资产,其中不
又一地,新型储能机会来了?■ 印度:2032储能增长12倍,超60GW据印度国家银行SBI报告,印度准备大幅提升能源存储容量,预计到2032财年将增长12 倍,超60GW左右。这也将超过可再生能源本身
近期,高科视像、新视通、江苏善行智能科技等企业持续扩充COB产能。插播:加入LED显示行业群,请加VX:hangjia188■ 高科视像:MLED新型显示面板生产项目(二期)招标12月18日,山西高科
LG Display  12月18日表示,为加强OLED制造竞争力,自主开发并引进了“AI(人工智能)生产体系”。“AI生产体系”是AI实时收集并分析OLED工艺制造数据的系统。LG Display表
今天上午,联发科宣布新一代天玑芯片即将震撼登场,新品会在12月23日15点正式发布。据悉,这场发布会联发科将推出全新的天玑8400处理器,这颗芯片基于台积电4nm制程打造,采用Arm Cortex A
极越汽车闪崩,留下一地鸡毛,苦的是供应商和车主。很多人都在关心,下一个倒下的新能源汽车品牌,会是谁?我们都没有未卜先知的超能力,但可以借助数据管中窥豹。近日,有媒体统计了15家造车新势力的销量、盈亏情
亲爱的企业用户和开发者朋友们距离2024 RT-Thread开发者大会正式开幕仅剩最后3天!还没报名的小伙伴,抓紧报名噢,12月21日不见不散!大会时间与地点时间:2024年12月21日 9:30-1