现在还没听过什么是人工智能(AI)的业界人士或一般消费者，应该是少之又少。在人工智能、机器学习(Machine Learning；ML)大行其道的现在，所有的产业都想跟人工智能/机器学习有“更深层的结合”，以期可从中开创更多新应用，并增加营收。也因此随着一些业界大厂积极发展并强化人工智能技术，使得人工智能已经不再是一个技术名词，而是已经开始深入到人们的生活。
现在还没听过什么是人工智能(AI)的业界人士或一般消费者，应该是少之又少。在人工智能、机器学习(Machine Learning；ML)大行其道的现在，所有的产业都想跟人工智能/机器学习有“更深层的结合”，以期可从中开创更多新应用，并增加营收。也因此随着一些业界大厂积极发展并强化人工智能技术，使得人工智能已经不再是一个技术名词，而是已经开始深入到人们的生活。
根据市调单位统计，预估至2025年，全球人工智能商机将达2,300亿美元，并以45%的年复合成长率(CAGR)快速成长；值得注意的是，至2030年，全球人工智能整体市场规模将可能大幅攀升，有机会暴增至15.7兆美元。资策会产业情报研究所(MIC)副所长洪春辉表示，人工智能不仅改变产业生态，也改变了人类的生活、影响社会形貌变迁、衍生更多新应用，且业者为了抢攻商机，也纷纷技术不同市场策略，也让人工智能进一步改变了产业既有的竞争型态。
在业者的努力下，人工智能技术持续快速演进，从第一波发展逻辑规则、第二波机器学习、第三波认知能力，至近期的第四波自主学习，人工智能可谓越来越“聪明”。接下来人工智能的发展重点将着重在透过自主学习，进一步给予使用者建议与预测，洪春辉认为，即使人工智能不断的演进，能力变得越来越“强”，但是若没有人愿意用，将没有任何意义。换句话说，人工智能若是无法与人们的生活产生更多关联，与人们的生活更加相关，人工智能仍然只是一项令人“触不到、遥不可及”的技术。
的确，人工智能在各种应用领域，已经开始逐渐展现其影响力，并开始遍及各行各业与生活层面，以及创造更多应用商机。然而，人工智能系统要能持续收集相关信息，透过机器学习不断“学习”，以提升其判断精确度，但若是都将信息上传至云端计算，对整体系统效能而言，并不是一件好事，因此在边缘/终端设备导入AI技术的“AI at the Edge”已成为大势所趋。
从云端到边缘终端设备
为何人工智能一定要“下放”到边缘终端设备？人工智能在云端上进行数据分析与处理，不是一直以来人工智能发展的方式吗？也许你会有上述疑问。事实上，从近几年人工智能发展的历程来看，过往，业者多致力发展云端那一头的人工智能，也就是收集到的信息全数上传到云端，透过云端数据中心、服务器，进行分析，再归结成可供学习的数据或是给予终端装置的回馈。在这“漫长且遥远”的传输过程中，即使未来有高传输速率、超低延迟的5G技术奥援，云端数据中心的负载仍是相当大，对效能的要求势必不断提升。
如此，也会衍生出许多环保问题——高功耗意味着耗电量大增。Arm副总裁暨机器学习事业部总经理兼研究院士Jem Davies表示，现阶段已经无法将所有的数据都传送到云端，再者机器学习对于效能的要求是永不休止的，这就代表着对电力的需求也会持续不断攀升，因此，这也是为什么产业界开始将目光放到边缘/终端设备上。
终端设备上内建人工智能，对减轻云端的计算负载相当有帮助。Davies指出，边缘/终端设备拥有大量透过传感器收集到的大数据，若其内建人工智能算法，具备基本的计算能力，可以先将庞大的信息量做前期预处理、进行推断，再将处理过的数据往云端传送；云端则主要负责将数据转化为供机器学习系统训练的素材，不过，若是要将所有的分析、机器学习都让边缘端来执行，这可能行不通。
意法半导体(STMicroelectronics)大中华暨南亚区模拟、微机电与感测组件产品部产品营销经理陈建成则表示，将人工智能放在边缘端会更加实际且可行性更高。这是由于在整个人工智能运算架构中，边缘/终端设备是最贴近消费者的部分，可以针对消费者“真实”状况先预做判断，云端给予消费者的回馈“命中率”将可提高，进一步提升整体效率。
“AI at the Edge”商机与挑战
除了可以降低云端数据中心运算负载、更快给予消费者准确、有效的回馈之外，在边缘设备导入人工智能、机器学习算法，更为半导体电子产业带来新的商机，也因此许多半导体大厂也开始推展“AI at the Edge”概念。
ReportLinker针对人工智能芯片的市场预测报告指出，2023年全球人工智能芯片市场规模将达108亿美元，年复合成长率可达53.6%。机器学习芯片市场方面，根据Allied Market Research的报告，预估到2025年，机器学习芯片市场规模约可达378亿美元；2017~2025年的年复合成长率为40.8%。该单位并从目前4种主流人工智能芯片——中央处理器(CPU)、图形处理器(GPU)、现场可编程门阵列(FPGA)与专用集成电路(ASIC)营收预测，未来，人工智能ASIC所创造的营收将超越GPU。
洪春辉则指出，由于信息及通信硬件终端结合人工智能视觉、语音等技术，以及内容服务业者针对人工智能进到边缘终端设备创造出新的应用市场与服务，并赋予传统3C产品新的价值，推动半导体市场也随之成长。MIC预测，2019年受惠终端硬件导入人工智能，2019年全球半导体市场规模将可达4,585亿美元。
虽然，“AI at the Edge”为半导体业者带来了新商机，但相对也为半导体业者带来新的挑战，也开启新一波处理器的市场竞赛。
功耗重于效能
“AI at the Edge”概念不断发酵下，对于传统终端设备使用的CPU、GPU带来的最大的挑战之一是功耗，这是由于机器学习所需的运算效率不断直线上升，效能与功耗间的取舍自然成为相关处理器业者的难题。
Davies指出，运算效能对于人工智能与机器学习而言，相当重要，但在终端设备，功耗是大于一切的考虑，因此终端设备内的处理器要更关注每瓦的耗电量能贡献多少的运算量。若是一味追求运算效能，终端设备的功耗将无法被消费者所接受，因此势必要有所取舍。
意法半导体亚太区微控制器产品部资深产品营销经理杨正廉也同意低功耗是终端设备“铁则”。因此，为顾及功耗，边缘设备内不是不采用CPU或GPU等级的处理器；要不就是人工运算负责的“工作”不能过于复杂，而此时微控制器(MCU)就很适合担任边缘设备主处理器的工作。
消费者对于终端装置的追求是更长的电池续航力，这一点无论是半导体厂商或是终端设计制造商“无人不知，无人不晓”；但要能执行人工智能算法，处理器也需具备一定的效能，这种两难的情况，陈建成表示，内建人工智能、机器学习的传感器可解决功耗与效能的取决难题。
为满足AI边缘设备的低功耗需求，FPGA供应商也将竞争重点放在解决方案的功耗表现上，如莱迪思半导体(Lattice Semiconductor)开发的sensAI，就是以1mW~1W的低功耗应用为主打；而该公司亚太区事业发展协理陈英仁表示，相较于MCU解决方案，FPGA平台在因应AI算法优化过程中的变化上，能提供更高的灵活性。
而尽管低功耗表现是Lattice征战“AI at the Edge”市场的主要优势，该公司在5月底发表的最新版本sensAI还是强调了效能的提升，包括升级该平台的神经网络(CNN) IP与编译程序、扩展机器学习框架，新增对训练数据集/脚本的支持等等，能在智能门铃、连网安防摄像头等应用上，实现更精准的人员侦测与计算结果。
了解使用者真正所需
不仅功耗与效能的取舍令业者头痛，如何贴近消费者所需，也相当考验从业者的智慧。Davies认为，半导体IC设计业者在芯片设计上具备相当的长处，因此芯片功耗、效能、散热…等各方面，厂商都具备一定的解决能力，也很了解CPU、GPU或其他IC有其各自的长处，以及该怎么去设计以达到市场的要求。不过，IC设计业者毕竟离使用者端有点“远”，对于使用者真正的需求可能不甚了解，这是IC设计业者需要与下游系统整合商或终端装置制造商多多协同合作、沟通的部分，才能“参透”消费者在“AI at the Edge”应用中的所喜所好。
陈建成指出，在终端设备导入人工智能，不只是为了减轻云端数据中心的计算负担，而是透过人工智能算法让边缘终端设备能变得更好用、更友善，进一步增加终端设备的附加价值。因此，“AI at the Edge”概念也代表着，将人工智能放在云端数据中心这种“大设备”内并没有太大的意义，而是应该分散在边缘终端设备中，透过传感器、处理器…等芯片第一手取得用户所需、所想与所要，才能发挥人工智能真正的功能。
芯片设计架构改变
为因应“AI at the Edge”概念的发展，处理器也须因应边缘终端产品的应用需求而有所改变。Davies举例，智能手机厂商为了透过人工智能、机器学习提供消费者更好的使用体验，自然需要好好的利用5G技术，并在手机内部支持全计算架构，以处理5G通讯技术带进来的数据量。
要能执行全计算架构，的确需要很多CPU或GPU支持，因此，已可发现目前三大手机处理器已开始研发或发布将CPU+GPU+神经网络处理单元(NPU)等异质多核心架构整合为系统单芯片(SoC)产品的趋势。不仅高端、旗舰型手机会采用此种高整合SoC以顺利运作人工智能与机器学习，以进一步提升计算效能；且未来，中低端手机也会导入人工智能与机器学习，因此这种异构整合SoC可望成为大势所趋。
另外，上述提到的异质多核心架构也出现在微控制器中。过去，为让应用市场有更高效能的微控制器可用，许多微控制器供应商已有多核心微控制器的产品问世，进入“AI at the Edge”时代，边缘终端设备内部一定会有的微控制器，也因应人工智能算法的进驻，而有新的多核心设计出现。杨正廉表示，考虑到功耗与成本，较小型的边缘设备内部无法采用CPU或GPU，加上终端设备所需的人工智能效能无需太强大，因此透过双核心微控制器，即可执行简单的人工智能算法，平衡终端设备效能、功耗与成本间的难解之题。而让微控制器具备收集信息的硬件与处理数据的软件库，以及解释、分析和运作人工智能应用程序的能力，将是未来意法半导体在STM32产品线重要的发展方向之一。
不仅如此，“AI at the Edge”也让传感器产生了变化。陈建成解释，传感器主要的工作是判断周边环境与用户行为的组件，因此传感器内建人工智能、机器学习算法，再加上一些使用情境的定义，即可将传感器第一手取得的资料先行处理并判断使用者当下的状态，再将信息传递给主处理器如微控制器或CPU后，终端设备即可给予消费者更符合其“状态”的回馈。
举例来说，智能音箱内建的传感器可以从使用者的声音，或是透过用户手指敲击设备的力道，先判断使用者的心情状态。若是使用者心情不佳，或是疲倦，智能音箱将可播放一些可振奋人心或是轻柔、具备安慰效果的音乐，如此一来，用户将可感受到更好的使用经验。而这也就是为何传感器内建人工智能可协助提升微控制器或其他主处理器效能的原因，陈建成解释，假设整个人工智能运行时间可分为10个步骤，拥有简单人工智能算法的传感器可以协助执行人工智能前期较简单的功能，约达成3~4个阶段，这样可以让在主处理器端运作的其他7个步骤可以做得更精准，让整体“AI at the Edge”人工智能系统的效能可更为提升，但同时又可兼顾成本与功耗。
多角关系如何解？
“AI at the Edge”受到多方瞩目，也让各类处理器进入新的战国时代，许多研究机构也都纷纷预测哪一种处理器最终会胜出。事实上，业者普遍认为，无论是CPU、GPU、NPU或是FPGA，都各有所长，且会依应用而有其“安身之所”，甚至还可能彼此间互相合作。
Davies认为，根据不同的应用需求与运算处理数量的不同，会有不同的处理器需求，但可以很肯定的一点是，CPU、GPU、NPU…等处理器，不会有相互取代的情况发生。例如，与视频处理相关就需要较强的加速器支持；而音频与图像处理识别CPU与GPU即绰绰有余，至于近期很夯的NPU，虽然效能比起GPU、CPU差了一截，但是在不太复杂的人工智能应用中，可能仅采用NPU就足够，但若是应用需要更加乘的运算效能，则需要在GPU或CPU之外另加NPU来辅助。
杨正廉强调，通用微控制器也无法吃下整个“AI at the Edge”应用市场，且考虑效能与应用所需，导入人工智能算法的微控制器锁定的将会是利基市场，不会与其他处理器“硬碰硬”。杨正廉进一步说明，涉及图像处理、识别，势必得采用CPU或GPU；成本与功耗相对敏感的设备，则可由微控制器执行简单人工智能运算，而针对高阶应用，意法半导体将采取微控制器+微处理器(MPU)架构。未来，意法半导体也会持续透过加入信息传递接口(MPI)此种平行运算应用程序编程接口，精进微控制器的效能，提升微控制器中的人工智能算法的效能。
另一方面，基于开放原始码架构RISC-V，也开始在“AI at the Edge”潮流中展现其优势，并获得许多业者的青睐。包括晶心科技(Andes)、阿里巴巴成立的平头哥，以及许多芯片商，都针对RISC-V推出其主打“AI at the Edge”的处理器，RISC-V的蓬勃发展也让市场一度提出该架构能否与Arm IP架构相抗衡的疑问。
对此，有处理器业者表示，RISC-V打破CPU与微控制器的界线，使得CPU与微控制器可以采用兼容的架构，并具备“自由”的特性，着实有潜力与Arm Cortex核心抗衡。唯目前，RISC-V整体生态系统仍在发展中，而Arm多年来建立的完整且庞大的生态系统，使该公司在市场占据独特地位，因此与Arm合作多年的处理器厂商，在产品设计支持各方面的考虑下，应不至于马上“转换跑道”跨足RISC-V架构。
图2：神经网络运作背后关键步骤。(图自：意法半导体)
中国厂商的机会在哪里？
当前，“AI at the Edge”等人工智能芯片应用最大的市场其实在中国。不久前，中国大陆宣布将于年内启动5G商用，在争夺5G先机的背景下，边缘计算因为涉及到物联网、自动驾驶、人工智能等热门技术，越来越被重视。另外在政策的支持下，中国大陆的人工智能落地情况远好于美国。旷视、商汤、依图等初创企业推出的产品迅速在市场上站住脚跟，加速了基于人工智能，尤其是边缘端应用的成熟，另一方面也给半导体产业打开了新兴市场的大门。
芯片行业本身是一个成熟行业，可AI产业正处于成长期，其前沿技术——AI芯片行业更是还处于幼稚期。传统产业的通用芯片应用场景，正逐渐被AI专用芯片所取代，市场对于人工智能新品的需求将随着国内云/边缘计算、智能手机和物联网产品一起成长。据不完全统计，2018年，中国大陆至少有13家公司推出了AI芯片战略计划或已推出了相关AI产品，其中华为、地平线、比特大陆、寒武纪被看作国内四大主流AI芯片公司。
有意思的是，这13家AI芯片公司中，有11家都已经布局了安防领域，从这点我们可以看出，中国大陆的“AI at the Edge”终端应用，首先瞄准了体量最大、应用最成熟的安防行业。另外，智能手机和智能家居也是他们集中资源重点突破的领域，这类市场虽然利润已不高，但胜在基数大，通用性强，一旦引爆会产生很明显的品牌扩散效应，也对芯片厂商未来的产品迭代提供了宝贵的数据反馈。
从承担任务来划分，“AI at the Edge”主要应用也可分为边缘服务器和边缘终端两块，前者重训练，后者重推理，两个市场目前都已经在起飞。其中边缘服务器市场非常重要，但是目前有能力提供芯片的厂商不多。华为在去年秋天推出两款昇腾(Ascend)系列AI芯片，其中Ascend 310芯片就针对边缘服务器市场，并且华为已经开发了基于Ascend 310的边缘计算服务器，准备部署在自动驾驶领域。同样打算在自动驾驶边缘服务器上发力的，还有百度的“昆仑”和地平线的“征程1.0 & 2.0”。
至于终端边缘计算的SoC芯片市场已成红海，预计经过洗牌，只会剩下几家在不同细分市场能牢牢把握住客户的公司。以算法/IP起家的龙头如寒武纪、地平线，选择与应用领域系统企业紧密合作，比如寒武纪的人工智能IP “1M”，依托华为海思麒麟处理器，成为了最早一批在智能手机上大展拳脚的“AI at the Edge”解决方案之一。未来在通用终端加速器芯片领域，我们可望看到更多应用出现，而这几年内我们能看到的边缘终端加速器应用，将会很大程度上决定这个市场的具体规模。
而中国台湾厂商在“AI at the Edge”的发展部分，除了IC设计业者如晶心科技与新创公司耐能智慧(Kneron)外，其他包括内存、晶圆代工、封装…等半导体业者，以及终端设备制造商，也积极抢攻商机。而如同EDA工具供应商新思科技(Synopsys)副总裁暨台湾总经理李明哲所言，有鉴于台湾电子产业在IoT市场的出色表现，结合AI功能的所谓“AIoT”相关应用会是台厂能充分发挥实力的题材。
李明哲指出，根据Synopsys与台湾IC设计业者长期且密切的合作经验，台厂擅长多样化、小规模的设计，而且因为供应链完整，能在短时间之内就完成从概念到产品的流程；当AI进入包括玩具、家电等各种日常生活周遭的消费性应用，就是台湾业者展现优势的最佳时机。
义隆电子(ELAN Microelectronics)董事长兼总经理叶仪皓开宗明义表示，台湾IC设计业者该锁定边缘运算、“AI at the Edge”领域，进行产品研发。这是由于台湾拥有完整且成熟的半导体供应链，学界也大量的在培育人工智能相关人才，加上台湾地区也因一些政策与特殊环境而能取得许多大数据，例如健保信息与满街都是的摩托车都会是收集大量数据的来源，因此台湾IC设计公司可进行跨产业的合作，并锁定制造业、农牧业与医疗产业的人工智能化市场。
身为台湾电子五哥之一的华硕(ASUS)，则是先从公司内部寻找可引入人工智能的部分先行研究，如人脸识别系统、语音识别系统…等，积极练兵；再从中归纳出可与其他业者进行差异化的部分，再加以深入研究。华硕首席技术官庞台铭指出，透过上述方式，华硕不断累积人工智能相关实力，进而提出足以与大厂媲美的解决方案，而此一历程也可提供台湾地区电子硬件制造产业中想转型却不是很成功的厂商，一面借镜。
洪春辉则建议，台湾有很强的科技产业“聚落”特性，可藉此形成人工智能产业聚落，加速人工智能产业人才、技术与资金的流动。另外，台湾业者还可运用“平台”或“开题解题”方式，汇集不同技术利基的成果，并以解决方案产品发展为目标，避免研发成果停留在实验室或项目化阶段。
洪春辉并强调，人工智能发展需要的不仅是技术演进，更重要的是“人性化应用”，亦即贴近人类生活需求的应用，才是人工智能技术得以长远发展的根基。因此，台湾厂商在发展“AI at the Edge”相关应用或产品时，应时时抓紧此“圭臬”，将可望在市场占有一席之地，并抢攻人工智能在2023年于消费应用领域所创造的41.5亿美元的市场商机。
总结——该信任人工智能吗？
综上所述，“AI at the Edge”的发展为半导体市场带来许多新的契机。不过，无论云端或边缘端的人工智能如何“取信于人”，都是最终需要面对的大哉问。Davies表示，现今的人工智能、机器学习算法获得各界对其充分的研究，虽然人工智能算法还是无法与人脑相提并论，但广泛的研究成果已可确保人工智能与机器学习技术是“安全”的。
因此，目前使用者应该已能信任终端设备给予的“建议”，否则压根也不会想使用内建人工智能与机器学习的边缘设备，更遑论进一步推助“AI at the Edge”应用市场的崛起。
本文为《电子工程专辑》2019年7月刊杂志文章，版权所有，禁止转载。点击申请免费杂志订阅
您可能感兴趣
