人工智能核心技术产业白皮书(2021)

智能计算芯世界 2021-07-14 00:00



下载链接:人工智能核心技术产业白皮书(2021)


人工智能本轮爆发初期主要在探讨算法理论的可能性,聚焦探索强化学习、迁移学习等新的学习方式以及 AlexNet、VGG、GooqLeNet等结构多样的算法模型,算法理论的不确定性和技术的不成熟耗费产业界大量精力和时间,阻碍人工智能大规模应用进程。


人工智能企业增速明显放缓,产业生态已现加速构建态势资本寒冬已经出现。2019、2020 年全球每年新增人工智能企业数量已不足 100 家,且投融资的轮次后移趋势不断扩大。


从技术基础理论突破到工程化落地应用,既有技术红利已为产业发展奠定坚实基础。当前,虽然资本市场的泡沫逐步破裂,但优质企业的估值仍在持续增长,独角兽企业不断出现,产业呈现良性发展态势。深度学习技术局限性似乎导致人工智能产业发展将遇天花板,然而事实并非如此。


虽然,可解释性、理解推理等局限性确已显现,但这是下一时期理论技术突破重点,不能因此否定图像识别、语音合成、机器翻译等感知类任务上的应用技术成就和产业应用前景。


目前,基于深度学习理论的优化技术层出不穷,RegNet、GPT-3 等模型不断提升视觉处理、阅读理解等基础智能任务水平,虚拟助手、多语种翻译等智能应用已开始进入规模化应用阶段。



任务场景愈加复杂,倒逼学习方式多元化发展。有监督学习建立在严苛条件之上,已不能完全满足模型学习需求,面对更为复杂的任务场景,业内加速探索强化学习、自监督学习等多元学习方式,试图缩小与通用智能的距离。深度强化学习不断演进,加速提升自主决策能力。深度强化学习加速拓展任务边界,突破性解决多人棋牌、即时战略游戏等多智能体非完全信息博弈任务。

目前,OpenAl、谷歌、微软等企业相继攻克即时战略、德州扑克、麻将等复杂游戏,并加速向无人机群体飞行等更为实际的应用场景拓展。另一方面,深度强化学习不断提升处理复杂任务的能力,逐步拓展至芯片设计、音乐编曲等对知识技能要求更高的专业领域。


谷歌、脸书等多家企业先后发布使用自监督学习的算法模型,通过挖掘无标注数据的监督信息,显著减少人为干预,在自然语言理解(NLP)领域取得显著成效,如谷歌 BFRT、脸书 RoBFRTa、OpenAL GPT-3 等。

训训练模型参数已至万亿级,训练成本之高几乎成为业内头部玩家的专属技术路径。2020年,OpenAl 发布 GPT-3 模型,模型参数多达 1750 亿个,高达 1200 万美元的训练费用为预训练模型的构建构筑壁垒,中小型人工智能企业难以望其项背。2021年,谷歌发布 Switch Transformer模型,再次将模型参数推至 1.6 万亿新高。此外,微软宣布与 OpenAl 达成合作协议,获得 GPT-3 语言模型源码的独家授权,升级巨型模型的寡头格局形势,预示着未来超大规模预训练模型或将掌握在少数头部企业手中。


预训练模型已进入可直接用于多种自然语言处理任务的"通用"智能阶段。预训练模型再次升级,头部人工智能企业先后发布通用预训练模型,可直接面向多种自然语言处理任务使用,不再需要针对不同任务进行微调。目前,谷歌 T5、OpenAl GPT-3 等通用预训练模型进一步提升文本理解能力,在包含阅读理解、问答等任务的基准测试中接近人类水平。另一方面,通用预训练模型加速步入产业应用阶段, OpenAl 公司发布 GPT-3 商用应用程序接口(API),提供问答、翻译、文本生成等服务,搜索服务提供商 Al golia、社交媒体平台 Reddit等多家企业已开始使用。


模型小型化成为提升模型运行效率的主要方向。开发框架中的模型压缩功能创新活跃,模型压缩已成为开发框架必不可少的关键能力,脸书、腾讯、谷歌等头部人工智能企业以及英伟达、英特尔等芯片大厂加速构建完善模型压缩能力,依托自身算法技术与硬件芯片优势,在其主导的TensorFIow、PyTorch、TensorRT 等开发框架中提供剪枝、量化等算法压缩工具,并针对 GPU、CPU 等硬件芯片进行特定压缩优化。


以谷歌 TensorFlow、脸书 PyTorch 等为代表的开源框架格局初显清晰,框架格局已从百花齐放转向几家分争。目前,业界开源开发框架主导权基本被 TensorFlow(谷歌)、PyTorch(脸书)等掌握;微软 CNTK、日本初创企业首选网络(preferred networks)Chainer、加拿大蒙特利尔大学主导的 Theano 等早期热点框架已通过与主流框架合并或直接停止更新的方式退出历史舞台。TensorFIow 依托工业界的部署优势持续位于第一,市场关注度达15万,超过第二名3倍以上,脸书的 PyTorch(合并 Caffe2)凭借其易用性迅速突起,在各大顶级学术会议论文中占比超过 50%,有赶超势头。


同时,我国正在快速进行开源开发框架的系统化布局,百度飞桨、旷视 MeqEnqine、华为 MindSpore、清华大学 Jittor 等国产框架加速升级,其中,百度飞桨作为最早推出的开放框架之一,已初步应用于工业、农业、服务业等业务场景,服务 230 余万开发者,整体应用广度和深度正在不断成熟和完善。

端侧推理框架遇碎片化挑战。随着各行业终端智能化需求加速增加,算法模型的终端推理性能引起业内重视。目前,推理框架面临碎片化挑战,一方面,计算终端所使用的芯片类型多样,CPU、GPU 虽为主流架构,但 NPU、DSP、FPGA 等多样的人工智能芯片也在不断涌现,终端推理框架对底层硬件的适配难以统一;另一方面,算法架构尚不稳定,算子(卷积、激活函数-ReLU等)及组合方式的多样化和持续演化使得单一的推理框架短时间内难以覆盖所有的可能性,推理框架显现出各为其主的发展格局。

技术工具链成为研发平台的竞争核心。目前,研发平台整体呈现三类发展特点∶ 

  • 一是工具体系化,打造全面的技术工具链成为了这一时期研发平台的竞争核心,技术工具链提供数据处理、模型构建、部署、监测分析等全生命周期的工具服务,如 SagelMaker Autopilot、谷歌 AutoML、微软 MLOps 等;

  • 二是开放框架开放化,研发平台基本均同时支持 TensorFlow、PyTorch、MXNet 等多个主流框架;

  • 三是分布式计算不断优化,研发平台围绕人工智能技术的特点和开发框架对自身的云计算架构进行深度优化,如 SageMaker 在 256 个 GPU下的TensorFlow扩展效率可达 90%,并同时支持多种类型人工智能芯片。


智能计算已初步形成智能芯片、软硬协同、多样化算力供给模式的产业形态。目前,人工智能芯片架构百花齐放,云侧虽仍以 GPU 为主,但端侧涌现出面向不同场景的芯片架构,英伟达、英特尔等芯片厂商面向人工智能应用的软硬件工具生态日益完善,面向深度学习的大规模分布式计算平台不断成熟,云智能服务、公共智能超算中心、自建数据中心等多种计算供给模式逐步形成。

围绕智能计算芯片的软件工具开始从基础计算向场景计算转变。早期,以英伟达为代表的芯片企业不断构建以 CUDA 编程模型为核心的高性能算子库、通信算法、推理加速引擎等多层次基础软件工具生态。

当前,随着智能技术在传统行业中渗透的不断深入,头部智能芯片企业开始构建面向差异化场景的软硬一体平台,实现底层芯片、编程框架、行业算法库、细分场景研发平台等全栈高效整合,试图培育多样化行业场景的计算生态、抢占细分市场。例如,2020 年,英伟达围绕机器人和自动驾驶场景,打造 Jarvis 对话系统、ISAAC 机器人等软硬一体计算平台,宝马公司使用英伟达 ISSAC 机器人平台、 Jetson AGX Xavier 芯片平台以及 EGX 边缘计算机等。

数据集建设需求更为专业。监督学习仍是产业界人工智能算法训练的主要方式,因此大规模、高质量的人工标注数据集是产业发展刚需。目前,数据标注从简单、重复的拉框标注向精细化方向发展,呈现三类发展特点∶

  • 一是数据标注流程趋于智能化,通过预标注技术和半自动化校验的方式辅助人工标注已成为当前发展重点,业内涌现出一批标注工具,可对未标记图像直接生成分割轮廓,并借助人工进行微调;

  • 二是标注数据质量要求不断提升,自动驾驶、工业制造等智能任务场景愈之复杂,高质量、精细化的标注数据直接影响算法鲁棒性和准确性,标注准确率需求从 90%提升至 99%;

  • 三是医疗、工业等差异化垂直应用驱动数据标注服务进一步贴合个性化、多元化的场景需求,如数据服务企业 Scale AI 为自动驾驶场景提供标注服务,对车道、烟尘、尾气、雨水等更为个性化的目标物体进行标注。


产业主体以自身优势切入,初步形成四种小生态模式。一是人工智能全面融入云服务体系,云服务厂商积极构建 Al 基础设施生态。亚马逊、微软、谷歌为代表的厂商布局人工智能专用硬件、开源开发工具、研发平台、技术服务、行业使能方案等全栈 Al 技术支撑体系。


二是人工智能技术服务企业、互联网企业以视觉、语音等技术优势切入,加速打造垂直行业技术服务平台和解决方案生态。


三是传统企业以行业经验切入,强调解决问题的实际应用能力,积极构建围绕基础科研、成果转化、产业培育多维度的创新生态。传统行业头部企业针对颠覆性、前沿性技术展开系统布局,巩固行业领先地位和优势。


四是硬件厂商以芯片设计、整机集成为切入点,加速构建软硬协同产业生态。英伟达、英特尔、华为、浪潮等芯片、设备厂商围绕其芯片和计算设备积极丰富性能库、编译器、编程框架、编程工具等配套软件,通过多样化方式壮大开发者社区及产业合作伙伴规模,力图构建软硬协同的产业生态体系。



下载链接:人工智能核心技术产业白皮书(2021)
人工智能专题课System for AI(1) 
人工智能专题课System for AI(2) 
人工智能专题课System for AI(3) 
智能之门:神经网络和深度学习入门
国产化平台的AI赋能
GPU,FPGA和ASIC


本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。




免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。


电子书<服务器基础知识全解(终极版)>更新完毕,知识点深度讲解,提供182页完整版下载。

获取方式:点击“阅读原文”即可查看PPT可编辑版本和PDF阅读版本详情。



温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。


智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论
  • 新年伊始,又到了对去年做总结,对今年做展望的时刻 不知道你在2024年初立的Flag都实现了吗? 2025年对自己又有什么新的期待呢? 2024年注定是不平凡的一年, 一年里我测评了50余块开发板, 写出了很多科普文章, 从一个小小的工作室成长为科工公司。 展望2025年, 中国香河英茂科工, 会继续深耕于,具身机器人、飞行器、物联网等方面的研发, 我觉得,要向未来学习未来, 未来是什么? 是掌握在孩子们生活中的发现,和精历, 把最好的技术带给孩子,
    丙丁先生 2025-01-11 11:35 457浏览
  • ARMv8-A是ARM公司为满足新需求而重新设计的一个架构,是近20年来ARM架构变动最大的一次。以下是对ARMv8-A的详细介绍: 1. 背景介绍    ARM公司最初并未涉足PC市场,其产品主要针对功耗敏感的移动设备。     随着技术的发展和市场需求的变化,ARM开始扩展到企业设备、服务器等领域,这要求其架构能够支持更大的内存和更复杂的计算任务。 2. 架构特点    ARMv8-A引入了Execution State(执行状
    丙丁先生 2025-01-12 10:30 466浏览
  • 随着通信技术的迅速发展,现代通信设备需要更高效、可靠且紧凑的解决方案来应对日益复杂的系统。中国自主研发和制造的国产接口芯片,正逐渐成为通信设备(从5G基站到工业通信模块)中的重要基石。这些芯片凭借卓越性能、成本效益及灵活性,满足了现代通信基础设施的多样化需求。 1. 接口芯片在通信设备中的关键作用接口芯片作为数据交互的桥梁,是通信设备中不可或缺的核心组件。它们在设备内的各种子系统之间实现无缝数据传输,支持高速数据交换、协议转换和信号调节等功能。无论是5G基站中的数据处理,还是物联网网关
    克里雅半导体科技 2025-01-10 16:20 444浏览
  •   在信号处理过程中,由于信号的时域截断会导致频谱扩展泄露现象。那么导致频谱泄露发生的根本原因是什么?又该采取什么样的改善方法。本文以ADC性能指标的测试场景为例,探讨了对ADC的输出结果进行非周期截断所带来的影响及问题总结。 两个点   为了更好的分析或处理信号,实际应用时需要从频域而非时域的角度观察原信号。但物理意义上只能直接获取信号的时域信息,为了得到信号的频域信息需要利用傅里叶变换这个工具计算出原信号的频谱函数。但对于计算机来说实现这种计算需要面对两个问题: 1.
    TIAN301 2025-01-14 14:15 108浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 523浏览
  • 数字隔离芯片是现代电气工程师在进行电路设计时所必须考虑的一种电子元件,主要用于保护低压控制电路中敏感电子设备的稳定运行与操作人员的人身安全。其不仅能隔离两个或多个高低压回路之间的电气联系,还能防止漏电流、共模噪声与浪涌等干扰信号的传播,有效增强电路间信号传输的抗干扰能力,同时提升电子系统的电磁兼容性与通信稳定性。容耦隔离芯片的典型应用原理图值得一提的是,在电子电路中引入隔离措施会带来传输延迟、功耗增加、成本增加与尺寸增加等问题,而数字隔离芯片的目标就是尽可能消除这些不利影响,同时满足安全法规的要
    华普微HOPERF 2025-01-15 09:48 83浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 498浏览
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 190浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 482浏览
  • PNT、GNSS、GPS均是卫星定位和导航相关领域中的常见缩写词,他们经常会被用到,且在很多情况下会被等同使用或替换使用。我们会把定位导航功能测试叫做PNT性能测试,也会叫做GNSS性能测试。我们会把定位导航终端叫做GNSS模块,也会叫做GPS模块。但是实际上他们之间是有一些重要的区别。伴随着技术发展与越发深入,我们有必要对这三个词汇做以清晰的区分。一、什么是GPS?GPS是Global Positioning System(全球定位系统)的缩写,它是美国建立的全球卫星定位导航系统,是GNSS概
    德思特测试测量 2025-01-13 15:42 492浏览
  • 食物浪费已成为全球亟待解决的严峻挑战,并对环境和经济造成了重大影响。最新统计数据显示,全球高达三分之一的粮食在生产过程中损失或被无谓浪费,这不仅导致了资源消耗,还加剧了温室气体排放,并带来了巨大经济损失。全球领先的光学解决方案供应商艾迈斯欧司朗(SIX:AMS)近日宣布,艾迈斯欧司朗基于AS7341多光谱传感器开发的创新应用来解决食物浪费这一全球性难题。其多光谱传感解决方案为农业与食品行业带来深远变革,该技术通过精确判定最佳收获时机,提升质量控制水平,并在整个供应链中有效减少浪费。 在2024
    艾迈斯欧司朗 2025-01-14 18:45 66浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦