软硬件双向驱动 英特尔加速AI on PC落地

E科讯 2023-08-30 14:27

       以ChatGPT、Claude2、Stable Diffusion、Midjourney等为代表的生成式AI崛起的背后,是大众用户亲眼看到了AI技术切实落地到了实际应用之中,并为工作、创作、创意带来前所未有的效率提升。它与AI1.0时代的卷积神经网络、深度学习等看起来就颇具技术门槛的核心技术相比,显然更接地气,更容易为大众所接受。

       毫无疑问,如今的我们正处在人工智能技术发展的关键阶段,它正在逐渐渗透到人类生活、工作、学习的方方面面。而生成式AI作为AI宏观体系中的一次大突破,正以惊人速度改变着自然语言处理、创意生成以及智能助手等领域的实践落地。而在这个过程中,英特尔作为半导体、软件、AI等技术领域的领导者和领先者,正以其强大的软硬件支持,为生成式AI的蓬勃发展构筑核心生态。

软硬件双向驱动 英特尔加速AI on PC落地

       ·硬件:AI普及的关键是让普通电脑也能轻松跑动各种大模型

       一般来说,绝大部分AI相关应用的着力点在GPU,因为它拥有强大的并行计算能力和浮点性能。但是此前在大湾区的一场技术分享会上,英特尔颠覆了我们对于AI计算硬件的认知。

通过构建BigDL-LLM库的方式,英特尔让ChatGPT这样的大语言模型顺利运行在了支持AI加速引擎的第12代和13代酷睿处理器平台上,并通过一系列优化使其速度达到了非常流畅的级别。即便是主打续航、便携能力的轻薄本,也能在16GB及以上内存容量平台中顺利运行最高达160亿参数的大语言模型。而让普普通通的笔记本电脑都能够顺利支持AI应用,这必然会为AI普及构筑出前所未有的坚实基础。

       此外,BigDL-LLM库不仅支持ChatGPT一种大语言模型,它还实现了对LLaMA/ LLaMA2、ChatGLM/ChatGLM2、MPT、Falcon、RedPajama等多个大语言模型的支持。而且英特尔还提供了易用的LangChain开源框架、Transformers神经网络API接口,并顺利支持Windows、Linux操作系统,从而为不同平台的开发者们也带来了巨大便利。

软硬件双向驱动 英特尔加速AI on PC落地

       此外别忘了,英特尔现在也是高性能GPU领域的参与者,旗下的锐炫GPU不仅拥有应用于大型数据中心、服务器领域的产品,在消费市场落地的锐炫A系列显卡同样能够为生成式AI应用提供可靠的算力支持。因此在Stable Diffusion、Midjourney这样的需要GPU算力的图像生成式AI应用领域,英特尔同样能够提供“专业对口”的硬件支持。如台式机端的13代酷睿i7-13700K处理器加上锐炫A770独显,就能够非常高效地运行Stable Diffusion。

       ·软件:积极拥抱AI社区通过软件优化提升AI应用体验

       如果说硬件为应用落地构建了基础,那么软件就是如何在基础之上构建高楼,而软件层面的优化,则是考虑如何让“高楼”从毛坯变成精装。

       一直以来,英特尔在软件领域的投入都十分令人瞩目。通过精心构建软件生态,优化模型性能,英特尔为生成式AI在个人电脑端的应用创造了有利条件。

       英特尔积极拥抱AI社区,通过基于OpenVINO PyTorch后端的方案,使得开源模型能够在英特尔的客户端处理器、集成显卡、独立显卡和专用AI引擎上顺畅运行。

       同样以生成式AI应用中最火的图形视觉领域为例,英特尔开发了一套专门的AI框架,它可以在开启OpenVINO加速的情况下,仅通过一行代码的安装,就可以加速PyTorch模型运行。此时,就可以让Stable Diffusion Automatic1111 WebUI在集成显卡和锐炫独立显卡上流畅运行。

软硬件双向驱动 英特尔加速AI on PC落地

       我们在一台13代酷睿i7-13700H处理器+锐炫Xe核显机器上试着让Stable Diffusion生成一张图片,所提的需求并未太过复杂,总体耗时为44秒,完成速度算是相当快的了,毕竟这是在移动平台的核显上做的图片渲染和生成。

软硬件双向驱动 英特尔加速AI on PC落地

软硬件双向驱动 英特尔加速AI on PC落地

       目前,单单是96EU的锐炫Xe核显,就可以支持在Stable Diffusion上运行FP16精度的模型,从而快速生成高质量图片,为内容创作、视觉创意提供便利。

       从这一案例可以看出,无论是文字生成图片还是图片生成图片,英特尔通过软件优化、模型优化,将模型对硬件资源的需求尽可能降到最低,从而提升模型的推断速度,确保那些以往需要高性能显卡才能运行的开源模型能够在个人电脑上也能高效运行,这对于AI应用普及同样是意义非凡。

       ·英特尔大语言模型应用落地12代、13代酷睿电脑全部支持

       在8月18日举办的大湾区技术分享会上,英特尔还进一步展示了其软硬件体系在大语言模型应用方面的实际表现。通过集成了ChatGLM2、LLa MA2和Star Coder三个大语言模型的英特尔大语言模型应用Demo,成功展示了这些大语言模型在中文和英文应用方面的表现。

       比如我们通过它询问了“AI在PC领域上的应用”,它的首次响应延迟只有215.3ms,也就是在提交问题到AI识别问题,再到开始生成问题答案的过程只有215.3ms,可以说是非常迅速。

软硬件双向驱动 英特尔加速AI on PC落地

       此外可以看到,这款软件集成了中文、英文、代码三种语言环境,对应功能的指向性也很明确。聊天、情感分析、中文翻译、故事创作等等,可以说是涵盖了大语言模型的常见应用。这样的分类可以帮助用户更加明确地向AI提出需求,而如何明确、正确提出需求,本身也是目前AI应用中的难点之一。

       我们也试着向AI提出了“和女朋友吵架了怎么哄她”的情感分析需求,首次响应时间为249.8ms,比上一个问题响应慢一些,可见和女朋友的情感问题摆在AI面前,它也需要多加思考一番。

软硬件双向驱动 英特尔加速AI on PC落地

       英特尔借助软件端优化和量化操作,使得大语言模型在进行回答时能够以非常快的速度生成答案,并且不影响整机使用流畅性,这同样也是AI应用普及的重要一步。目前英特尔已经发布了这套Demo,任何搭载英特尔12代和13代酷睿的电脑都可以直接安装并进行体验。

       ·英特尔:AI on PC的核心赋能者

       英特尔不仅仅是AI技术的提供者,更是让AI on PC从“PPT”走向实际落地的核心赋能者。

       借助支持AI加速引擎的12代、13代酷睿处理器,借助具备高效浮点性能的锐炫GPU等强力硬件,并且快速推出英特尔大语言模型应用Demo以及通过后端优化和OpenVINO加速来更好地支持Stable Diffusion图形视觉领域的AI应用,AI借助PC实现全面普及只是时间问题。

       现阶段,大众用户对于生成式AI应用的使用意愿极为强烈,因为它确实能够解决很多实际问题。如提升办公效率、提供辅助设计和创意理念等等,这些应用能够彻底改变人类现阶段的工作、生活方式,激发人们在创作、创意层面的灵感,而硬件性能强大的电脑无疑是最佳载体。

       除了已经发布的第12代与13代酷睿之外,英特尔下一代Meteor Lake处理器也将进一步强化对于AI的底层支持,专门设计的NPU将为AI应用带来更加高效的体验。

       在生成式AI集中落地的大潮中,英特尔是一个不可或缺的关键因素。从强劲性能的硬件支持到模型优化的软件技术,英特尔为生成式AI的发展提供了全方位支持。在英特尔的引领下,生成式AI与PC将实现惊人的化学反应,为人类带来更智能、更富创意PC使用体验。


      文章来源:中关村在线

E科讯 专注英特尔发展
评论
  • 车身域是指负责管理和控制汽车车身相关功能的一个功能域,在汽车域控系统中起着至关重要的作用。它涵盖了车门、车窗、车灯、雨刮器等各种与车身相关的功能模块。与汽车电子电气架构升级相一致,车身域发展亦可以划分为三个阶段,功能集成愈加丰富:第一阶段为分布式架构:对应BCM车身控制模块,包含灯光、雨刮、门窗等传统车身控制功能。第二阶段为域集中架构:对应BDC/CEM域控制器,在BCM基础上集成网关、PEPS等。第三阶段为SOA理念下的中央集中架构:VIU/ZCU区域控制器,在BDC/CEM基础上集成VCU、
    北汇信息 2025-01-03 16:01 136浏览
  • 从无到有:智能手机的早期探索无线电话装置的诞生:1902 年,美国人内森・斯塔布菲尔德在肯塔基州制成了第一个无线电话装置,这是人类对 “手机” 技术最早的探索。第一部移动手机问世:1938 年,美国贝尔实验室为美国军方制成了世界上第一部 “移动” 手机。民用手机的出现:1973 年 4 月 3 日,摩托罗拉工程师马丁・库珀在纽约曼哈顿街头手持世界上第一台民用手机摩托罗拉 DynaTAC 8000X 的原型机,给竞争对手 AT&T 公司的朋友打了一个电话。这款手机重 2 磅,通话时间仅能支持半小时
    Jeffreyzhang123 2025-01-02 16:41 156浏览
  • 国际标准IPC 标准:IPC-A-600:规定了印刷电路板制造过程中的质量要求和验收标准,涵盖材料、外观、尺寸、焊接、表面处理等方面。IPC-2221/2222:IPC-2221 提供了用于设计印刷电路板的一般原则和要求,IPC-2222 则针对高可靠性电子产品的设计提供了进一步的指导。IPC-6012:详细定义了刚性基板和柔性基板的要求,包括材料、工艺、尺寸、层次结构、特征等。IPC-4101:定义了印刷电路板的基板材料的物理和电气特性。IPC-7351:提供了元件封装的设计规范,包括封装尺寸
    Jeffreyzhang123 2025-01-02 16:50 177浏览
  • 在科技飞速发展的今天,机器人已经逐渐深入到我们生活和工作的各个领域。从工业生产线上不知疲倦的机械臂,到探索未知环境的智能探测机器人,再到贴心陪伴的家用服务机器人,它们的身影无处不在。而在这些机器人的背后,C 语言作为一种强大且高效的编程语言,发挥着至关重要的作用。C 语言为何适合机器人编程C 语言诞生于 20 世纪 70 年代,凭借其简洁高效、可移植性强以及对硬件的直接操控能力,成为机器人编程领域的宠儿。机器人的运行环境往往对资源有着严格的限制,需要程序占用较少的内存和运行空间。C 语言具有出色
    Jeffreyzhang123 2025-01-02 16:26 140浏览
  •  在这个日新月异的科技时代,智能家居正以前所未有的速度融入我们的日常生活,从智能灯光到温控系统,从安防监控到语音助手,每一处细节都透露着科技的温度与智慧。而在这场智能化浪潮中,一个看似不起眼却至关重要的组件——晶体管光耦,正扮演着连接物理世界与数字世界的隐形桥梁角色,默默推动着智能家居行业的发展与革新。 晶体管光耦——智能家居的“神经递质”晶体管光耦,作为一种能够将电信号转换为光信号,再通过光信号控制另一侧电路开关的电子元器件,其独特的工作原理使得它在隔离传输、抗干扰及保护电
    晶台光耦 2025-01-02 16:19 129浏览
  • 在快速发展的能源领域,发电厂是发电的支柱,效率和安全性至关重要。在这种背景下,国产数字隔离器已成为现代化和优化发电厂运营的重要组成部分。本文探讨了这些设备在提高性能方面的重要性,同时展示了中国在生产可靠且具有成本效益的数字隔离器方面的进步。什么是数字隔离器?数字隔离器充当屏障,在电气上将系统的不同部分隔离开来,同时允许无缝数据传输。在发电厂中,它们保护敏感的控制电路免受高压尖峰的影响,确保准确的信号处理,并在恶劣条件下保持系统完整性。中国国产数字隔离器经历了重大创新,在许多方面达到甚至超过了全球
    克里雅半导体科技 2025-01-03 16:10 83浏览
  • 【工程师故事】+半年的经历依然忧伤,带着焦虑和绝望  对于一个企业来说,赚钱才是第一位的,对于一个人来说,赚钱也是第一位的。因为企业要活下去,因为个人也要活下去。企业打不了倒闭。个人还是要吃饭的。企业倒闭了,打不了从头再来。个人失业了,面对的不仅是房贷车贷和教育,还有找工作的焦虑。企业说,一个公司倒闭了,说明不了什么,这是正常的一个现象。个人说,一个中年男人失业了,面对的压力太大了,焦虑会摧毁你的一切。企业说,是个公司倒闭了,也不是什么大的问题,只不过是这些公司经营有问题吧。
    curton 2025-01-02 23:08 235浏览
  • 影像质量应用于多个不同领域,无论是在娱乐、医疗或工业应用中,高质量的影像都是决策的关键基础。清晰的影像不仅能提升观看体验,还能保证关键细节的准确传达,例如:在医学影像中,它对诊断结果有着直接的影响!不仅如此,影像质量还影响了:▶ 压缩技术▶ 存储需求▶ 传输效率随着技术进步,影像质量的标准不断提高,对于研究与开发领域,理解并提升影像质量已成为不可忽视的重要课题。在图像处理的过程中,硬件与软件除了各自扮演着不可或缺的基础角色,有效地协作能够确保图像处理过程既高效又具有优异的质量。软硬件各扮演了什么
    百佳泰测试实验室 2025-01-03 10:39 85浏览
  • 本文继续介绍Linux系统查看硬件配置及常用调试命令,方便开发者快速了解开发板硬件信息及进行相关调试。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。查看系统版本信息查看操作系统版本信息root@ido:/# cat /etc/*releaseDISTRIB_ID=UbuntuDISTRIB_RELEASE=20.04DISTRIB_CODENAME=focalDIS
    Industio_触觉智能 2025-01-03 11:37 99浏览
  • 物联网(IoT)的快速发展彻底改变了从智能家居到工业自动化等各个行业。由于物联网系统需要高效、可靠且紧凑的组件来处理众多传感器、执行器和通信设备,国产固态继电器(SSR)已成为满足中国这些需求的关键解决方案。本文探讨了国产SSR如何满足物联网应用的需求,重点介绍了它们的优势、技术能力以及在现实场景中的应用。了解物联网中的固态继电器固态继电器是一种电子开关设备,它使用半导体而不是机械触点来控制负载。与传统的机械继电器不同,固态继电器具有以下优势:快速切换:确保精确快速的响应,这对于实时物联网系统至
    克里雅半导体科技 2025-01-03 16:11 129浏览
  • 自动化已成为现代制造业的基石,而驱动隔离器作为关键组件,在提升效率、精度和可靠性方面起到了不可或缺的作用。随着工业技术不断革新,驱动隔离器正助力自动化生产设备适应新兴趋势,并推动行业未来的发展。本文将探讨自动化的核心趋势及驱动隔离器在其中的重要角色。自动化领域的新兴趋势智能工厂的崛起智能工厂已成为自动化生产的新标杆。通过结合物联网(IoT)、人工智能(AI)和机器学习(ML),智能工厂实现了实时监控和动态决策。驱动隔离器在其中至关重要,它确保了传感器、执行器和控制单元之间的信号完整性,同时提供高
    腾恩科技-彭工 2025-01-03 16:28 129浏览
  • 前言近年来,随着汽车工业的快速发展,尤其是新能源汽车与智能汽车领域的崛起,汽车安全标准和认证要求日益严格,应用范围愈加广泛。ISO 26262和ISO 21448作为两个重要的汽车安全标准,它们在“系统安全”中扮演的角色各自不同,但又有一定交集。在智能网联汽车的高级辅助驾驶系统(ADAS)应用中,理解这两个标准的区别及其相互关系,对于保障车辆的安全性至关重要。ISO 26262:汽车功能安全的基石如图2.1所示,ISO 26262对“功能安全”的定义解释为:不存在由于电子/电气系统失效引起的危害
    广电计量 2025-01-02 17:18 197浏览
  • 在测试XTS时会遇到修改产品属性、SElinux权限、等一些内容,修改源码再编译很费时。今天为大家介绍一个便捷的方法,让OpenHarmony通过挂载镜像来修改镜像内容!触觉智能Purple Pi OH鸿蒙开发板演示。搭载了瑞芯微RK3566四核处理器,树莓派卡片电脑设计,支持开源鸿蒙OpenHarmony3.2-5.0系统,适合鸿蒙开发入门学习。挂载镜像首先,将要修改内容的镜像传入虚拟机当中,并创建一个要挂载镜像的文件夹,如下图:之后通过挂载命令将system.img镜像挂载到sys
    Industio_触觉智能 2025-01-03 11:39 89浏览
  • 光耦合器,也称为光隔离器,是一种利用光在两个隔离电路之间传输电信号的组件。在医疗领域,确保患者安全和设备可靠性至关重要。在众多有助于医疗设备安全性和效率的组件中,光耦合器起着至关重要的作用。这些紧凑型设备经常被忽视,但对于隔离高压和防止敏感医疗设备中的电气危害却是必不可少的。本文深入探讨了光耦合器的功能、其在医疗应用中的重要性以及其实际使用示例。什么是光耦合器?它通常由以下部分组成:LED(发光二极管):将电信号转换为光。光电探测器(例如光电晶体管):检测光并将其转换回电信号。这种布置确保输入和
    腾恩科技-彭工 2025-01-03 16:27 117浏览
  • Matter加持:新世代串流装置如何改变智能家居体验?随着现在智能家庭快速成长,串流装置(Streaming Device,以下简称Streaming Device)除了提供更卓越的影音体验,越来越多厂商开始推出支持Matter标准的串流产品,使其能作为智能家庭中枢,连结多种智能家电。消费者可以透过Matter的功能执行多样化功能,例如:开关灯、控制窗帘、对讲机开门,以及操作所有支持Matter的智能家电。此外,再搭配语音遥控器与语音助理,打造出一个更加智能、便捷的居家生活。支持Matter协议
    百佳泰测试实验室 2025-01-03 10:29 105浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦