英特尔至强处理器助力Aible加速生成式AI工作负载

知IN 2024-06-30 09:30


对于需要运行生成式AI工作负载的企业来说,基于英特尔至强处理器的Aible无服务器解决方案可帮助其降低成本、提高智能化,并有效提升RAG及微调效率。


近日,英特尔与端到端Serverless(无服务器)生成式AI和增强型分析方案提供商Aible合作,为企业客户提供了创新的解决方案,助力其在不同代际的英特尔®至强® CPU上运行生成式AI与检索增强生成(RAG)用例。此次合作包含了工程优化和基准测试项目,显著增强了Aible以低成本为企业客户提供生成式AI结果的能力,并帮助开发人员在应用中部署AI。在双方的通力合作下,该可扩展、高效的AI解决方案可通过高性能硬件帮助客户迎接AI挑战。



英特尔至强处理器



现在,客户正在寻求高效的企业级解决方案以充分释放AI潜力。我们与Aible的合作,也表明了英特尔正与行业紧密协作,推动AI创新,降低客户使用英特尔至强处理器运行最新生成式AI工作负载的门槛。


——Mishali Naik

英特尔数据中心与人工智能事业部

高级首席工程师



至强处理器的生成式AI性能:


Aible的解决方案展示了CPU如何显著提升从运行语言模型至RAG的一系列最新AI工作负载性能。基于针对英特尔处理器的优化,Aible技术采用高效、智能的“端到端无服务器”方法,仅在产生用户请求时才会进行资源消耗。例如,基于用户查询,向量数据库仅需几秒即可激活并检索相关信息,而语言模型同样只需简单启动即可处理并响应用户请求,这种按需操作的运行模式有助于企业降低总拥有成本(TCO)。


虽然在多数情况下,RAG功能需通过利用GPU和加速器的并行处理能力来实现,但Aible的无服务器技术与英特尔至强处理器相结合,可使RAG用例完全由CPU来驱动。性能数据显示,多款不同代际的英特尔至强处理器均可高效运行RAG工作负载。



配置详细信息如图,结果可能会有不同


重要意义:


Aible通过无服务器的方式使用CPU,可在多个客户之间更为安全地共享底层计算资源,从而帮助客户有效降低生成式AI项目的运营成本。这种降低成本的方式可以类比为用户仅需在使用时购买电力,而非直接租赁发电机。此外,随着生成式AI需求的增长,性能优化和节能降耗变得愈发重要。Aible所提供的基于CPU的服务,为客户提供了一种经济、高效的解决方案。


根据Aible的基准测试分析,当客户采用基于CPU的无服务器解决方案运行RAG模型时,成本节省可高达55倍1。大幅降低的成本证明了Aible独家方法的有效性,同时这种无服务器的CPU采用方式也减少了通过共享服务或专用服务器构建更为昂贵的、基于GPU的基础设施需求。


此次英特尔及英特尔实验室与Aible的合作,共同优化了至强处理器上的AI工作负载。值得一提的是,通过优化Aible针对AVX-512的代码,Aible在至强处理器上实现了显著的性能及吞吐量提升,这也彰显了战略性的软件优化对于整体效率的影响。



在Aible平台的支持下,RAG模型与英特尔至强处理器的结合可推动以下应用落地:


● 自然语言处理(NLP)

 

● 推荐系统

 

● 决策支持系统

 

● 内容生成



英特尔与Aible的合作始于第四代至强处理器的发布。此后,双方针对至强处理器的AI工作负载、代码和库进行了一系列优化,并大幅提升了Aible的产品性能。


1 英特尔不控制或审计第三方数据。您可咨询其他来源以评估准确性。


配置详情

1节点,2x英特尔®至强® Platinum 8280L CPU,2.70GHz, 28核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 0 [0],DSA 0 [0],IAA 0 [0],QAT 0 [0],总内存384GB (12x32GB DDR4 2933 MT/s [2934 MT/s]),BIOS SE5C620.86B.02.01.0017.110620230543,微码0x5003604,2x以太网连接X722用于10GBASE-T,1x 894.3G英特尔SSDSC2KB96,1x 1.8T英特尔SSDPE2KX020T8,2x 3.7T英特尔SSDPE2KX040T8,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.04。基于英特尔03/07/24的测试。


1节点,2x英特尔®至强® Platinum 8462Y+,32核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 2 [0],DSA 2 [0],IAA 2 [0],QAT 2 [0],总内存512GB (16x32GB DDR5 4800 MT/s [4800 MT/s]),BIOS 05.12.00,微码0x2b0004d0,2x BCM57416 NetXtreme-E Dual-Media 10G RDMA以太网控制器,2x以太网控制器E810-C for QSFP,2x 3.5T三星MZQL23T8HCLS-00B7C,1x 1.8T三星MZ1L21T9HCLS-00A07,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.05。基于英特尔03/07/24的测试。


 1节点,2x英特尔®至强® PLATINUM 8562Y+,32核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 2 [0],DSA 2 [0],IAA 2 [0],QAT 2 [0],总内存512GB (16x32GB DDR5 5600 MT/s [5600 MT/s]),BIOS 3B05.TEL4P1,微码0x21000161,2x以太网控制器X710用于10GBASE-T,2x以太网控制器E810-C for QSFP,1x 894.3G英特尔SSDSC2KG96,1x 3.5T三星MZQL23T8HCLS-00A07,3x 3.5T三星MZQL23T8HCLS-00B7C,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.06。基于英特尔03/07/24的测试。




©英特尔公司,英特尔、英特尔logo及其它英特尔标识,是英特尔公司或其分支机构的商标。文中涉及的其它名称及品牌属于各自所有者资产。



相关资讯



/转载请注明出处/

知IN 一手、专业、有料! 知IN,英特尔中国自媒体,传递最新鲜的英特尔资讯,呈现最清晰的英特尔战略及业务进展,提供最前沿的洞察与趋势解读。
评论 (0)
  •   海上安全事件应急处置系统平台深度解析   一、平台概述   北京华盛恒辉海上安全事件应急处置系统平台融合现代信息技术、通信技术、GIS、大数据分析及 AI 等技术,旨在快速响应船舶碰撞、火灾、溢油等海上突发事件,实现科学决策与高效资源调配,保障海上生命财产安全、减少环境污染。   应用案例   目前,已有多个海上安全事件应急处置系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润海上安全事件应急处置系统。这些成功案例为海上安全事件应急处置系统的推广和应用提供了有力支持
    华盛恒辉l58ll334744 2025-04-21 15:21 26浏览
  •   电磁信号模拟平台解析   北京华盛恒辉电磁信号模拟平台作为模拟复杂电磁环境的系统,在无线通信、电子对抗等多领域广泛应用。以下从功能、技术特性、应用场景及发展趋势展开详细解读。   应用案例   目前,已有多个电磁信号模拟平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润电磁信号模拟平台。这些成功案例为电磁信号模拟平台的推广和应用提供了有力支持。   一、核心功能   复杂电磁环境建模:构建贴近真实的电磁环境,涵盖各类干扰因素。   多通道信号模拟:模拟多通道电磁信号
    华盛恒辉l58ll334744 2025-04-21 15:10 30浏览
  •   智慧华盛恒辉国有单位科研项目审计管理系统介绍   1、建设国有单位科研项目审计管理系统的重大意义   其深远意义体现在科研项目管理的核心环节,不仅关乎管理效能与成果质量的飞跃,还深刻影响着科研资金的优化配置、科研行为的规范性以及国家科技发展战略的顺利推进。   应用案例   目前,已有多个科研项目审计管理系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润科研项目审计管理系统。这些成功案例为科研项目审计管理系统的推广和应用提供了有力支持。   (1)强化科研项目管理的效
    华盛恒辉l58ll334744 2025-04-20 22:54 53浏览
  •   电磁环境模拟软件系统深度解读   北京华盛恒辉电磁环境模拟软件系统是专业的技术工具,可生成、捕捉与分析电磁信号,为电气和电子设备搭建仿真测试环境。以下从功能、技术特性、应用场景、主流软件及发展趋势展开介绍。   应用案例   目前,已有多个电磁环境模拟软件系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润电磁环境模拟软件系统。这些成功案例为电磁环境模拟软件系统的推广和应用提供了有力支持。   一、核心功能   电磁环境模拟   信号生成与处理   场景构建与仿真
    华盛恒辉l58ll334744 2025-04-21 10:21 82浏览
  •   国有单位科研项目审计管理系统解析   一、系统建设意义   北京华盛恒辉国有单位科研项目审计管理系统对科研项目管理至关重要,其意义贯穿管理效能提升、资金优化配置、科研合规推进等核心环节,深刻影响国家科技战略实施。   应用案例   目前,已有多个国有单位科研项目审计管理系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润国有单位科研项目审计管理系统。这些成功案例为国有单位科研项目审计管理系统的推广和应用提供了有力支持。   提升科研项目管理质效:作为数字化、智能化管理工
    华盛恒辉l58ll334744 2025-04-20 23:21 61浏览
  •   电磁环境模拟平台系统全解析   北京华盛恒辉电磁环境模拟平台系统是通过技术手段生成、调控和再现复杂电磁环境的专用设备,广泛应用于通信、电子、航空航天、国防等领域。其核心作用是为设备研发、测试和评估提供可控的电磁环境,验证系统在复杂电磁干扰下的性能与可靠性。   应用案例   目前,已有多个电磁环境模拟平台系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润电磁环境模拟平台系统。这些成功案例为电磁环境模拟平台系统的推广和应用提供了有力支持。   一、系统构成   信号发生
    华盛恒辉l58ll334744 2025-04-21 09:40 78浏览
  •   智慧华盛恒辉国有单位招标标书查重系统介绍   1、建设国有单位招标标书查重系统的重大意义   (1)保障招标过程的公正性与透明度   在国有单位复杂的招标环境中,标书查重系统犹如一把利剑,精准切割出公平竞争的道路。该系统利用自动化比对与检测技术,快速揭露投标文件中潜藏的相似或重复内容,有效遏制了围标、串标及抄袭等恶劣行为,为招标过程披上了一层公正与透明的外衣。这不仅减少了人为干预的空间,更保障了合法投标人的权益,维护了市场的健康秩序,让每一次招标都成为真正的实力较量。   应用案例
    华盛恒辉l58ll334744 2025-04-20 23:07 80浏览
  • 85RC16是一款铁电存储器(FRAM),具有低功耗、高耐久性、快速写入等优点。通过芯片文档,可以看到对比常用的eeprom它的一些优势与24C16的对比读写速度 :85RC16的读写速度更快,可达到与I2C总线速率相匹配的水平,没有像24C16那样的写操作延迟和页写限制,能够实现真正的随机字节写入,且不需要等待写周期完成,适合需要频繁、快速读写的应用场合。写入耐久性 :85RC16的写入耐久性更高,可承受的写入次数远超24C16,这使得其在需要频繁更新数据的应用中更具优势,使用寿命更长。功耗
    小手凉凉 2025-04-21 10:17 75浏览
  •   电磁信号模拟系统深度解析   一、系统概述   北京华盛恒辉电磁信号模拟系统作为半实物仿真测试系统,广泛应用于无线通信、军事训练等多领域。它通过软硬件结合,构建逼真电磁信号环境,用于测试电子设备在复杂电磁干扰下的性能表现。   应用案例   目前,已有多个电磁信号模拟系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润电磁信号模拟系统。这些成功案例为电磁信号模拟系统的推广和应用提供了有力支持。   二、系统组成   装备模型库:涵盖雷达、通信设备等各类装备平台及电子装
    华盛恒辉l58ll334744 2025-04-21 10:48 82浏览
  • 在智能家居与物联网(IoT)技术快速发展的背景下,语音播报功能已成为烟雾报警器等安防设备提升用户体验的核心技术之一。厂家凭借其WTV、WTN、WT588F及WT2605C系列语音芯片,推出了三大烟雾报警器语音方案,覆盖传统、高集成度与智能化需求,为不同场景提供灵活选择。以下从技术特性、应用场景及行业价值三方面展开分析。一、方案对比与技术特性 方案类型核心芯片型号技术优势局限性适用场景传统分立方案WTN6/WT588F/WTV系列音质纯净,模块化设计便于维护;兼容性强,支持外接功放优化音
    广州唯创电子 2025-04-21 08:53 91浏览
  • 一、市场背景与竞争优势随着智能家居市场的爆发式增长,消费者对小家电的智能化、交互性需求显著提升。WTVxxx系列语音芯片凭借高性价比、卓越音质与功能集成度,已成为智能小家电领域的核心驱动方案。该系列芯片通过以下优势重塑行业格局:成本优化:集成MCU、语音播报、驱动控制等多功能模块,显著降低硬件成本与开发复杂度;智能化升级:支持语音交互、状态显示与智能控制,契合现代用户对高端体验的追求;快速迭代:兼容主流芯片架构,支持远程更新与硬件扩展,助力产品持续迭代。目前,WTVxxx芯片已广泛应用于扫地机器
    广州唯创电子 2025-04-21 08:32 72浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦