英特尔重大利好

集成电路IC 2024-10-09 10:47
根据最新的报道,Inflection AI 透露其最新企业平台将放弃 Nvidia GPU,转而采用英特尔的 Gaudi 3 加速器。

英特尔表示:“虽然 Inflection AI 的 Pi 客户应用程序之前是在 Nvidia GPU 上运行的,但 Inflection 3.0 将由 Gaudi 3 提供支持,实例位于本地或由 [Tiber] AI Cloud 提供支持的云端。”

Inflection AI 于 2022 年成立,是一家模型构建公司,开发了一款名为 Pi 的对话式个人助理。然而,随着主要创始人 Mustafa Suleyman 和 Karén Simonyan 今年春天离开微软,这家初创公司已将重点转向使用他们的数据为企业构建定制的微调模型。

该初创公司平台的最新版本——Inflection 3.0——旨在利用其专有数据集对其模型进行微调,以构建整个企业特定的 AI 应用程序。英特尔本身将是首批采用该服务的客户之一,这确实让我们怀疑 Inflection 是否会为加速器支付全价。

虽然 Inflection 将在 Gaudi 3 加速器上运行该服务,但它似乎不会很快投入使用。与托管在 Azure 中的 Inflection 2.5 类似,最新版本将在英特尔的 Tiber AI Cloud 服务上运行。

然而,该公司确实看到了对物理基础设施的需求,至少对于那些宁愿将数据保留在本地的客户来说是这样。从 2025 年第一季度开始,Inflection 计划提供基于英特尔 AI 加速器的物理系统。

我们要注意的是,虽然这家人工智能初创公司正在使用 Gaudi 3 加速器来支持其企业平台,但这并不意味着客户必须使用它们来运行完成的模型。

AI 模型和软件开发并不便宜,与 Nvidia 的 H100 相比,英特尔的 Gaudi 3 相对便宜。“通过在英特尔上运行 Inflection 3.0,我们看到性价比提高了 2 倍……与目前的竞争产品相比,”Inflection AI 首席执行官 Sean White周一在一篇博客文章中写道。

至少从纸面上看,Gaudi 3 不仅有望比 Nvidia 的 H100 更快地进行训练和推理,而且更便宜。

Habana Lab 的 Gaudi 3 加速器于 4 月份在英特尔视觉大会上发布,拥有128 GB HBM2e 内存,可提供 3.7 Tbps 的带宽和 1,835 teraFLOPS 的密集 FP8 或 BF16 性能。

虽然在 8 位精度下它大致与 H100 相当,但在 16 位精度下,它提供了几乎两倍的密集浮点性能,这对于 Inflection 所针对的训练和微调工作负载来说有很大不同。

英特尔是人工智能领域的弱势一方,该芯片的主流上市时间与 Nvidia 的Blackwell和 AMD 288GB MI325X GPU的发布时间不匹配,这两款 GPU 都将于第四季度上市。因此,英特尔对其加速器的定价相当激进。

今年春季的台北国际电脑展上,英特尔首席执行官帕特·基辛格 (Pat Gelsinger) 表示,英特尔透露,配备八个加速器的单个 Gaudi 3 系统的成本仅为 125,000 美元,约为同等 H100 系统的三分之二。

Inflection 并不是英特尔近期取得的唯一胜利。今年 8 月,蓝色巨人宣布将在 IBM Cloud 中部署英特尔的 Gaudi 3 加速器,预计于 2025 年初投入使用。

未来,IBM 计划将对 Gaudi 3 的支持扩展到其 watsonx AI平台。与此同时,英特尔告诉El Reg,该加速器已经开始向包括戴尔科技和超微在内的 OEM 发货。

虽然让主要 OEM 认真对待 Gaudi 对英特尔来说是一个胜利,但该平台的未来却充满不确定性。正如我们之前报道的那样,Gaudi 3 是 Habana-Labs 开发的加速器的最后一次欢呼。

从明年开始,Gaudi 将让位于名为 Falcon Shores 的 GPU,它将融合英特尔的 Xe 图形 DNA 与 Habana 的化学特性,从而引发有关迁移路径的可以理解的问题。

英特尔一直坚称,对于使用 PyTorch 等高级框架进行编码的客户来说,迁移将基本无缝。对于那些在较低级别构建 AI 应用程序的人,该芯片制造商承诺在 Falcon Shores 首次亮相之前提供更多指导。



GPU季度出货,依然惊人




超级微电脑周一表示,目前每季度的图形处理器出货量超过 100,000 个,并推出了一套新的液体冷却产品,这使得这家 AI 服务器制造商的股价在连续数周的低迷之后上涨了约 14%。

生成人工智能技术的蓬勃发展,推动了对处理 genAI 所用大量数据所需硬件的需求,从而帮助了超微公司,该公司生产的服务器采用了包括 Nvidia (NVDA.O)在内的领先 AI 芯片。

超微在一份声明中表示,该公司“最近为一些有史以来最大的 AI 工厂部署了超过 100,000 个带有液体冷却解决方案 (DLC) 的 GPU”。

如果涨势持续下去,超微公司的市值将增加 30 多亿美元。

该公司因其液体冷却技术而广受好评,该技术比一些数据中心使用的空气冷却技术更节能。

周一的上涨让超微公司的投资者松了一口气,此前该公司股价因越来越多的麻烦而遭受重创,其中包括兴登堡研究公司 (Hindenburg Research) 在 8 月份披露持有该公司的空头头寸。

市场研究公司 Ortex 估计,超微公司的空头持仓仅占其流通股的 20% 多一点,价值约为 35.9 亿美元。

Ortex 表示:“这是否与卖空者试图回购股票有关现在还难以下结论,但以目前的价格来看,卖空者正在遭受短期损失,并可能选择平仓。”他指出,这可能增加该股当日的涨幅。

超微公司的股价在过去两周内下跌了 9% 以上,但今年以来仍上涨了 66% 以上,受益于华尔街蓬勃发展的与人工智能相关的“镐和铲子”交易。

该公司还推出了一系列新的 DLC 产品,可实现“最高每机架 GPU 密度”,每机架最多可容纳 96 个 Nvidia B200 芯片。

eMarketer 高级人工智能和技术分析师 Gadjo Sevilla 表示:“基础设施能源节省高达 40%,空间节省高达 80%,这对于大型、耗电的人工智能部署来说是一个巨大的创新,并且可能是与竞争对手的关键区别因素。”



英特尔,还有好消息




最近,英特尔还发布了一款 128 核 Granite Rapids Xeon 6 处理器,这将给竞争对手AMD带来巨大威胁。

这是因为英特尔和 AMD 会鼓励你把很多鸡蛋放在他们的多核篮子里。我听说这两家公司都认为,72 到 128 核的 6900P 处理器系列、144 核的 Sierra Forrest Xeon 6、承诺的 288 核怪兽 Xeon 以及即将推出的192 核 Turin Epyc等产品通过将更多核心装入一台机器,为新一轮的服务器整合提供了机会。

芯片制造商建议,用运行其巨型硅片的机器替换您当前的服务器,将释放多达一半的机架空间并削减您的电费。他们几乎唤起了这样一个时刻:数据中心运营人员采用这项新技术后,将享受工作出色、地球得到保护和奖金丰厚的喜悦。

你不必这样做。如果你不想这样做,那就坚持下去。许多组织已经对适度的硬件进行了标准化,并且做得很好。但如果老板在航空杂志上读到新一轮服务器整合的机会,请让他们考虑一些事项。

一是风险集中:多核服务器可以运行如此多的工作负载,其故障将是灾难性的。是的,故障转移到另一台服务器是一门成熟的艺术。

制造内存仍然是一个不确定的过程,这就是它仍然如此昂贵的原因。运行数百个内核的服务器将需要大量 RAM 来处理其运行的所有工作负载,而这些内存最终的成本将高于服务器本身。

这或许可以解释为何内存制造商美光公司对多核服务器推动其产品需求的前景如此兴奋。

但是,如果您购买的服务器内存塞满,利用率却很低,首席财务官们就不会兴奋了,因此当您的其他配备多核的服务器出现故障时,他们有足够的容量来执行 DR 任务。

接下来,考虑一下您的 DR 设备是否已设置为快速处理 128 个核心的工作负载。故障转移和 VM 远程传送技术(如 VMware 的 vMotion)仍然几乎是奇迹。但是,您为当前设备构建的 DR 实践在移动更多数据时可能效果不佳。数据保护和存储供应商会声称他们已经做好准备,但他们的参考架构无法经受住与敌人的接触。

还要检查您的软件许可证。您的软件供应商是否允许您为比您使用的机箱中更少的核心付费?有些供应商不允许在裸机上付费,或者坚持虚拟机的最低核心数。您需要仔细规划,以确保这些大型新机箱不会使许可变得复杂。

还要考虑的是,处理这种规模的硬件风险并不是许多组织的核心竞争力。

但我能想到一些绝对必要的公司:AWS、微软、谷歌、甲骨文、阿里巴巴和少数其他超大规模公司。

这些组织可以大批量购买服务器,并且知道如何在不占用资金的情况下让服务器收回成本。他们还精通弹性和冗余,并在定价和计划中考虑了预测的硬件故障率。

匹配它们不是你的工作。你信任的托管服务提供商也不能管理你的托管或小型云。

因此,超大规模云是多核机器的自然目的地,它看起来不像是新一波的整合机会,而更像是将你拉入云中的一股潮流。

我们逐渐认识到云环境会带来成本不确定性和锁定风险。

集成电路IC 想陪你一起,目睹这个充满变化的时代
评论
  • 在强调可移植性(portable)的年代,人称「二合一笔电」的平板笔电便成为许多消费者趋之若鹜的3C产品。说到平板笔电,不论是其双向连接设计,面板与键盘底座可分离的独特功能,再加上兼具笔电模式、平板模式、翻转模式及帐篷模式等多种使用方式,让使用者在不同的使用情境下都能随意调整,轻巧灵活的便利性也为多数消费者提供了绝佳的使用体验。然而也正是这样的独特设计,潜藏着传统笔电供货商在产品设计上容易忽视的潜在风险。平板笔电Surface Pro 7+ 的各种使用模式。图片出处:Microsoft Comm
    百佳泰测试实验室 2024-12-19 17:40 164浏览
  • 百佳泰特为您整理2024年12月各大Logo的最新规格信息。——————————USB▶ 百佳泰获授权进行 USB Active Cable 认证。▶ 所有符合 USB PD 3.2 标准的产品都有资格获得USB-IF 认证——————————Bluetooth®▶ Remote UPF Testing针对所有低功耗音频(LE Audio)和网格(Mesh)规范的远程互操作性测试已开放,蓝牙会员可使用该测试,这是随时测试产品的又一绝佳途径。——————————PCI Express▶ 2025年
    百佳泰测试实验室 2024-12-20 10:33 96浏览
  • 沉寂已久的无人出租车赛道,在2024年突然升温了。前脚百度旗下萝卜快跑,宣布无人驾驶单量突破800万单;后脚特斯拉就于北京时间10月11日上午,召开了以“We,Robot”为主题的发布会,公布了无人驾驶车型Cybercab和Robovan,就连低调了好几个月的滴滴也在悄悄扩编,大手笔加码Robotaxi。不止是滴滴、百度、特斯拉,作为Robotaxi的重磅选手,文远知行与小马智行,也分别在10月份先后启动美股IPO,极氪也在近日宣布,其与Waymo合作开发的无人驾驶出行汽车将大规模量产交付,无人
    刘旷 2024-12-19 11:39 135浏览
  • 耳机虽看似一个简单的设备,但不仅只是听音乐功能,它已经成为日常生活和专业领域中不可或缺的一部分。从个人娱乐到专业录音,再到公共和私人通讯,耳机的使用无处不在。使用高质量的耳机不仅可以提供优良的声音体验,还能在长时间使用中保护使用者听力健康。耳机产品的质量,除了验证产品是否符合法规标准,也能透过全面性的测试和认证过程,确保耳机在各方面:从音质到耐用性,再到用户舒适度,都能达到或超越行业标准。这不仅保护了消费者的投资,也提升了该公司在整个行业的产品质量和信誉!客户面临到的各种困难一家耳机制造商想要透
    百佳泰测试实验室 2024-12-20 10:37 138浏览
  •         在上文中,我们介绍了IEEE 802.3cz[1]协议提出背景,旨在定义一套光纤以太网在车载领域的应用标准,并介绍了XMII以及PCS子层的相关机制,在本篇中,将围绕IEEE 802.3cz-MultiGBASE-AU物理层的两个可选功能进行介绍。EEE功能        节能以太网(Energy-Efficient Ethernet)是用于在网络空闲时降低设备功耗的功能,在802.3cz的定义中,链
    经纬恒润 2024-12-19 18:47 78浏览
  • 随着工业自动化和智能化的发展,电机控制系统正向更高精度、更快响应和更高稳定性的方向发展。高速光耦作为一种电气隔离与信号传输的核心器件,在现代电机控制中扮演着至关重要的角色。本文将详细介绍高速光耦在电机控制中的应用优势及其在实际工控系统中的重要性。高速光耦的基本原理及优势高速光耦是一种光电耦合器件,通过光信号传递电信号,实现输入输出端的电气隔离。这种隔离可以有效保护电路免受高压、电流浪涌等干扰。相比传统的光耦,高速光耦具备更快的响应速度,通常可以达到几百纳秒到几微秒级别的传输延迟。电气隔离:高速光
    晶台光耦 2024-12-20 10:18 121浏览
  • ​本文介绍PC电脑端运行VMware环境下,同时烧录固件检测不到设备的解决方法。触觉智能Purple Pi OH鸿蒙开发板演示,搭载了瑞芯微RK3566芯片,类树莓派设计,Laval官方社区主荐,已适配全新OpenHarmony5.0 Release系统!PC端烧录固件时提示没有发现设备按照各型号烧录手册中进入loader模式的操作方法,让开发板连接到PC端。正常来说开发板烧录时会显示“发现一个LOADER设备”,异常情况下,会提示“没有发现设备”,如下图所示: 解决步骤当在烧录系统固
    Industio_触觉智能 2024-12-18 18:07 79浏览
  • //```c #include "..\..\comm\AI8051U.h"  // 包含头文件,定义了硬件寄存器和常量 #include "stdio.h"              // 标准输入输出库 #include "intrins.h"         &n
    丙丁先生 2024-12-20 10:18 79浏览
  • By Toradex秦海1). 简介为了保证基于 IEEE 802.3 协议设计的以太网设备接口可以互相兼容互联互通,需要进行 Ethernet Compliance 一致性测试,相关的技术原理说明请参考如下文章,本文就不赘述,主要展示基于 NXP i.MX8M Mini ARM 处理器平台进行 1000M/100M/10M 以太网端口进行一致性测试的测试流程。https://www.toradex.com
    hai.qin_651820742 2024-12-19 15:20 138浏览
  •         不卖关子先说感受,真本书真是相见恨晚啊。字面意思,见到太晚了,我刚毕业或者刚做电子行业就应该接触到这本书的。我自己跌跌撞撞那么多年走了多少弯路,掉过多少坑,都是血泪史啊,要是提前能看到这本书很多弯路很多坑都是可以避免的,可惜这本书是今年出的,羡慕现在的年轻人能有这么丰富完善的资料可以学习,想当年我纯靠百度和论坛搜索、求助啊,连个正经师傅都没有,从软件安装到一步一布操作纯靠自己瞎摸索,然后就是搜索各种教程视频,说出来都是泪啊。  &
    DrouSherry 2024-12-19 20:00 82浏览
  • You are correct that the length of the via affects its inductance. Not only the length of the via, but also the shape and proximity of the return-current path determines the inductance.   For example, let's work with a four-layer board h
    tao180539_524066311 2024-12-18 15:56 127浏览
  • 由于该文反应热烈,受到了众多工程师的关注,衷心感谢广大优秀工程师同仁的建言献策。特针对该技术点更新一版相关内容! 再次感谢大家的宝贵建议!填充铜(Solid Copper)和网格铜(Hatched Copper)是PCB设计中两种不同的铺铜方式,它们在电气性能、热管理、加工工艺和成本方面存在一些区别:1. 电气性能:填充铜:提供连续的导电层,具有极低的电阻和最小的电压降。适合大电流应用,并能提供优秀的电磁屏蔽效果,显著提高电磁兼容性。网格铜:由于铜线之间存在间隔,电阻相对较高,电压降也
    为昕科技 2024-12-18 17:11 133浏览
  • 汽车驾驶员监控系统又称DMS,是一种集中在车辆中的技术,用于实时跟踪和评估驾驶员状态及驾驶行为。随着汽车产业智能化转型,整合AI技术的DMS逐渐成为主流,AI模型通过大量数据进行持续训练,使得驾驶监控更加高效和精准。 驾驶员监测系统主要通过传感器、摄像头收集驾驶员的面部图像,定位头部姿势、人脸特征及行为特征,并通过各种异常驾驶行为检测模型运算来识别驾驶员的当前状态。如果出现任何异常驾驶行为(如疲劳,分心,抽烟,接打电话,无安全带等),将发出声音及视觉警报。此外,驾驶员的行为数据会被记录
    启扬ARM嵌入式 2024-12-20 09:14 79浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦