AMD在6月13日的“AMD数据中心与人工智能技术首映会”上推出了大语言模型专用的最新加速卡Instinct MI300X芯片。MI300系列是AMD针对AI和高性能计算(HPC)的加速处理器(APU)加速器,其中MI300A是“基础款”,MI300X是硬件性能更高的“大模型优化款”。

电子工程专辑讯 AMD在6月13日的“AMD数据中心与人工智能技术首映会”上推出了大语言模型专用的最新加速卡Instinct MI300X芯片。MI300系列是AMD针对AI和高性能计算(HPC)的加速处理器(APU)加速器,其中MI300A是“基础款”,MI300X是硬件性能更高的“大模型优化款”。

据介绍,Instinct MI300A采用CDNA 3 GPU架构和24个Zen 4 CPU内核,配置128GB的HBM3内存和1个CDNA 3图形引擎,该芯片共包含1460亿个晶体管。相比前代MI250,MI300的性能提高八倍,效率提高五倍。 

Instinct MI300X是针对大语言模型(LLM)专用,包含12个小芯片,1530亿个晶体管,192GB的HBM3内存,内存带宽达到5.2TB/s。对比英伟达的H100芯片,MI300X的HBM密度高达英伟达AI芯片H100的2.4倍,HBM带宽高达H100的1.6倍,可以运行的模型比H100的更大。相比之下,英伟达的H100芯片只支持120GB内存。

苏姿丰预计,今年,数据中心AI 加速器的市场将达到300亿美元左右,到2027 年将超过1500 亿美元,复合年增长率超过 50%。

MI300X将于今年晚些时候开始向部分客户发货。MI300A已经出样,MI300X以及集成8个MI300X的AMD Instinct Platform计算平台,预计在第四季度推出。AMD Instinct Platform可提供总计1.5TB的HBM3内存。

为了对标英伟达的CUDA,AMD表示公司也有自己的芯片软件“ROCm”。AMD表示,在构建强大的软件堆栈方面,AMD取得了真正的巨大进步,ROCm软件栈可与模型、库、框架和工具的开放生态系统配合使用。

AMD或将挑战英伟达的主导地位?在该活动进行过程中,AMD的股价收跌3.61%,而英伟达收涨3.9%。不过今(14日)天,AMD的股价又大幅上涨。

市场研究公司TIRIAS Research首席分析师凯文·克莱维尔(Kevin Krewell)说:“我认为,华尔街之所以会失望,可能是因为没有一个大客户表示会使用MI300A或X。他们希望AMD透露一些信息来说明该公司已经在某些设计上取代了英伟达。”

MI300X的推出,有望成为英伟达GH200 Grace Hopper超级芯片的替代选择。

不过Cambrian-AI Research LLC 创始人兼首席分析师 Karl Freund 也在福布斯上发文表示,虽然AMD新推出的这款芯片激起了市场各方的巨大兴趣,但与英伟达的H100芯片相比,MI300X面临着一些挑战,主要有以下四个方面:

第一,英伟达的H100今天开始全面出货;到目前为止,英伟达仍拥有AI行业最大的软件和研究人员生态系统。

第二,虽然MI300X芯片提供了192GB内存,但英伟达在这一点上将很快迎头赶上,甚至在相同的时间框架内可能实现反超,所以这并不是一个很大的优势。并且 MI300X 的售价将会十分高昂,与英伟达的H100相比不会有明显的成本优势。

第三才是真正的关键:MI300没有像H100那样的Transformer Engine(一个用于在英伟达GPU上加速Transformer模型的库),H100可以将大语言模型(LLM)的性能提高两倍。如果用几千个(英伟达的)GPU来训练一个新模型需要一年的时间,那么用AMD的硬件来训练可能需要再等2-3年,或者投入3倍的GPU来解决问题。

最后,AMD还尚未披露任何基准测试。但是训练和运行LLM时的性能取决于系统设计和GPU,所以很期待今年晚些时候能够看到一些与同业竞争对手的比较。

目前,中国大陆也诞生了不少GPU和加速芯片相关厂商,具体包括平头哥、地平线、寒武纪、燧原、壁仞、摩尔线程、天数智芯和墨芯等。当前在这些企业中仅有寒武纪为上市公司。虽然很多厂商已经宣布产品量产,但是真正披露收入的企业较少。

责编:Amy.wu
阅读全文,请先
您可能感兴趣
新公司将包括本田、日产和三菱汽车,预计年销量将超过800万辆,成为世界第3大汽车制造集团。这将使新公司在全球汽车市场中占据重要地位,尤其是在与特斯拉和中国电动车品牌的竞争中。
新款开发板售价仅为249美元,而上一代40 TOPS开发板售价为499美元,价格仅为上一代的一半。这使得Jetson Orin Nano Super成为“世界上最经济实惠的生成式AI计算机”,特别适合商业AI开发者、爱好者和学生使用。
面对AI时代带来的差异化趋势、软件应用及开发时间长、软硬件协同难、高复杂度高成本等挑战,国产EDA仍需不断探索和创新。
印度政府希望通过这一系列的方式,“推动”中国品牌更深入地“融入”印度市场,并“加强”与当地的经济合作,比如鼓励中国企业与本土电子制造商建立合作关系,共同在印度生产智能手机。而vivo印度公司此次与迪克森成立合资公司,就是在以上政府指引下无奈作出的选择。
通过机器学习技术,EDA工具可以获取更精确的模型来预测设计中存在的问题,如布线拥塞、信号干扰、热效应等,从而为用户提供更准确快速的指导,避免后期返工。
此次柔宇显示名下资产的拍卖页面自11月28日就已经上线,直至12月15日拍卖结束,在这长达半个多月的时间里,始终没有任何人报名参与竞拍。
目前,智能终端NFC功能的使用频率越来越高,面对新场景新需求,ITMA多家成员单位一起联合推动iTAP(智能无感接近式协议)标准化项目,预计25年上半年发布1.0标准,通过功能测试、兼容性测试,确保新技术产业应用。
中科院微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用……
C&K Switches EITS系列直角照明轻触开关提供表面贴装 PIP 端子和标准通孔配置,为电信、数据中心和专业音频/视频设备等广泛应用提供创新的多功能解决方案。
投身国产浪潮向上而行,英韧科技再获“中国芯”认可
投资界传奇人物沃伦·巴菲特,一位94岁的亿万富翁,最近公开了他的遗嘱。其中透露了一个惊人的决定:他计划将自己99.5%的巨额财富捐赠给慈善机构,而只将0.5%留给自己的子女。这引起了大众对于巴菲特家庭
‍‍12月18日,深圳雷曼光电科技股份有限公司(下称“雷曼光电”)与成都辰显光电有限公司(下称“辰显光电”)在成都正式签署战略合作协议。双方将充分发挥各自在技术创新、产品研发等方面的优势,共同推进Mi
12月18日,珠海京东方晶芯科技举行设备搬入仪式。插播:加入LED显示行业群,请加VX:hangjia188在10月31日,珠海京东方晶芯科技有限公司发布了Mini/Micro LED COB显示产品
万物互联的时代浪潮中,以OLED为代表的新型显示技术,已成为人机交互、智能联结的重要端口。维信诺作为中国OLED赛道的先行者和引领者,凭借自主创新,实现了我国OLED技术的自立自强,成为中国新型显示产
万物互联的时代浪潮中,以OLED为代表的新型显示技术,已成为人机交互、智能联结的重要端口。维信诺作为中国OLED赛道的先行者和引领者,凭借自主创新,实现了我国OLED技术的自立自强,成为中国新型显示产
又一地,新型储能机会来了?■ 印度:2032储能增长12倍,超60GW据印度国家银行SBI报告,印度准备大幅提升能源存储容量,预计到2032财年将增长12 倍,超60GW左右。这也将超过可再生能源本身
 “ 担忧似乎为时过早。 ”作者 | RichardSaintvilus编译 | 华尔街大事件由于担心自动驾驶汽车可能取消中介服务,Uber ( NYSE: UBER ) 的股价在短短几周内从 202
近期,高科视像、新视通、江苏善行智能科技等企业持续扩充COB产能。插播:加入LED显示行业群,请加VX:hangjia188■ 高科视像:MLED新型显示面板生产项目(二期)招标12月18日,山西高科
LG Display  12月18日表示,为加强OLED制造竞争力,自主开发并引进了“AI(人工智能)生产体系”。“AI生产体系”是AI实时收集并分析OLED工艺制造数据的系统。LG Display表
今天上午,联发科宣布新一代天玑芯片即将震撼登场,新品会在12月23日15点正式发布。据悉,这场发布会联发科将推出全新的天玑8400处理器,这颗芯片基于台积电4nm制程打造,采用Arm Cortex A