AMD在6月13日的“AMD数据中心与人工智能技术首映会”上推出了大语言模型专用的最新加速卡Instinct MI300X芯片。MI300系列是AMD针对AI和高性能计算(HPC)的加速处理器(APU)加速器,其中MI300A是“基础款”,MI300X是硬件性能更高的“大模型优化款”。

电子工程专辑讯 AMD在6月13日的“AMD数据中心与人工智能技术首映会”上推出了大语言模型专用的最新加速卡Instinct MI300X芯片。MI300系列是AMD针对AI和高性能计算(HPC)的加速处理器(APU)加速器,其中MI300A是“基础款”,MI300X是硬件性能更高的“大模型优化款”。

据介绍,Instinct MI300A采用CDNA 3 GPU架构和24个Zen 4 CPU内核,配置128GB的HBM3内存和1个CDNA 3图形引擎,该芯片共包含1460亿个晶体管。相比前代MI250,MI300的性能提高八倍,效率提高五倍。 

Instinct MI300X是针对大语言模型(LLM)专用,包含12个小芯片,1530亿个晶体管,192GB的HBM3内存,内存带宽达到5.2TB/s。对比英伟达的H100芯片,MI300X的HBM密度高达英伟达AI芯片H100的2.4倍,HBM带宽高达H100的1.6倍,可以运行的模型比H100的更大。相比之下,英伟达的H100芯片只支持120GB内存。

苏姿丰预计,今年,数据中心AI 加速器的市场将达到300亿美元左右,到2027 年将超过1500 亿美元,复合年增长率超过 50%。

MI300X将于今年晚些时候开始向部分客户发货。MI300A已经出样,MI300X以及集成8个MI300X的AMD Instinct Platform计算平台,预计在第四季度推出。AMD Instinct Platform可提供总计1.5TB的HBM3内存。

为了对标英伟达的CUDA,AMD表示公司也有自己的芯片软件“ROCm”。AMD表示,在构建强大的软件堆栈方面,AMD取得了真正的巨大进步,ROCm软件栈可与模型、库、框架和工具的开放生态系统配合使用。

AMD或将挑战英伟达的主导地位?在该活动进行过程中,AMD的股价收跌3.61%,而英伟达收涨3.9%。不过今(14日)天,AMD的股价又大幅上涨。

市场研究公司TIRIAS Research首席分析师凯文·克莱维尔(Kevin Krewell)说:“我认为,华尔街之所以会失望,可能是因为没有一个大客户表示会使用MI300A或X。他们希望AMD透露一些信息来说明该公司已经在某些设计上取代了英伟达。”

MI300X的推出,有望成为英伟达GH200 Grace Hopper超级芯片的替代选择。

不过Cambrian-AI Research LLC 创始人兼首席分析师 Karl Freund 也在福布斯上发文表示,虽然AMD新推出的这款芯片激起了市场各方的巨大兴趣,但与英伟达的H100芯片相比,MI300X面临着一些挑战,主要有以下四个方面:

第一,英伟达的H100今天开始全面出货;到目前为止,英伟达仍拥有AI行业最大的软件和研究人员生态系统。

第二,虽然MI300X芯片提供了192GB内存,但英伟达在这一点上将很快迎头赶上,甚至在相同的时间框架内可能实现反超,所以这并不是一个很大的优势。并且 MI300X 的售价将会十分高昂,与英伟达的H100相比不会有明显的成本优势。

第三才是真正的关键:MI300没有像H100那样的Transformer Engine(一个用于在英伟达GPU上加速Transformer模型的库),H100可以将大语言模型(LLM)的性能提高两倍。如果用几千个(英伟达的)GPU来训练一个新模型需要一年的时间,那么用AMD的硬件来训练可能需要再等2-3年,或者投入3倍的GPU来解决问题。

最后,AMD还尚未披露任何基准测试。但是训练和运行LLM时的性能取决于系统设计和GPU,所以很期待今年晚些时候能够看到一些与同业竞争对手的比较。

目前,中国大陆也诞生了不少GPU和加速芯片相关厂商,具体包括平头哥、地平线、寒武纪、燧原、壁仞、摩尔线程、天数智芯和墨芯等。当前在这些企业中仅有寒武纪为上市公司。虽然很多厂商已经宣布产品量产,但是真正披露收入的企业较少。

责编:Amy.wu
阅读全文,请先
您可能感兴趣
韩国公平贸易委员会宣布了一项重要决定,对美国半导体巨头博通提起诉讼。博通被指控利用其在有线电视机顶盒SoC市场的垄断地位,迫使韩国机顶盒制造商在采购竞标中排除其他竞争对手的产品方案。通迅速提出一系列纠正方案以规避更严厉的制裁。KFTC虽决定提起诉讼,但倾向于接受博通的提议......
随着这一项目的投产,特斯拉在全球范围内的储能业务将进一步扩展,有助于满足全球市场对清洁能源存储解决方案日益增长的需求。
自研AI芯片计划是OpenAI在硬件领域的一次重要战略调整。如果此次试产过程顺利进行,OpenAI将能够量产其首款自研AI芯片,并可能在今年晚些时候测试英伟达AI芯片的替代品。
AMD股价暴跌成为市场关注的焦点,在2月5日盘后交易中一度暴跌超过10%,市值蒸发约200亿美元,创下自2023年以来的最大单日跌幅。在同一时间段内,AMD的主要竞争对手英伟达的股价大幅上涨,涨幅高达160%......
2024年全年,小米市值增加4440亿人民币,比亚迪市值增加2459亿人民币……
在成本方面,使用特定水平AI的成本每12个月下降约10倍,较低的价格会促进更多使用。从2023年初的GPT-4到2024年中期的GPT-4o,每个token的价格下降了约150倍。
全球人形机器人领域上市公司的百强名单将人形机器人产业链区分为大脑、身体以及集成三大核心环节,覆盖全球共计100家上市公司。中国共37家企业上榜(中国大陆32家,台湾5家),其中深圳7家,占中国大陆上榜企业近四分之一,包括比亚迪、腾讯、优必选、速腾聚创、雷赛智能、兆威机电、汇川技术等......
DeepSeek模型虽降低AI训练成本,但AI模型的低成本化可望扩大应用场景,进而增加全球数据中心建置量。光收发模块作为数据中心互连的关键组件,将受惠于高速数据传输的需求。未来AI服务器之间的数据传输,都需要大量的高速光收发模块......
凭借新一代3nm制程工艺与全新架构,骁龙® 8至尊版的单核和GPU 性能提升均超过 40%,使得Find N5在性能上实现质的飞跃……
简化物联网连接:应用就绪型软件构建模块
UN高性能10W开关电源芯片U95143能效领跑小家电有很多功能上的创新可以随着技术的发展而进行,也能给终端的客户带来有效且实际的操作理念,最重要是能保障产品品质。而零件产品的品质会对出品整体效果有所
2月10日,市场调查机构 IDC 发文称,2024 年全年中国平板电脑市场出货量为 2985 万台,同比增长 4.3%,市场迎来回暖。报道称, 2024 年第 4 季度市场出货量为 786 万台,受库
在当今竞争激烈的商业环境中,企业运营效率的高低往往决定了其在市场中的地位和生存能力。而信息化系统的应用,正逐渐成为企业提升运营效率的关键因素。众所周知,信息化系统能够实时监控企业生产、销售等各个环节的
2月10日消息,天眼查App显示,近日,杉杉控股有限公司发生工商变更,周婷卸任法定代表人,并由董事长变更为董事;周顺和接任法定代表人并担任董事长;孙伟卸任董事职务。 2月7日,杉杉集团在宁波市鄞州区人
点击蓝字 关注我们SUBSCRIBE to USImage: GM消息人士向“GM Authority”透露,雪佛兰Blazer的内燃机版本据说即将停产,最终将仅以电动汽车(EV)的形式投放(http
2022年下半年以来,需求下降,芯片价格跳水,芯片行情趋向寒冷,拼价格、拼服务、拼账期成为常态,持续的低迷之下,芯片人都开始靠省钱过日子。同时,我们发现,行情冷淡的时候,订货、配单、PPV(Purch
周一,埃隆·马斯克与一群投资者提出以974亿美元收购ChatGPT开发商OpenAI,这一金额远低于这家人工智能公司最近1570亿美元的估值。OpenAI首席执行官萨姆·奥特曼在X平台上发文,立即拒绝
比亚迪放大招,智驾卷到10万元内!王传福:比亚迪全系车型搭载高阶智驾2月10日晚,比亚迪智驾发布会放出“王炸”,这家全球新能源汽车销量冠军宣布,将推出低、中、高三套不同配置高阶智能驾驶解决方案,首批搭
 △广告 与正文无关 近日,南浔区举行项目签约仪式,晶洲长三角TGV玻璃基板半导体工艺装备研发及产业化项目、玻璃基板PVD镀膜设备研发及生产项目签约落户南浔。据悉,苏州晶洲装备科技有限公司是目前国内唯
新春伊始,苏州工业园区企业以新促兴,开启新一年奋进之旅。2月10日上午,哈曼汽车电子系统(苏州)有限公司车载显示智能制造工厂开业。哈曼集团在该事业领域全球布局的第一条生产线将在这里投入使用,未来满产后