算力供应趋紧中长期涨价潮要来了？

科创板日报 2023-11-16 20:12

【有奖直播】深入学习Microchip时钟和全新单片机方案 【有奖直播】提升毫米波信号测试精度

中贝通信算力租赁费用相较9月大涨50%，汇纳科技算力服务费用亦上调100%。随着各家大模型陆续向多模态迭代，训练、推理阶段的算力需求加速提升，GPT-4训练成本或达上亿美元。机构认为，需求仍未见顶，算力云化、调优、调度是将纸面算力变为可用算力的先期步骤。

编辑 | 邱思雨

随着AI芯片缺货潮的持续发酵，算力服务/租赁端的费用水涨船高。近期，多家公司陆续官宣算力租赁费用提价。

中贝通信在昨日公告中表示，与北京中科新远科技有限公司签订算力服务框架合同，合同总金额为3.46亿元（含税6%），单价为18万元/P/年，合同价格为算力租用价格含技术服务与支持有关费用。

回溯其9月公示的订单，该公司算力租赁费用大涨50%。彼时，中贝通信与青海联通签订算力服务框架协议，服务费按照含税12万元/P/年计算，总金额为含税3.46亿元。

就在前一天，汇纳科技宣布，将英伟达A100芯片算力服务收费价格上调100%。

国盛证券在今日发布的研报中指出，算力涨价潮即将开启，火山引擎、腾讯云、微软Azure的A100租赁零售价相较此前的市场平均价均有不同程度上涨。在AI应用加速迭代等各方面因素作用下，此次算力集体提价并非短期波动，而是在开启中长期的涨价潮。

▌算力供应趋紧需求不断上行

算力涨价是供应趋于紧张以及需求不断上行的直接结果。

从需求层面来看，AI大模型正在加速“燃烧”算力，AI芯片需求持续旺盛。据国信证券测算，以1750亿参数的ChatGPT大模型为例，按照一周日访客数量2500万、单字消耗350ms等标准计算，每天需要3.04万片英伟达A100 GPU同时计算，才可满足当前ChatGPT的访问量。

另外，随着各家大模型陆续向多模态迭代，训练、推理阶段的算力需求进一步提升。

多模态大模型训练阶段在数据源、模型结构、计算操作方面更加复杂，这导致其需要更大量的训练数据，从而进一步增加算力消耗。据国泰君安测算，GPT-4对于算力的需求在同等训练时长下相比GPT-3增长445倍，GPT-4训练成本或达上亿美元。

推理成本则受到计算集群的规模、能力、使用效率、批次大小以及集群的管理策略等因素的影响。上述机构进一步指出，GPT-4V计算集群庞大，推理成本远超GPT-3。随着应用场景的丰富，并发需求的增长，推理端所需的算力将持续提升。

供应层面，人工智能领域的主流芯片英伟达A100、H100持续供不应求，且价格高昂。以H100为例，近期，H100在eBay平台的售价已经高达4.5万美元，且货源较上半年也显著减少。业内代理商亦透露，英伟达GPU交货周期也被拉长。

▌算力云化、调优、调度或成关键步骤

历经数个月供不应求后，算力芯片的需求仍尚未见顶。

OpenAI开发者大会结束后不久，由于访问量远超预期，ChatGPT和API服务经历了将近2小时的故障，OpenAI的最大竞争对手Anthropic也遇到了服务器无法响应的问题。

OpenAI首席执行官Sam Altman在X平台上宣布，将暂时暂停新的ChatGPT Plus注册。“开发日后使用量的激增超出了我们的承受能力，我们希望确保每个人都有良好的体验。”他表示。

对此，国盛证券认为，云化、调优、调度是将纸面算力变为可用算力的先期步骤，云化使算力变成用户可以便捷调用的“数字能源”，调优则是从通信和模型层面压榨GPU利用率，实现算力降本增效的必经之路。调度是将全国乃至全球的算力资源统筹分配，实现成本优化、入网即有算力的核心环节。

具体来看，由于大模型训练时的主要壁垒依然是数据并行下的通信瓶颈和长期积累的AI大工程经验，这三个涉及显卡数据交换与流通的环节的竞争壁垒将不断提高，其发挥的价值也将持续显现——OpenAI单位token成本降低，或因OpenAI解决了此前算力利用率低、GPU平均故障时间较长的问题，算力调优从降本维度加速了AI飞轮的旋转。