当地时间5月14日,在I/O 2024开发者大会上,谷歌公司首席执行官桑达尔·皮查伊(Sundar Pichai)正式宣布了第六代数据中心AI芯片Tensor处理器单元(TPU)--Trillium,并表示将于今年晚些时候推出交付。
图源:youtube视频截图
皮查伊在发布会上表示,谷歌在GPU技术领域拥有十多年的领先经验,而Trillium则是谷歌在技术创新道路上迈出的又一坚实步伐。他强调,新一代TPU的计算性能飞跃得益于对芯片矩阵乘法单元(MXU)的显著扩展以及整体时钟速度的大幅提升。
从计算性能角度分析,Trillium TPU的峰值计算性能是前一代(TPU v5e)的4.7倍。这种显著的性能提升归功于对核心结构的优化——特别是矩阵乘法单元(MXU)的规模扩大和整体时钟速度的提高。MXU是执行神经网络计算中重要的矩阵操作的单元,其性能的提升直接关联到整个系统的处理能力。此外,Trillium的内存带宽和芯片间互连带宽均比前代翻倍,有助于支持更大规模的数据传输和处理,大大缩短了模型训练的时间及运行时的延迟。
从内存容量来看,高带宽内存(HBM)容量的加倍增强了Trillium在处理大型模型时的能力,使其在运行尖端AI模型时更加高效。技术上,这类升级对于应对当前AI发展中越来越复杂和庞大的模型尤为关键,因为这需要更快速的内存读写能力和更大的存储空间。
值得注意的是,Trillium芯片采用了谷歌最新研发的第三代SparseCore技术。据悉,SparseCore是专门设计的加速器,用于处理超大型嵌入,这在很多使用基于人工智能的排序和推荐系统中尤为重要。这表明Trillium能在保持低延时的同时,处理更为复杂的任务,进一步提升了处理效率和性能。
Trillium不仅在性能上表现优异,在能效方面也有不小提升。皮查伊表示,随着人工智能芯片需求的急速增长,提升能效已成为行业发展的关键。Trillium在这方面表现出色,其能效比第五代产品提高了67%,成为谷歌迄今为止最节能的TPU。
Trillium TPU代表了AI硬件技术的一个重大突破。不过,尽管谷歌已经公布了Trillium芯片的多项关键特性,但目前尚未公布更多关于新芯片的细节,如其在谷歌云服务中的使用成本等。皮查伊称,谷歌将继续投资于基础设施,以支持公司的人工智能发展,并开拓新的技术前沿。