2023年初,GPT等自然语言大模型开始被更多行业和个人使用,全社会的目光投向AI人工智能领域,计算机行业也掀起一波对于算力的关注潮。
我意识到自己之前的专业和知识积累,获取应该能贡献点什么,于是电子工业出版社沟通,说明自己的想法,以及非常粗略的内容规划。
2023年我的工作并不是非常忙碌,虽然也有加班,但是市场环境相对平静(这一点金融从业者应该非常清楚),以及我自己对写书这件事的严格保密和信息隔离,给我了非常好的知识梳理机遇期。
直到2023年中,我才对要写什么有了具体规划,图书内容要瞄准CPU和GPU等芯片近20年来的主要发展,着重讲解高性能高算力密度的芯片微架构和产品设计,且需要考虑到不同读者的知识构成和需求,拓宽受众群体,而不是写成一本类似教材的专著或教科书。
在此内容规划下,有三大重点:
1、CPU的演进
从调度和逻辑计算为传统目标,转向更高密度的核心堆砌和更高多核心并行效率,如AMD的EPYC处理器。
2、GPU的演进
这是一个非常棒的故事,从2005年左右开始,业界其实就已经发现着色器shader拥有较大计算密度,有通用处理器的潜质,如NVIDIA的A100,H100处理器。
3、其他非通用处理器(加速器)
近几年来挣脱CPU/GPU架构的束缚,高速发展成为算力密度极高的超级计算机加速器。谷歌的TPU,华为的昇腾Ascend 910处理器。再比如特斯拉的Dojo,完全是定制化的高密度算力芯片,也是一种思路。
在内容整理阶段,考虑到很多读者是因为兴趣翻阅起这本书,我们加入了对于CPU基本原理介绍的第2、3、4章节。
第4章节的SIMD单元也是CPU能堆砌出高并行算力的基础计算单元,这部分中,Intel对于MMX指令集的介绍非常有历史感,低分辨率的图片,图中人物的上世纪90年代的发型也很有趣,那正是多媒体概念提出的年代,是CPU无法满足图形处理的年代,现在面对AI,超级计算机又何尝不是呢。
第5章节是对大型处理器拓扑结构的介绍,很多有趣的设计方案能够让CPU的多个核心处于高效率运行阶段。
第6章节是分段介绍主流的高算力CPU芯片,其实还有很多优秀产品,但是篇幅有限,只能写这些。
第7章节之后,都是GPU部分。
这里的每一个字的产生都离不离2010年我在中关村在线从业的经历,当时我们不仅写公开评测文章,还针对自己关注的领域做深入研究,我着重关注GPU的通用计算能力和兼容性问题,因为CUDA已经能够渗透式地改变整个行业。
我还记得天河超级计算机第一次通过GPU带来了峰值浮点能力的飞跃,之后GPU加速器成为TOP500超级计算里统计中的明星。GPU部分参考了非常多的厂商白皮书,其中NVIDIA的资料尤其丰富。
Intel的加速器部分我认为较为可惜,其在GPU发展路径上举棋不定,直到截稿时才大致看清未来它会以Gaudi产品线为主。
2023年7月,我将这个消息透露给NVIDIA的朱亮先生和快科技(原驱动之家)的邱洪民先生,两位都是行业前辈,对于产品应用有深刻认知,我们大部分用户接触到的高性能设备,他们都能更早地通过厂商送测拿到,并测试和反馈。
虽然14年前我也是其中的一类人,我记得世界上第一块通用性强的可编程GPU,代号Fermi的GTX480发布前,我的领导告诉我中国大陆地区只有5块,我们办公室就有2块。
我也突然想起2011工作去上海出差,坐在黄仁勋对面, 我的问题总是跑题到GPU Computing,他总是绕回到GPU Graphics回答我,因为那次的主题是NVIDIA为上海世博会做了一个清明上河图多屏显示方案。
回到本书内容中,2023年底截稿,但是2024年开始,我们开始对内容做删减,刚开始是几句话,后来是整段,再后来是整小节删除。
因为这本书如果什么都要写,字数40万,页数700页不止,我们必须精简《算力芯片》,也因为这本并非是纯技术讲解,而是融合技术架构、产品、市场格局的图书。
修改过程中,和出版社的配合和出现了一些进度滞后的问题,以及行文规范的问题,导致全书修改超过7次,每次反馈也比较慢,这是一个不小的遗憾,它本该更早问世。
本书涉及到大量参考资料,如果没有这些资料,我不可能拿着显微镜打开芯片内部架构做讲解。
正因为有了这些图书、白皮书、解决方案文档、论文、评测分析类文章,和它们背后伟大的作者,才有了本书丰富的内容。
根据出版社要求,我整理了全部参考资料,他们会以电子版形式提供给读者,所以我在每章节后没有再附上冗长的参考资料。
具体的提供方式应该是扫描图书上出版社的二维码,会有一个微信助手,发给读者电子版参考资料。
但是我也隐约感觉可能漏掉一两篇,如果细心的读者发现,最早是你撰写了某个算法、或某个技术分析细节、或你创作了某个重要的架构图,请与我联系,我尽快做出说明,并加入到参考资料中。
图书规划初始,我坚持以“编著”模式撰写本书,而不是6年前我写量化投资行业交易模型时,以“著”作为撰写模式。编著是在整理已有成果(产品、技术)的基础上有所概括和分析的写作过程。
实际上本书也是我翻越愚昧之山的过程,某些知识点可以较快完成,另一些则需要阅读大量文献,还不知道如何下笔,有一段时间中,我越来越没信心能完成这件事,但又不得不继续写。
由于图书内容和自己的工作完全没有关系,也没有商业合作支持,我不止被问过一次为什么要写这本书。
答案是基于兴趣,基于中文世界还没有看到算力芯片产品的综述类资料,我也期待图书能够再版,能认识到专业积累深刻的工程师、行业前辈,和我一起继续丰富内容、维持更新。
我也发现了图书中的一些小错误,比如把bank(存储单元板块划分)翻译为银行,以及其他一些不规范的描述,这都是需要修改的。
我的微信号是philips_kai,需要交流的朋友们可以加好友,我可能回复较慢,请多提醒我。
最后,感谢半导体行业中辛勤耕耘的工程师,你们创造一个微观世界,极大程度上改进了全社会运行效率。