SSD碾压HDD无悬念，只需解决PCIe 5.0部署三大难题

AI应用的井喷式发展加速了存储行业的升级，AIGC、大模型加速、云端服务的盛行让服务端的数据利用效率变得至关重要，但仅依靠DRAM和HBM无法满足海量数据交换的需求。要在有限的服务器、机房空间内更好的提升存储与传输效率，需要运用好NAND闪存技术和固态硬盘（SSD），其中的关键因素之一即是PCIe 5.0技术。

纵观整个行业，接口技术的升级已切实影响到终端技术与产品的升级，PCIe作为行业内硬件沟通的重要桥梁，显卡、加速器、网卡、固态硬盘以及其他PCIe设备的数据量随着时间推移不断增加。让PCIe总线保证足够的带宽、供电也成为了不断追求的目标。在PCIe新标准的推动下，用户可以定制更快的高速硬件产品，从而让产品获得更大的收益。

10年前，与SATA SSD相比份额很小的PCIe SSD，在2020年之后逐渐主导了市场，并将在到2026年之后达到86%以上的市占，取代SATA SSD的霸主地位。从PCIe Gen3、Gen4到Gen5的每一代技术迭代，数据速率都会翻倍，Gen5相比Gen3接口数据速率从4GHz提升到16GHz，快了4倍。这也带来了主板元器件设计的变化和存储产品的升级。

部署PCIe 5.0并非易事

在2023年的中国闪存市场峰会（CFMS）上，铠侠株式会社（KIOXIA）首席技术执行官 柳茂知 介绍了PCIe Gen5 SSD和QLC SSD的性能优势。在今年的峰会上，他重点介绍了铠侠在PCIe Gen5 SSD上的部署，以及在QLC SSD方面的愿景。会后，铠侠高管还接受了《电子工程专辑》等媒体的采访。

铠侠株式会社首席技术执行官 柳茂知

 “从2022年开始，KIOXIA总共推出了三代PCIe Gen5 SSD产品，从2022年的CD7 series E.3，到2023年的CM7 series E.3和U.2，如今CD8P series样品已经向客户发货。” 柳茂知认为，2024年将是PCIe Gen5 SSD飞速占领市场的一年，但在普及方面也面临一些困难，例如信号频率翻倍到16GHz。

通过下图24G SAS和PCIe 5.0的比较也可以看出，虽然在信号频率上PCIe 5.0处于领先位置，但SAS-4比PCIe 5.0更流畅，后者的规范仍需完善，在推广上也需要更多努力。

相比SAS-4，PCIe 5.0的特点还包括：

    -频率更高；

    -不使用前向纠错FEC，会影响传输的误码率（BER）；

    -基准时钟可选，增加了运力和复杂性；

    -信号均衡方法几乎相同，但PCIe Gen5均衡时间要求比SAS-4更短；

    -PCIe重置方法也像参考时钟一样复杂。

由此可见，PCIe Gen5和SAS-4或PCIe Gen4相比截然不同，部署起来也极具挑战性。根据铠侠总结的PCIe Gen4和Gen5的实际部署经验，PCIe Gen4每个项目平均遇到的问题数量为1.48个，解决问题的最长交付周期为2.5个月；PCIe Gen5每个项目平均遇到的问题数量为4.0个，几乎是Gen4的3倍，解决问题的最长交付周期为4个月，比Gen4长1.5个月。

较高的问题发生率和较长的前置时间，导致PCIe Gen5的部署存在困难。柳茂知分享了几个Gen5认证的例子：

1、EOM（Eye-opening Monitor）的驱动器、系统、插槽问题。在进行一定次数的测量之后，底座所有插槽的EOM都必须满足眼高/眼宽的变化标准，而由于信号线的阻抗波动和来自其他信号线的串扰，让这个标准要求的裕度变化非常小。

铠侠建议在系统设计时需要仔细地进行信号线布线，专门改进阻抗匹配、减少串扰的参数指标，才能实现PCle 5.0传输速率达到16GT/S。并且在系统开发阶段就需要对上述2项指标进行SI验证。从下图Gen4和Gen5系统设计的例子比较，柳茂知建议设计PCIe Gen5系统不要使用线缆（Cable），最好采用企业与数据中心标准外形规格（EDSFF）/B2B接口来尽量减少连接器。“系统设计的要点是缩短PCIe信号线的长度，并通过减少连接器来最大限度地减少阻抗波动。”

2、复位/速度变化循环测试中的各种问题。循环测试是连接拐角情况下的加速度测试，主机在Gen1、Gen2、Gen3、Gen4和Gen5之间频繁更改PCIe速度，在变速过程中，重置是随机插入的。很多厂商会用PCle 5.0和Legacy速度变化边缘场景测试来确认SSD的稳健性，如冷重启、热重启、各种PCle复位、速度变化，均会导致速度降低或链路宽度下降的问题，并且PCle PHY 均衡校准难以在短时间内完成。

铠侠建议，就研发进度而言，最好在评估验证的早期阶段进行上述循环测试。如果检测到故障，需要找出根本原因并予以解决。系统日志信息有助于更快地找出根本原因，因此最好借助于主机系统、固态硬盘、操作系统内核、Switch、Retimer及格式日志来查找问题。

3、Retimer PHY初始化时间设置不正确。PHY代表接口的物理层，是高速模拟数字化转换电路，具有多个旋钮来整形信号，主机和SSD握手来训练波形整形滤波器，这需要几十毫秒，原始PCIe PHY初始化超时值为20ms。为了满足PCle® 5.0信号完整性要求，PHY初始化时间在PCle 4.0原有的基础上有所增加，可能会超过旧版PCle 20ms的规定。在此情况下，主机、交换机或者重定时器可能会检测到超时。

对此，PCIe SIG已于2021年12月针对基本标准R5.0发布了ECN（工程变更通知）“放宽时间检测”，检测时间从20ms放宽至100ms。但即使在ECN发布2年后的2023年，还有一些主板BIOS、Switch FW和Reimer FW在使用20ms的旧超时值。针对这些可能存在沿用旧版20ms标准检测时间的情况，铠侠建议确认此ECN上使用的BIOS版本或者固件版本。

总结下来，铠侠对PCle 5.0应用的关键检査点可以概括为：

• 确保CPU-I/ CPU-A BIOS为最新版本；
• 确保PCle Switch和Retimer固件为最新版本；
• 确保SSD固件为最新版本3，例如CM7固件版本；
• 主板和背板PCle线路阻抗和串扰4，例如通过TDR测量阻抗、在PCle信号布线中尽量减少通孔；
• Retimer选项，例如选择经过验证的Retimer，并确保其固件为最新版本
• SSD日志和系统日志。

柳茂知表示，“铠侠在PCle 5.0系统设计中已经取得许多重要突破，同时也将不断积累PCle 5.0的研发经验。到PCIe Gen6 SSD开始部署时，我还会再跟大家分享Gen6需要考虑的信息。”

SSD替换HDD，单位密度成本不再是唯一考量

2023年，由于库存过剩，导致SSD价格下跌，SSD生产制造商因此深受其害。但柳茂知认为，这也并不完全是坏事，因为SSD与NL（Near line） HDD之间的价格差距正在缩小，正好成为促进NL HDD向SSD转型的积极因素。

上图比较了NL HDD和QLC SSD的最大容量以及价差（$/GB）。可见NL HDD和SSD之间的价格差每年都在缩小，但NL HDD的最大容量增速远没有QLC SSD的快。去年，铠侠发布了业界最高单位密度的BiCS第8代QLC，Die容量可达2Tb，能在U.2 FF上实现120TB的容量。

闪存容量密度的扩展，可以分为垂直扩展和横向扩展。垂直扩展是通过增加层数来实现，而横向扩展则是由CUA（阵列下电路）和CBA（绑定到阵列的电路）完成。据悉，铠侠通过垂直和横向扩张同时发展，从QLC 1Tb到2Tb，将单Die密度提高了15%；从BiCS闪存从第6代到第8代，密度提高了35%。

“整体上，BiCS Gen 8 QLC 2Tb芯片提供了比上一代高50%的密度，闪存的立方密度已经远远超过HDD。”柳茂知说道， “铠侠将发布基于第八代BiCS FLASHTM 2Tb/Die的QLC SSD，E3.S规格最高容量可达60TB，U.2/E3.L规格容量最高可达120TB。”

预计到2025年，SSD的密度将增加10倍，到2026年将增加16倍。此外，QLC SSD的性能也远超NL HDD，其顺序读取性能提高40倍，顺序写入性能提高8倍，随机读取性能提高8,500倍，随机写入性能提高500倍。

此外，QLC SSD带来的巨大优势，还可进一步降低CPU和DRAM系统所需的总成本。

影响通用服务器总成本的因素包括：存储设备占15%，CPU占18%，内存占37%，机箱/风扇/电源设备占10%，智能网卡/主板占9%，装配组件测试/其他项目占11%。

柳茂知认为，应优先考虑总成本15%的存储设备能最大限度地提高性能，而不是利用成本中剩余85%的相关设备。如果服务性能因为NL-HDD延时而下降20%，则85%中的20%，即17%的总成本就会被浪费。“虽然按照$/GB计算，固态硬盘比NL-HDD更贵，但是如采用固态硬盘后服务性能没有下降，那么通过比较$/GB来选择NL-HDD是不正确的。”

因此，即使QLC SSD的成本是NL HDD的3倍，也可以通过降低CPU和DRAM的成本来补偿成本差异。用QLC SSD替换NL HDD还有节省占地面积、节省电力消耗等好处。此外因为总成本包括很多的软件和服务，也就是TCO（总体拥有成本）方面的支出很大。SSD性能的提升可以降低在CPU和DRAM上的开销，而保持性能不变。

“软件和服务是按CPU的节点数收费的，所需要的CPU节点下降了，软件和服务成本也可以下降。”柳茂知表示，PCIe Gen5是非常好的技术，但必须正确利用这项技术才能从中获益，比如“生成式AI正茁壮发展，但DRAM的容量无法完全满足生成式AI存储需求，闪存则可以提供更大容量的支持。闪存市场具有巨大的容量发展前景，NL HDD将有机会被取代。”

采访环节

在接下来的采访中，铠侠的高管们就闪存和SSD在AI、数据中心、汽车电子等新兴领域中的应用，UFS 4.0在智能手机中的普及，以及存储市场的发展趋势等问题与《电子工程专辑》等媒体进行了深入探讨。

由左至右依次为：铠侠中国 闪存颗粒技术统括部总经理 大久保贵史、铠侠中国 高级技术顾问 户谷得之、铠侠株式会社 首席技术执行官 柳茂知、铠侠中国 董事长兼总裁 岡本成之、铠侠中国 副总裁 天野竜二

AI带来的新机会

生成式AI是最近最火的话题，AI相关企业级存储的需求也特别旺盛。这样的趋势对NAND厂商提出了什么新的挑战？又会带来哪些成长机会？

铠侠中国董事长兼总裁 岡本成之 认为，从中长期来看，搭载AI的智能手机、PC、AI服务器等对NAND的需求有所增加。为了满足这些需求，铠侠将推进大容量、高速运行的存储设备研发工作。“包括平台运营商和大型云存储运营商等大型数据中心运营商，是铠侠SSD业务非常重要的合作伙伴。我们正在开发固态硬盘产品以满足它们的需求。”

此外，AI服务器在性能方面提出了更高的要求，要适应未来AI技术的发展，用于数据中心的SSD需要具备一些新的特性。

铠侠中国高级技术顾问 户谷得之 表示，随着AI技术的进步，要求CPU处理的数据量不断增加，SSD也要求更高性能化，所以对CPU增加了负载，很多AI服务器已经采用了铠侠的PCIe Gen4 SSD产品。

除了需要的高数据处理量外，存储系统的低延迟和低功耗也很重要。柳茂知 认为，PCIe 5.0/6.0 将有助于提高上述数据处理量和降低延迟，但由于信号质量等技术难度越来越大，预计切产品换代所需的时间将比过去更长。“铠侠对新的封装予以积极响应（EDSFF E1、E2等），并推动接口的发展。

预计对生成式AI技术的积极投资将振兴该行业，反过来又有望进一步增加SSD的需求。“铠侠正在研究RAID Offload技术，由SSD处理一部分数据，以降低CPU的负载。另外目前DRAM被用作AI训练和推理的主要媒介，但我们也在进行研究和开发如何在将来使用闪存，将DRAM与SSD结合搭载于AI服务器中使用。” 户谷得之说道。

针对汽车行业的存储

最近，为了满足日益复杂的车载设备必不可少的数据存储需求，铠侠研制并发布了车载UFS4.0嵌入式闪存。铠侠中国闪存颗粒技术统括部总经理 大久保贵史 表示，作为一款可高速读取庞大数据量的存储设备，这款车载UFS4.0用于车载设备和系统后可提升驾驶员体验，UFS4.0未来有望在车载产品中普及。

2023年，中国汽车销售创历史新高，新能源汽车的销售、出口保持着良好的态势。“在和客户沟通过程中，我们发现他们有将eMMC转到UFS 3.1的需求，并且有进一步提升到UFS 4.0以上的意愿，带来2倍的带宽提升和更快的数据处理速度。所以铠侠面对有望长期增长的车载存储需求，将推出以UFS为首的最先进产品，扩大支持力度。” 大久保贵史说道。

同时大久保贵史还表示，自动驾驶技术带动汽车中运用的数据量不断增加，预计对于可高速读取庞大数据量的高性能存储设备的需求也将越来越大。至于自动驾驶计算集中化的趋势，会不会也带动存储集中化，他则表示由于IVI、ADAS、信息娱乐系统等汽车不同功能对于存储性能的需求是不同的，所以对于集中存储的讨论，目前业界还未有定论。

但可以肯定的是，“铠侠作为车载存储设备厂家，未来将持续投入具有高可靠性、安全性、最优化的产品的研发，对包括自动驾驶技术在内的汽车技术今后的发展做出应有的贡献。同时我们也为主控SoC厂商提供了验证样品，期待他们积极加入普及车载UFS 4.0的行列。” 大久保贵史说道。

UFS 4.0在智能手机上的普及

智能手机也是UFS闪存的主战场，随着铠侠推出第二代UFS 4.0技术，相比第一代而言在顺序写入上提升了约18%，随机写入提升约30%，随机读取提升约13%。

大久保贵史表示，以高端智能手机为首的移动设备、应用程序厂家通过使用铠侠的UFS4.0产品，可实现数据下载的高速化、缩短时滞等,进一步充分利用5G的高速网络，有望加快可提升用户体验的高性能移动设备、应用程序的研发工作。“UFS 4.0目前主要用于旗舰机型，这与旗舰机使用更高端的主控芯片有关。但随着时间推移，以及我们QLC版本UFS产品的推出，预计在中端机型中也有望普及。”

此外，在智能手机中运用生成式AI已成为新的趋势，这今后将对存储设备提出更进一步的提升性能的要求。“目前，铠侠除了向市场提供UFS4.0产品，也将尽早推出JEDEC UFS 5.0等的新规格产品，力争将来为实现高度的端侧生成式AI做出应有的贡献。” 大久保贵史说道。

铠侠的NAND技术布局

近年来，NAND厂商在层数的比拼上非常卷，多家厂商争相发布300层以上的产品。关于闪存的微细化，柳茂知表示，铠侠主要从以下4个观点推进技术研发工作：

1、Laterial Scaling (平面方向的微细化)

2、Vertical Scaling(层数）

3、Archtecture Scaling（CUA -> CBA等）

4、Logical Scaling(TLC-> QLC->PLC)

“层数的比拼虽然能进一步提升单Die容量密度，但并不是唯一途径，而且层数过高会带来Block增大的后果，给客户的系统级封装带来难度。”柳茂知说道，“对于铠侠来讲，要根据不同客户和不同应用需求，提供我们不同的产品，努力实现闪存的高密度化和高性能化。例如，最新的BiCS8采用的是CBA技术（晶圆键合技术）。通过分别制造CMOS电路与存储单元阵列，缩小芯片尺寸，有望提高Gb密度和提高存储单元、外围电路的性能特性。”

市场开始回暖了吗？

虽然2023年第四季度，NAND市场回暖明显，但从今年初的消费电子和汽车市场需求来看，终端市场似乎都还没出现回暖。

对于今年存储应用市场的机会，铠侠中国副总裁 天野竜二 表示，通过各存储原厂调整生产及顾客清理库存，NAND供需平衡有改善倾向，预计2024年市场将持续回暖。特别是目前面向PC和智能手机的大容量存储器搭载机型增加，换购更大存储容量新机的需求将刺激市场进一步回暖。在企业重启IT投资下，2024年后半期，数据中心、企业级SSD的市场也有望回暖。

岡本成之 认为，在闪存市场，可见对生成式AI的需求有所期待。从中长期来看，考虑搭载AI的智能手机、PC、AI服务器等对NAND的需求也有所增加，“所以为了满足这些需求，铠侠将推进大容量、高速运行的存储设备研发工作。另外，不论市场行情如何，为了切实创造效益，我们将继续致力于削减生产成本和加快主力产品的研发速度。”