构建用于PCIeGen5SSD常温和温箱测试的批量测试可靠硬件平台

点击蓝字

关注我们

随着各大SSD厂商的PCIe Gen5 SSD的发布，以及这些产品即将进行市场发货，如何构建用于PCIe Gen5 SSD常温以及高低温批量测试的可靠硬件平台的任务逐渐摆在了SSD厂商研发测试部门以及即将使用Gen5 SSD的厂商测试部门的面前。

本文将带大家探讨如何构建一套可靠、稳定、良好Gen5信号的通用测试硬件，从而使得测试部门开发的各种针对SSD的性能、功能测试用例可以稳定地运行在上面。我们在Saniffer上海实验室搭建了用于本文的测试环境，Gen5台式机主板通过PCIe Gen5 switch卡的MCIO接口延长1米后连接到拟放入温箱的Gen5测试背板背面的MCIO接口，然后经过背板到正面的Gen5 U.2接口，然后再经过U.2/E3.S 转接卡接到Gen 5 E3.S SSD，我们可以看到整个链路还是可以非常稳定地工作在Gen5 x4状态。

具体视频讲解可以参考本文底部的视频链接。下图是我们本次搭建的环境一览。

图1：构建Gen5 SSD测试环境组成一览

下面我们来逐一介绍一下Gen5 SSD测试环境硬件的每一个环节。

1） Gen5 Switch Card

首先，为什么要使用PCIe Gen5 switch卡？这主要有下面几个方面的考虑：

• 提供批量测试的多个Gen5 SSD接入

参见下图，SerialCables公司的Gen5 switch卡提供4个标准的外接MCIO接口，工程师通过Gen5 MCIO延长线很容易拓展4个gen5 SSD。

图2：SerialCables Gen5 Switch卡正面图

• 提供最好的Gen5信号质量

参考《PCIe5.0, CXL, NVMe, NAND, DDR5, UFS4测试技术和工具白皮书Ver 9.0》的第5.1章节，我们平时实验室使用的常见品牌的PC或者工作站主机，无论是Intel Gen5 CPU还是AMD Gen5 CPU，从CPU经过主板的PCIe差分信号线“走到”Gen5 x16插槽的时候，信号就不好了。参见下图，我们看到16个lane的眼图大概总归有4~5个lane的眼图很不好。这样就导致如果直接通过转接卡连接盘的话很可能会导致“掉速”或“掉lane”。

图3：PCIe Gen5 PC工作站的x16插槽输出信号眼图

参照下图，经过Gen5 switch后的信号质量，该图是上面的Gen5 switch顶部的gen5 x16插槽的输出眼图，或者是外接的4xMCIO的输出眼图（4个MCIO可以自适应成x16, 2x8或者4x4使用）。

图4：经过Gen5 Switch卡后的x16（或者4x4）的16个lane的输出信号眼图

这样的话，就可以提供待测的SSD相对较好的信号质量。另外要注意点的一点：尤其是企业级Gen5 SSD，大部分情况下都是连接PCIe Gen5 switch背板。所以，使用Gen5 switch连接待测Gen5 SSD更加贴近真实应用场景。

• 提供热插拔能力**

这也是一个很重要的因素，即支持热插拔测试。在测试过程种如果某个或盘出现问题，那么需要将该盘在主机仍然工作的情况下拔出来，然后重新换一个新盘，然后接着测试。如果不使用Gen5 switch 卡，例如将盘直接转接后连接CPU，一般对于热插拔支持不好。当然，热插拔除了硬件支持外，也需要OS, BIOS和盘的支持。

为什么一般不使用Gen5 retimer或者redriver芯片来构建Gen5测试硬件呢？一个方面是这些芯片一般对于PC主板支持不好或者说不支持，即便采用服务器主机，也会面临诸多兼容性问题，简单来讲，你即便可以调通一个型号的Gen5 SSD，但是可能换另外一个信号的Gen5 SSD可能就会出现问题，随意非常不适合搭建测试环境使用。

2） Gen5 MCIO-MICO 1M cable

我们使用4根1米长的MCIO to MCIO的线缆连接Gen5 SSD测试背板，使用1米的线缆比较容易将测试背板放入到高低温箱里面。当然，如果搭建常温测试环境，也可以使用0.5米的MCIO to MCIO的线缆。参见下图为SerialCables Gen5 MCIO to MCIO 延长线。

图5：SerialCables 1米Gen5 MCIO to MCIO 线缆

3） Gen5 Backplane

该Gen5 SSD测试背板采用符合Gen5信号质量的板材设计，所有connector，包括MCIO和U.2均采用最新的大厂Gen5 connector。参见下图。

图6：Gen5 U.2背板背面和正面

为了方便将Gen5 U.2 SSD插入到Ž Gen5 Backplane背板，尤其是该背板在温箱里面的时候，一般需要用户单独定制机构件，参见下面的示意图。

图7：配合Gen5 U.2 背板定制开发的机构件示例

前面的Œ Gen5 Switch Card通过� Gen5 MCIO-MICO 1M cable（总计4根）分别从Switch卡的4个MCIO连接到该Ž Gen5 Backplane背面的4个MCIO接口，然后通过背板到达正面的对应的4个Gen5 U.2 SSD接口，如果是Gen5 E3.S SSD或者Gen5 M.2 SSD则需要通过转接卡转接到U.2。本文示例即使用Gen5 E3.S SSD进行演示。

下图是MCIO cable连接到背板背面的实际图片。其中左侧的线束为给四张SSD的供电线缆，右侧的扁平线缆为给每张盘的 sideband signal进行拉高、拉低的控制线缆。中间的网纹线缆为Gen5 MCIO to MCIO 线缆，另外一端为Gen5 switch卡的MCIO接口。示例图中为连接的端口3（从上面到下面以为为端口0, 1, 2, 3）。

图8：PCIe Gen5背板的背面（4个MCIO接口连接Switch卡）

下图为Gen5 背板的正面，我们在最下面的Gen5 U.2 接口连接了一块Gen5 SSD。但是该Dell EMC (OEM Kioxia) SSD是 Gen5 E3.S 接口，所以我们通过一块Gen5 U.2 to EDSFF转接卡将该盘转成U.2以后插入到背板最底下的3号口U.2插槽。

图9：PCIe Gen5背板的正面（Gen5 E3.S SSD经过E3/U.2转接卡插在slot 3）

4）Gen5 E.3/U.2 adapter

正常情况下测试Gen5 U.2 SSD无需此转接卡，直接将U.2 SSD插入测试背板即可。本次由于我们实验室暂时没有Gen5 U.2 SSD，所以不得已采用 Gen5 E3.S SSD，所以我们必须采用此转接卡将E3.S male转结成U.2 male从而插入测试背板，下图是我们的实拍图。

图10：SerialCables Gen5 U.2 to EDSFF 转接卡

当然，如果测试的Gen5 M.2 SSD，那么需要下面的Gen M.2 to U.2 adapter

图11：SerialCables Gen5 U.2 to M.2 转接卡

5）Gen5 E.3 NVMe SSD

下图是我们本次演示使用的Dell EMC (OEM Kioxia) Gen5 E3.S SSD。参见下图。

图12：Dell EMC (OEM Kioxia) Gen5 E3.S SSD

6）Power Control Module

下图是针对Gen5 SSD进行掉电/上电、电压拉偏、电压/电流/功耗量测，sideband信号控制的控制模块。参见下图。左边的图片为接入了USB TYPE-C管理线缆；右边的图片展示了连接Gen5 SSD背板的电源线和sideband边带信号控制线缆。

        图13：电源控制模块的侧视图

7）Signal Control Ribbon Cable

8）Power Supply Cable

9）Type-C USB management

上述三个部分请参见3） Gen5 Backplane背板背面图中对应的三根线缆的介绍。

10）Micro-USB management

我们通过该Micro-USB 接口使用Micro-USB to USB Cable 连接到控制电脑（例如笔记本），实现对于Gen5 switch的管理和配置，例如：查看上下行的速率和lane等建链情况；对于SSD进行掉电、上电；发送300ms PERST#拉高、拉低信号到SSD；通过SMBus发送相关的命令给SSD；测试SRIS等时钟支持模式；对于switch进行重置复位等操作。具体常用CLI命令参见下图。

         图14：Gen5 x16 Switch卡的管理命令行CLI

** 如果不考虑将Gen5 SSD放入温箱，那么在常温下面，也可以考虑将上文的Gen5 U.2背板换成8槽位E3.S Gen5 SSD背板的测试盘柜，参见下图。

       图15：SerialCables Gen5 8-bay JBOF测试盘柜（E3.S背板）

注意：由于一张Gen5 switch卡提供4个MCIO，如果希望盘柜的8个SSD接口都可以使用，那么需要配置2块Gen5 switch卡。具体关于Gen5测试盘柜的视频演示请参见Saniffer公众号的视频链接，或者下载《PCIe5.0, CXL, NVMe, NAND, DDR5, UFS4测试技术和工具白皮书Ver 9.0》参考1.3.1章节的第5个链接。下面是2023年上半年PCIe Gen5演示部分视频汇总。

1. 目前实测唯一可达PCIe Gen5 x16速度的1米PCIe插槽延长线！！！

https://mp.weixin.qq.com/s/K91s5yqyw-tmE8tSmtYnbw

2. 双端口（Dual Port) NVMe SSD技术简介和演示

https://mp.weixin.qq.com/s/mHiygKNtbwJnwz-5qqmb4Q

3. DDR5/LPDDR5协议分析仪简介

https://mp.weixin.qq.com/s/Aa32jcfwhr5kmXwyOGEM4Q

4. Kioxia Gen5 x4 E3.S SSD CD7在华硕AMD和Intel Gen5工作站的初始化过程

https://mp.weixin.qq.com/s/EmywOS9G_4JhsjpXbVZ2cQ

5. PCIe Gen5 E3.S SSD测试盘柜，switch卡，转接卡手把手演示

https://mp.weixin.qq.com/s/hj9wXDWbNMwBhQwkpmewyw

6. SerialTek PCIe Gen5分析仪和Gigabyte AORUS Gen5 M.2 SSD抓包分析演示

https://mp.weixin.qq.com/s/VXbFLdIT5GKfNoNwB9sRlw

7. 在Gen5 CPU和Gen5 SSD中间串接Gen5 switch后对于性能的影响演示

https://mp.weixin.qq.com/s/wB0IpOZ9B8UA9uZ6kQYDWg

8. PCIe Gen5 switch+retimer+1m extension cable+SerialTek Gen5分析仪演示

https://mp.weixin.qq.com/s/6y3ZcEwWJBN-bVMI4hOq0Q

9. PCIe协议分析仪debug诊断分析 Samsung PM1743

https://mp.weixin.qq.com/s/ma9mCmx4WICWPatz9oMbHg

10. 国产CPU和国产企业级NVMe SSD碰到的问题分析

https://mp.weixin.qq.com/s/AoxACsIJcIi3GQlfnqAPpQ

11. 国产100GE DPU碰到的问题分析

https://mp.weixin.qq.com/s/2p_4U6jmqV6v-TsBztKGyg

12. 国产高端企业级Gen5 SSD和消费类Gen5 M.2 SSD的接收端信号对比https://mp.weixin.qq.com/s/zzbM9CcvbV3EhdGxRCuJog

13. 售价仅几万美元的PCIe Gen5协议分析仪值得买吗？

https://mp.weixin.qq.com/s/ieMLV0bk6uaSwQsAx3PRFw

14. PCIe Gen5协议分析仪和协议仿真卡需要买一家的吗?

https://mp.weixin.qq.com/s/SIC_Q5C-pFYZmbkms-Pidw

15. PCIe Gen5 协议分析仪抓取Astera Gen5 x16 retimer卡和不同device之间的初始化分析视频

https://mp.weixin.qq.com/s/kKE4Asckrey37XOr7xlAfQ

16. 两块Broadcom PCIe Gen5 switch卡对接加电初始化简析

https://mp.weixin.qq.com/s/DtVZ6ETyGCjj5geUl7mKyg

17. PCIe Gen5x4协议分析仪解密系列 - 1. SerialTek 协议分析仪开箱介绍

https://mp.weixin.qq.com/s/0j0WwKjCeeOj-Ln0h2UIpw

18. PCIe Gen5x4协议分析仪解密系列 - 2. SerialTek PCIe Gen5协议分析仪组成和架构简介

https://mp.weixin.qq.com/s/RZBMdxEWqedmqawkj9TSMw

19. PCIe Gen5x4协议分析仪解密系列 - 3. PCIe Gen5协议分析仪Gen5 Pod + AIC Interposer连接演示

https://mp.weixin.qq.com/s/xw4F0HBTiXuKk3RoWVXLhQ

20. PCIe Gen5x4协议分析仪解密系列 - 4. 协议分析仪Gen5 Pod + U.2&U.3 Interposer连接

https://mp.weixin.qq.com/s/8bRLdAcEJtK3whoPRL2N8w

21. PCIe Gen5x4协议分析仪解密系列 - 5. Gen5 Pod+M.2 Interposer连接演示

https://mp.weixin.qq.com/s/I-3qRTAz8pg8fTzIgkO-5w

22. PCIe Gen5x4协议分析仪解密系列 - 6. Gen5 Pod+EDSFF (E1,E3) Interposer连接演示

https://mp.weixin.qq.com/s/TUOk5fkwnul_xQrXJl5g4w

23. PCIe Gen5x4协议分析仪解密系列 - 7. SerialTek PCIe Gen5 x16 WebGUI软件界面演示

https://mp.weixin.qq.com/s/4YS_iIBxqeIobjDxbI2kIQ

24. PCIe Gen5 x16 协议分析仪解密系列 - 1. SerialTek PCIe Gen5 x16协议分析仪开箱视频

https://mp.weixin.qq.com/s/YG0Q14UQ1X8OyGtH25yOmw

25. PCIe Gen5x16协议分析仪解密系列 -2. PCIe x16分析仪架构和x16 slot interposer连接演示

https://mp.weixin.qq.com/s/zXe-SH-e2FPzP_u0Vpmfww

26. PCIe Gen5x16协议分析仪解密系列 - 3. SerialTek PCIe Gen5 x16协议分析仪开机演示

https://mp.weixin.qq.com/s/rpFkeIE5SbMZ7EbjkvtdZg

27. PCIe Gen5x16协议分析仪解密系列 - 4. SerialTek PCIe Gen5 x16协议分析仪拆机过程演示

https://mp.weixin.qq.com/s/d_oIpu7xX-62sOK0IF9qnA

28. PCIe Gen5x16协议分析仪解密系列-5. Gen5 x16 WebGUI软件界面演示

https://mp.weixin.qq.com/s/ZVP7YoWm_zTnsjiu250Ozg

29. 益企研究院使用Quarch PAM测试Solidigm D5企业级SSD

https://mp.weixin.qq.com/s/nwu3rDoNEYNfvzF-ToBIgQ

欢迎扫描下面的二维码，获取《PCIe5.0, CXL, NVMe, NAND, DDR5, UFS4测试技术和工具白皮书Ver 9.0》文档，或者点击本文左下角的“阅读原文”留下你的邮箱等信息，我们可以后续通过邮件大附件发给你，全书1052页，PDF文档大小116MB。或者访问下面的链接下载：

https://www.saniffer.com/中文/文档下载/

https://pan.baidu.com/s/1HwcHSf75dFVK9-wGM9mDPA?pwd=yk65

< 长按识别二维码添加好友 >

加入上述群聊

长按并关注

带你走进万物存储、万物智能、

万物互联信息革命新时代

微信号：SSDFans