本测试规范旨在为 NVMe SSD Raid 环境下，通过对不同的NVMe Raid 实现方式以及不同 Raid Level 的实践测试，对不同的NVMe Raid 性能影响因子进行分析找到性能优化方案以及选取合适的性能使用场景
试规范的范围涵盖了不同的 NVMe Raid 实现方式：VROC；Tri-mode；旁路 Raid；GRaid；SW Raid。以及不同平台，不同环境，不同 Raid Level 的性能优化。
2024中国物联网安全行业概览：解除网络威胁，物联网的智能守护
《2024 ODCC ETH-X超节点技术合集》
1、2024 ODCC ETH-X超节点AI 整机柜设计规范 2、2024 ODCC ETH-X互联报告 3、2024 ODCC ETH-X计算节点参考设计 4、2024 ODCC ETH-X交换节点硬件规范
2024 ODCC 面向AI东西向流量的高性能以太网络测试
2024 ODCC 通用算力交付验收技术规范
2024 ODCC AI数据中心网络建网参考报告
2024 ODCC PUE与WUE双优型数据中心构建方法技术报告
《2024 ODCC Raid Card技术报告合集》
1、2024 ODCC Raid Card性能测试技术报告 2、2024 ODCC NVMe SSD Raid 性能测试技术报告
2024 ODCC 边缘计算AI推理技术场景与挑战
2024 ODCC 基于DPU的高性能存储网络技术报告
2024 ODCC OTII-E模块化服务器技术规范
2024 ODCC S3IP-风扇及电源模组设计规范
测试规范旨在提供一套统一的测试方法和指导，以确保在不同NVMe Raid 实现方案以及不同的应用场景与平台上面实现性能结果的最优化。测试规范不涉及 NVMe 协议的设计和开发，也不涉及 NVMeRaid 实现的具体实现方法。它仅涉及对 NVMe Raid 性能的调优以及测试方法。
WA 即写放大系数，在 nand-based SSD 中，因为 nand 独特的擦写特性，会造成写放大现象，即实际用户写 入量会不等于 nand 写入量，而 nand 是有寿命的(PE Cycle)。
QoS 即服务质量，指在规定的时间内，以稳定一致的性能完成所有请求的能力。在本规范中如果没有特殊 说明，QoS 量化指标是以 99%和 99.99%的可信度给出最大的响应时间。99%又可写为 2 9s,同理 99.99%又 可写为 4 9s。
从应用角度来讲，Enterprise Disk 往往进行着全年全天候的运行，因此产品短时间内的高性能不足以衡量一 个产品的性能质量，Enterprise Disk 通常要具备稳定高性能，特别是大压力下的稳定高性能的能力。连续的 高压力下的性能抖动现象称为“毛刺” ，譬如产生超长延时等。QoS 与 Performance Consistency 通常可以作 为性能稳定性的衡量指标。
基于nand 的 SSD ，其所有容量通常会分为用户空间和 OP,随着 host 对 SSD 写入大量随机数据，SSD 内部就会产生 GC,GC 会占用内部带宽资源从而影响外部性能，这就是稳态性能与性能波动(一般 client 产品会比较 明显)的概念来源。用户空间和 OP 是相对的概念，一般 OP 指的是 SSD 预留的固定的空间大小，但事实上 只使用一部分用户空间，其另一部分不被使用的用户空间会同样具备 OP的功能。
性能一致性，一开始是用于探索固态硬盘（ nand-based）空闲可用空间和性能之间关系的指标。这个指标 的目的是考察固态硬盘性能(特别是 IOPS)随时间发生的变化，如果一直保持很好的一致性，则说明产品性 能稳定，可以带来更好的体验。
Purge 指的是硬盘数据的擦除，SSD 在经过长时间的复杂负载写入后，会导致内部 Mapping Table 非常复杂，内部 GC 占用用户带宽。为了确保测试结果的一致性，不随着测试的进行导致硬盘性能逐渐降低，可以通过 Purge 对盘进行底层数据擦除。
NVMe Raid 类型
（一）Software RAID
NVMe 软件 RAID 的概念与已经用于机械硬盘的概念非常相似，使用主机系统的 CPU 来处理 NVMe 指令并进行校验和计算。不同之处在于 NVMe 通过 PCIe 连接到存储设备，带宽更高，延迟更低，指令集设计更简单，因此通过 CPU 直接处理 RAID 效率更高。
以 RAID-0 读取为例:当应用程序读取任何 4K 块时，它将生成一条读取 NVMe 的指令。软件 RAID 模块收到该指令后，只需要对指定的 SSD 硬盘进行解释并生成新的 NVMe 命令。然后 SSD 可以直接通过 DMA 将数据发送到应用程序可以访问的缓冲区。
（二）Tri-mode Hardware RAID
当使用 HDD 时，硬件 RAID 是一个很好的解决方案。所有 RAID逻辑都是在一个单独的硬件控制器上完成的，它可以从主机 CPU 中卸载计算。然而，正因为如此，所有的数据读写都必须经过 RAID 控制器。
目前市场上最常见的 NVMe SSD 传输接口是 PCIe Gen4X4/Gen5x4:如果使用更好规格的 SSD，通过 PCIe Gen4x8/x16 连接到主机的RAID 控制器很容易成为性能瓶颈。此外，所有 ssd 都必须直接连接到硬件 RAID 控制器上，但由于控制器本身的 PCIe 通道数量非常有限，这将直接限制控制器可以用来建立 RAID 的 ssd 数量，除非增加PCIe 交换机，这反过来又会对服务器系统的设计和成本产生相当大的影响。
（三）GRAID
GRAID SupremeRAID通过将虚拟 NVMe 控制器安装到操作系统上，并将 PCIe 设备集成到配备高性能 AI 处理器的系统中，以处理虚拟 NVMe 控制器的所有 RAID 操作。
（四）旁路 RAID
旁路 Raid 是通过 NVMe SSD 作为 Raid 计算来说实现的 NVMeRaid，整体功能原理与 GRaid 类似。
旁路 Raid 为标准 NVMe 主机接口，不需要额外驱动，支持 NVMeE2E 保护支持 0~128GB DDR5 及 0~64TB NAND flash 缓存。
RAID 类型
支持 RAID 0,1,5,6,10,50,60 及 纠删码 EC(N+8)。
阵列大小
支持超过 24 个盘， EC RAID 支持多达 8 个 parity 盘。
带宽
顺序读 336GB/s(24 盘），顺序写：28GB/s（双卡 56GB/s）。
IOPS
随机读 14M iops，随机写 2M iops（双卡 4M iops）。
可以支持压缩及写聚合功能（随机写转换为顺序写）对使用者友好，不需要更改背板即可支持高速 NVMe RAID 功能硬件 RAID 卡构，有掉电保护，与传统 RAID 卡使用习惯一致支持主从 RAID 架构，进一步提升写性能。
（五）VROC
Intel Virtual RAID on CPU (Intel VROC)是一种实现 NVMe SSD RAID 功能的解决方案。在 Intel VMD 硬件通路支持下 Intel VROC提供可启动的 RAID。
Raid 理论性能模型
RAID 理论模型定义了 RAID 系统的最大理论性能，模型不考虑硬件和软件的限制、损耗，但是在现实应用中，由于硬件和软件的限制，以及可能存在的特殊设计理念，其中一些数值可能无法在现实世界中实现，这种情况不在本模型考虑范围之内。
性能总结
（一）Tri-mode
存在一定的上限，顺序读带宽在 14G 左右,顺序写带宽在 13G 左右，随机读写不作为主要研究对象
同样盘位 RAID0/1 模型下测试 Tri-more 顺序读 1M/128K 处于同一水平，顺序写低于其他模型
（二）RAID0 模式下
GRAID&VROC&Mdadm 处于同一水平线
（三）RAID1 模式下
顺序写的带宽 GRAID&Mdadm 优于 VROC
顺序读基本处于同一水平线
随机读 GRAID 性能远高于 VROC&Mdadm
随机写 VROC 有优势
（四）RAID5 模式下
顺序读 GRAID&Mdadm 略高于 VROC
顺序写/随机读写 GRAID 远高于 VROC &Mdadm
测试 Tri-more 顺序写低于 GRAID&Mdadm &VROC 1M/128K，顺序写 1M/128K 高于 Mdadm&VROC
（五）RAID10 模式下
Tri-mode 模式表现较差
GRAID&Mdadm&Tri-mode 支持 RAID6
下载链接：
《2024年中国AI Agent研究合集》
1、2024年中国AI Agent研究：创新驱动，智能技术革新
2、中国AI Agent行业研究：智能体落地千行百业，引领智能化革命的新引擎
AI Agent在解决大模型应用难题中的关键作用
AI Agent行业词条报告：驱动智能交互变革，重塑服务生态
AI Agent在企业生产中的技术实践
《AI Agent技术应用合集》
1、面向办公自动化领域的 AI Agent 建设思考与分享
2、AI Agent 在企业经营分析场景的落地
3、LLM和Multi-Agent在运维领域的实验探索
《HotChips 2024大会技术合集（1）》
《HotChips 2024大会技术合集（2）》
《HotChips 2024大会技术合集（3）》
《HotChips 2024大会技术合集（4）》
《HotChips 2024大会技术合集（5）》
《HotChips 2024大会技术合集（6）》
《HotChips 2024大会技术合集（7）》
《HotChips 2024大会技术合集（8）》
机器人专题研究：产业发展概览（2024）
《算力网络：光网络技术合集（1）》
1、面向算力网络的新型全光网技术发展及关键器件探讨
2、面向算力网络的光网络智能化架构与技术白皮书
3、2023开放光网络系统验证测试规范
4、面向通感算一体化光网络的光纤传感技术白皮书
《算力网络：光网络技术合集（2）》
1、数据中心互联开放光传输系统设计
2、确定性光传输支撑广域长距算力互联
3、面向时隙光交换网络的纳秒级时间同步技术
4、数据中心光互联模块发展趋势及新技术研究
面向超万卡集群的新型智算技术白皮书
面向AI大模型的智算中心网络演进白皮书
《半导体行业系列专题合集》
1、半导体行业系列专题：刻蚀—半导体制造核心设备，国产化典范
2、半导体行业系列专题：碳化硅—衬底产能持续扩充，加速国产化机会 3、半导体行业系列专题：直写光刻篇，行业技术升级加速应用渗透 4、半导体行业系列专题：先进封装—先进封装大有可为，上下游产业链受益
本号资料全部上传至知识星球，更多内容请登录智能计算芯知识（知识星球）星球下载全部资料。
免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。
温馨提示：
请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享，点击“阅读原文”获取更多原创技术干货。
