内存互连技术在云上异构池化架构实践

当前内存架构存在的问题

• 一个典型集群的内存利用率。当内存资源局限在一台物理服务器内时，则很难提高内存利用率

• 在分布式计算架构中，通常为了减小节点间数据搬运的开销，会在各节点保存数据副本，消耗了大量内存资源

• 内存型数据库，PageRank，图计算等场景体现出单点大容量的诉求，而目前常见的解决方案是依靠多路CPU的堆叠，成本较高

• CPU核心数与内存容量的固定配比，会导致售卖时产生内存碎片

• 网络从100G向200G/400G演进，而CPU的内存通道数并未等比例增加。按照这个趋势，网络与内存带宽是否会mismatch？

云上内存架构的演进趋势

1. 单节点大容量：内存型数据库、大数据运算、图计算
2. 共享内存：减少节点间数据副本、实现业务秒级扩/缩容、宕机快速恢复
3. CPU/Memory解耦：vCPU/Mem灵活配比、快速升降内存配置、降低实例内存成本。

• 1. 阿里巴巴作为CXL的创始成员和Gen-Z的主要成员，推动了生态伙伴的不断完善，参与了协议的制定、使用场景分析以及原型搭建。
• 2. Compute Express Link 是开源的互联协议规范。CXL提供高带宽，低时延的处理器与异构加速器之 间的互联。其物理层基于PCIe 5.0. CXL的内存一致性和内存语义的特点，可以有力支持节点内的内存扩展应用。
• 3. Gen-Z是以内存为核心的平面化架构的互联协议。在Gen-Z体系中，任何部件都可以发起对其他部件内存的操作，不再需要host的角色。且CPU与内存解耦，内存可以独立scaleout。Gen-Z 的物理层可以支持远距离传输，与CXL互补。
• 4. Storage Class Memory (SCM) 作为新出现的可持久化内存，与DDR相比，可以带来更好的TCO以及数据的可靠性。

• 全局访问：为云上应用程序提供一致本地和远端（全局）内存系统；本地可作为远端cache或近端内存，本地和远端统一呈现
。
• 极致时延：并提供跨节点间us级数据访问，构建适合内存语义的互联技术，获得极致时延。
  
• 单机容量：突破单机内存容量
；容量
当前受限于CPU封装技术，单机容量有限，受限于服务器物理尺寸，DIMM形式转向卡式。
• 弹性共享：提供极致内存弹性和数据共享，基于扩展内存，实现内存容量物理解耦，数据直接共享，避免IO栈带来开销。

• 本地的高性能DDR可以服务对SLA要求高的应用，扩展内存池可以作为容量上的补充
• 扩展内存池的实现可以是FPGA下挂DDR或SCM，通过一致性接口如CXL，与处理器互联
• 将支持内存语义的高性能互联协议如GenZ，覆盖到FPGA的网络端口，构建Memory Fabric
• FPGA还可以作为近内存计算引擎，加速如加解密，压缩/解压缩等操作

• 1. 支持业务快速扩容，秒级弹性，宕机快速恢复
• 2. CPU/Mem灵活配比，快速升降内存配置
• 3. 实现计算与内存解耦，内存独立scale out，降低系统TCO，满足大内存容量诉求
• 4. 减少数据副本，降低内存开销
• 5. 基于SCM的内存池，降低内存TCO的同时可以作为本地持久化方案
• 6. 近内存池计算带来的性能提升。

下载链接：

内存互连技术在云上异构池化架构实践

实现PCI Express 5.0和CXL设计的最大吞吐量和最低延

Hyperion_Research：CXL and Gen-Z Consortiums Combine Forces

内存技术篇

《1、半导体行业存储器技术研究》

《2、存储器结构性分道篇－重内存》

下载链接：

内存互连技术在云上异构池化架构实践

实现PCI Express 5.0和CXL设计的最大吞吐量和最低延

Hyperion_Research：CXL and Gen-Z Consortiums Combine Forces

内存技术篇

《1、半导体行业存储器技术研究》

《2、存储器结构性分道篇－重内存》

CCIX缓存一致性互联技术概述

ARM CPU处理器资料汇总（1）

ARM CPU处理器资料汇总（2）

ARM系列处理器应用技术完全手册

CPU和GPU研究框架合集

本号资料全部上传至知识星球，更多内容请登录智能计算芯知识（知识星球）星球下载全部资料。

免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。

电子书<服务器基础知识全解(终极版)>更新完毕，知识点深度讲解，提供182页完整版下载。

获取方式：点击“阅读原文”即可查看PPT可编辑版本和PDF阅读版本详情。

温馨提示：

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享，点击“阅读原文”获取更多原创技术干货。