ZNSwap:探索内存交换的新出路

SSDFans 2023-07-26 07:33

背景

内存交换技术是当内存紧缺的时候,将内存中的页面交换到交换设备中(如zRAM,SSD等)。随着SSD的性能越来越好,越来越多的交换设备采用SSD。然而对于块SSD来说,数据频繁写入更新会导致频繁触发垃圾回收(GC)进行空闲空间的回收。而其中的有效数据搬移会导致额外的写放大,因此垃圾回收的效率决定了对寿命的影响程度。Zoned Namespace (ZNS)是一种新型SSD存储接口特性。一个ZNS SSD是由一系列逻辑可寻址zone(区域)组成,而每个区域物理上与SSD擦除粒度Block是对齐的。区域内的读可以是随机的,但是写必须是顺序的。

动机

对于数据中心而言,交换性能十分关键。因此本文针对于交换逻辑和SSD行为之间的相互作用进行分析,并得出4点重要发现。

发现1:块SSD执行GC时无法感知到已解除分配的交换槽(swap-slots)。

块设备SSD通常使用TRIM命令来使设备感知到交换槽的释放,然而对降低由于内存交换导致的GC开销效果并不明显。这是因为对于传统大粒度TRIM而言,连续512个逻辑地址页面的TRIM比较难以达到,故而TRIM指令的下发很少,使得效果并不明显;同时对于小粒度TRIM而言,由于TRIM本身带有的开销(如命令下发,元数据加载修改开销等),使得其效果也并不是很理想。图1展示了实验结果。

图1 TRIM对设备性能的影响

发现2:交换缓存无法感知到GC。

图2展示了设备使用率对读性能的影响。理论情况下不同设备使用率对读性能应该没有影响,然而经过测试发现当设备使用率高的时候读性能和写放大系数发生了变化。这跟交换缓存实现的原理有关。当设备使用率超过50%时,所有交换读请求不会存放在交换缓存中,此时swap-slot会被释放。当内存中逐出该数据时,则需要重新将数据写入交换设备中。这样设计的原因有二,一是避免swap-slot过多带来的管理开销,二是避免设备垃圾回收时搬移过多的数据量。图3展示了交换缓存中截断阈值对性能设寿命的影响。其中发现对读负载,阈值越大表现越好,因为避免了数据的额外写入;对读写混合负载,阈值越小表现越好,因为及时无效外存数据则会提升垃圾回收效率,提高性能。而对于静态阈值无法很好地满足不同工作负载的表现。

图2 设备使用率对读性能的影响

图3 交换缓存截断阈值对性能和寿命的影响

发现3:GC无法感知到页面访问特征。

    对于TRIM而言,常见使用大粒度TRIM来降低开销。然而对于倾斜度较大的负载,无效掉的数据往往无法十分连续。这会影响TRIM的下发,从而影响GC效率。经过测试发现,采用均衡负载时,换出带宽为480MB/s;然而对于倾斜负载(512-slots TRIM)时,换出带宽为195MB/s,同时对于倾斜负载(8-slots TRIM)换出带宽为324MB/s。因此针对不同页面访问特征,GC无法很好的感知到,导致整体性能下降。

发现4:GC无法感知到操作系统的性能隔离。

    图4显示了不同进程的换入带宽。CG.A为纯读进程,CG.B为读写混合进程。通过图中可以发现,不同进程之间的性能会被相互影响。而理想状态下不同进程之间的性能应该不受到影响,如读写混合负载引发的GC不应该影响纯读负载的性能。

图4 进程之间性能的相互影响

方法

为了解决上述的四个问题,ZNS SSD在本文中被使用。这是因为ZNS SSD随着设备使用率的提升依然保持着稳定的性能,如图5所示。本文提出ZNSwap,其中有三个关键设计目标:1. 实现资源高效的主机端GC:降低主机端GC最为消耗资源的反向映射表的开销。2. ZNGC-OS一体化:ZNGC可以直接获取操作系统暴露的信息来优化swap性能,避免TRIM的开销。3. 交换数据放置策略:通过一系列接口实现每个核之间的性能隔离、冷热数据间的性能隔离和进程之间的性能隔离。

图5 ZNS SSD随着设备使用率的不同性能的变化

1. ZNGC:ZNGC中实现了反向映射的设计,通过在页面的OOB区域中存储结构体来进行反向映射,而非通过记录地址转换表,从而节省开销。具体结构体设计如图6所示。

图6 Linux反向映射设计,阴影部分为ZNGC反向映射时所需要用到的结构体

2. ZNGC-swap一体化:其中包括四个部分内容。a)物理zone(空间)信息:每个空间与swap-slots的映射相关联,映射存储了每个swap-slot的状态。这样ZNGC和OS就可以立马知道swap-slot的状态转变,不需要TRIM和截断阈值来管理交换缓存。b)交换空间抽象:可以被用来swap-slot分配的活跃空间通过交换空间抽象进行暴露,从而避免管理物理空间的复杂性。c)ZNSwap策略:提供一系列接口使得可以定制化空间分配策略和回收策略。d)接口:本文定义了三个标准api,核策略、冷热策略和进程策略,分别是对每个核的数据、冷热数据和进程数据进行性能隔离。

图7 ZNGC 策略接口

实验结果

ZNGC-交换子系统收益:换出带宽实验结果如图8所示。正如预期,随着设备使用率的提升GC负担越重。同时,该文章衡量了80%设备使用率时,CPU的最大开销。发现,ZNGC的CPU开销小,同时交换性能表现更好。同时跟采用截断阈值相比,ZNSwap可以达到图3中的ideal。

图8 换出带宽和写放大与设备使用率的关系

进程交换性能隔离:同时运行两个进程,一个只读,一个只写,观察两个进程的换入性能。结果如图9所示。使用进程策略,可以使得ZNswap在该条件下达到最优带宽。

图9 进程性能隔离实验结果

总结

    本篇文章针对基于块SSD开启内存交换进行分析后得出四个结论,块SSD垃圾回收时所存在的缺陷。进而提出使用ZNS SSD,并进行内存交换的优化设计。具体包括资源搞笑的主机端GC、ZNGC-OS一体化和交换数据放置策略。通过最终的实验结果可以得出,ZNswap可以得到较好的性能和较低的写放大,同时也实现了较好的性能隔离。

The End

致谢


感谢本次论文解读者,来自华东师范大学的博士生罗龙飞,主要研究方向为混合式存储优化。


 点一下“阅读原文”获取论文

SSDFans AI+IOT+闪存,万物存储、万物智能、万物互联的闪存2.0时代即将到来,你,准备好了吗?
评论 (0)
  • 一、行业背景与需求随着智能化技术的快速发展和用户对便捷性需求的提升,电动车行业正经历从传统机械控制向智能交互的转型。传统电动车依赖物理钥匙、遥控器和独立防盗装置,存在操作繁琐、功能单一、交互性差等问题。用户期待通过手机等智能终端实现远程控制、实时数据监控及个性化交互体验。为此,将蓝牙语音芯片集成至电动车中控系统,成为推动智能化升级的关键技术路径。二、方案概述本方案通过在电动车中控系统中集成WT2605C蓝牙语音芯片,构建一套低成本、高兼容性的智能交互平台,实现以下核心功能:手机互联控制:支持蓝牙
    广州唯创电子 2025-04-18 08:33 121浏览
  • 现阶段,Zigbee、Z-Wave、Thread、Wi-Fi与蓝牙等多种通信协议在智能家居行业中已得到广泛应用,但协议间互不兼容的通信问题仍在凸显。由于各协议自成体系、彼此割据,智能家居市场被迫催生出大量桥接器、集线器及兼容性软件以在不同生态的设备间构建通信桥梁,而这种现象不仅增加了智能家居厂商的研发成本与时间投入,还严重削减了终端用户的使用体验。为应对智能家居的生态割裂现象,家居厂商需为不同通信协议重复开发适配方案,而消费者则需面对设备入网流程繁琐、跨品牌功能阉割及兼容隐患等现实困境。在此背景
    华普微HOPERF 2025-04-17 17:53 53浏览
  • 置信区间反映的是“样本均值”这个统计量的不确定性,因此使用的是标准误(standard error),而不是直接用样本标准差(standard deviation)。标准误体现的是均值的波动程度,而样本标准差体现的是个体数据的波动程度,两者并非一回事,就如下图所显示的一样。下面优思学院会一步一步解释清楚:一、标准差和标准误,究竟差在哪?很多同学对“标准差”和“标准误”这两个概念傻傻分不清楚,但其实差别明显:标准差(Standard Deviation,σ或s):是衡量单个数据点相对于平均值波动的
    优思学院 2025-04-17 13:59 25浏览
  •   北京华盛恒辉无人机电磁兼容模拟训练系统软件是专门用于模拟与分析无人机在复杂电磁环境中电磁兼容性(EMC)表现的软件工具。借助仿真技术,它能帮助用户评估无人机在电磁干扰下的性能,优化电磁兼容设计,保障无人机在复杂电磁环境中稳定运行。   应用案例   目前,已有多个无人机电磁兼容模拟训练系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机电磁兼容模拟训练系统。这些成功案例为无人机电磁兼容模拟训练系统的推广和应用提供了有力支持。   系统功能   电磁环境建模:支持三维
    华盛恒辉l58ll334744 2025-04-17 15:10 60浏览
  • 自动驾驶技术的飞速发展,正在重新定义未来出行的边界。从感知到决策,从规划到控制,每一个环节都离不开海量、精准的高质量数据支撑。然而,随着传感器数量的增加和数据规模的指数级增长,行业正面临一系列挑战:多源传感器数据的时间同步难题、复杂数据格式的适配、测量技术的灵活性不足、设备集成周期冗长等,这些问题正成为自动驾驶研发与测试的“隐形瓶颈”。基于技术积累与行业洞察,本文分享一套创新的ADAS时空融合数据采集方案。通过硬件与软件的深度协同优化,能够很好地解决数据采集中的核心痛点,还为自动驾驶研发提供了高
    康谋 2025-04-17 09:54 52浏览
  •   无人机蜂群电磁作战仿真系统软件,是专门用于模拟、验证无人机蜂群在电磁作战环境中协同、干扰、通信以及对抗等能力的工具。下面从功能需求、技术架构、典型功能模块、发展趋势及应用场景等方面展开介绍:   应用案例   目前,已有多个无人机蜂群电磁作战仿真系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机蜂群电磁作战仿真系统。这些成功案例为无人机蜂群电磁作战仿真系统的推广和应用提供了有力支持。   功能需求   电磁环境建模:模拟构建复杂多样的电磁环境,涵盖各类电磁干扰源与
    华盛恒辉l58ll334744 2025-04-17 16:49 73浏览
  • 近日,全球6G技术与产业生态大会(简称“全球6G技术大会”)在南京召开。紫光展锐应邀出席“空天地一体化与数字低空”平行论坛,并从6G通信、感知、定位等多方面分享了紫光展锐在6G前沿科技领域的创新理念及在空天地一体化技术方面的研发探索情况。全球6G技术大会是6G领域覆盖广泛、内容全面的国际会议。今年大会以“共筑创新 同享未来”为主题,聚焦6G愿景与关键技术、安全可信、绿色可持续发展等前沿主题,汇聚国内外24家企业、百余名国际知名高校与科研代表共同商讨如何推动全行业6G标准共识形成。6G迈入关键期,
    紫光展锐 2025-04-17 18:55 144浏览
  • 一、汽车智能化浪潮下的蓝牙技术革新随着智能网联汽车的快速发展,车载信息娱乐系统(IVI)正从单一的驾驶辅助向“第三生活空间”转型。蓝牙技术作为车内无线连接的核心载体,承担着音频传输、设备互联、数据交互等关键任务。然而,传统方案中MCU需集成蓝牙协议栈,开发周期长、成本高,且功能扩展性受限。WT2605C蓝牙语音芯片应势而生,以双模蓝牙SOC架构重新定义车用蓝牙系统的开发模式,通过“多、快、好、省”四大核心价值,助力车企快速打造高性价比的智能座舱交互方案。二、WT2605C芯片的四大核心优势1.
    广州唯创电子 2025-04-17 08:38 52浏览
  •   无人机电磁兼容模拟训练系统软件:全方位剖析   一、系统概述   北京华盛恒辉无人机电磁兼容模拟训练系统软件,专为满足无人机于复杂电磁环境下的运行需求而打造,是一款专业训练工具。其核心功能是模拟无人机在电磁干扰(EMI)与电磁敏感度(EMS)环境里的运行状况,助力用户评估无人机电磁兼容性能,增强其在复杂电磁场景中的适应水平。   应用案例   目前,已有多个无人机电磁兼容模拟训练系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机电磁兼容模拟训练系统。这些成功案例为
    华盛恒辉l58ll334744 2025-04-17 14:52 34浏览
  • 1. 在Ubuntu官网下载Ubuntu server  20.04版本https://releases.ubuntu.com/20.04.6/2. 在vmware下安装Ubuntu3. 改Ubuntu静态IP$ sudo vi /etc/netplan/00-installer-config.yaml# This is the network config written by 'subiquity'network:  renderer: networkd&nbs
    二月半 2025-04-17 16:27 74浏览
  • 【摘要/前言】4月春日花正好,Electronica就在浪漫春日里,盛大启幕。2025年4月15-17日,慕尼黑上海电子展于上海新国际博览中心成功举办。伴随着AI、新能源汽车、半导体的热潮,今年的Electronica盛况空前。请跟随Samtec的视角,感受精彩时刻!【 Samtec展台:老虎的朋友圈技术派对】借天时、占地利、聚人和,Samtec 展台人气爆棚!每年展会与大家相聚,总能收获温暖与动力~Samtec展台位于W3展馆716展位,新老朋友相聚于此,俨然一场线下技术派对!前沿D
    电子资讯报 2025-04-17 11:38 42浏览
  •   无人机电磁环境效应仿真系统:深度剖析   一、系统概述   无人机电磁环境效应仿真系统,专为无人机在复杂电磁环境下的性能评估及抗干扰能力训练打造。借助高精度仿真技术,它模拟无人机在各类电磁干扰场景中的运行状态,为研发、测试与训练工作提供有力支撑。   应用案例   目前,已有多个无人机电磁环境效应仿真系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机电磁环境效应仿真系统。这些成功案例为无人机电磁环境效应仿真系统的推广和应用提供了有力支持。   二、系统功能  
    华盛恒辉l58ll334744 2025-04-17 15:51 81浏览
  • 一、行业背景与需求智能门锁作为智能家居的核心入口,正从单一安防工具向多场景交互终端演进。随着消费者对便捷性、安全性需求的提升,行业竞争已从基础功能转向成本优化与智能化整合。传统门锁后板方案依赖多颗独立芯片(如MCU、电机驱动、通信模块、语音模块等),导致硬件复杂、功耗高、开发周期长,且成本压力显著。如何通过高集成度方案降低成本、提升功能扩展性,成为厂商破局关键。WTVXXX-32N语音芯片通过“单芯片多任务”设计,将语音播报、电机驱动、通信协议解析、传感器检测等功能整合于一体,为智能门锁后板提供
    广州唯创电子 2025-04-18 09:04 125浏览
  •   无人机蜂群电磁作战仿真系统全解析   一、系统概述   无人机蜂群电磁作战仿真系统是专业的仿真平台,用于模拟无人机蜂群在复杂电磁环境中的作战行为与性能。它构建虚拟电磁环境,模拟无人机蜂群执行任务时可能遇到的电磁干扰与攻击,评估作战效能和抗干扰能力,为其设计、优化及实战应用提供科学依据。   应用案例   目前,已有多个无人机蜂群电磁作战仿真系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机蜂群电磁作战仿真系统。这些成功案例为无人机蜂群电磁作战仿真系统的推广和应用提
    华盛恒辉l58ll334744 2025-04-17 16:29 81浏览
我要评论
0
0