pNFS协议在AI时代带来更大的可能性

原创 汽车电子设计 2024-03-06 09:25
芝能科技出品

随着人工智能(AI)和云技术的崛起,企业IT正经历着自互联网诞生以来最深刻的变革。这两股力量如同风口浪尖一般,共同重新定义了21世纪IT的格局。

云技术已经彻底改变了IT运营的"地点"。从过去的本地化到现在的云端,企业可以更加灵活地管理资源,提高效率。人工智能正极大地重塑着IT的"方式",开创了一个重新定义企业计算边界的时代。



01


数据激增与性能需求

● 数据的需求


随着数据在全球飞速增长,到2025年,全球数据创建将达到180 ZB。这种激增对性能提出了更高要求,数据需要更易于访问和使用,以支持现代应用程序和工作流程。这也催生了对IT基础设施的新需求。


人工智能的兴起不仅在超级计算中心和高性能计算领域迅速推动了基础设施需求,而且也在企业IT活动和用例中得到广泛应用。这为IT带来了前所未有的挑战,包括存储接口的使用等方面。在这个变革的时代,Linux社区正在推动数据路径性能的提升。特别是通过引入NFSv4.2,提高NFS协议的速度和效率,为数据密集型、分布式应用程序提供更好的支持。


 pNFS协议的演进


pNFS协议的引入解决了并行文件系统的问题,使NFS适应了大规模操作的现代用例。Hammerspace公司通过引入Flex Files对Linux社区做出了贡献,实现了实时文件移动性,提高了文件访问性能。Hammerspace公司在全球数据环境解决方案中采用pNFS和Flex Files,实现了超大规模NAS功能。与传统的横向扩展NAS相比,这种方法降低了数据路径的复杂性,提高了硬件性能。

随着以太网连接SSD(eSSD)的出现,NFS服务器可以直接嵌入到eSSD中,为数据重传、延迟等提供更好的性能。这种创新使得技术能够以更低的延迟、更少的数据重传和更低的功耗实现更高的可靠性和可维护性。当前IT结构的变革是未来可能性的先导。从互联网的早期到人工智能和云革命,每一次的进步都为下一次的飞跃创造了可能性。

在这个变革的时代,我们要适应变化,创造一个超越当今限制的未来,为企业、政府和学术界开辟新的视野。今天所拥抱的开放进步为明天的企业IT带来了无限的潜力。


02


NFSv4.1的革新

为了实现高性能,GPU需要在计算过程中能够无缝地访问数据。目前,GPU直接存储等技术正在推动通过高带宽链接对大量存储进行访问。为了在GPU和存储阵列之间建立高效的通信,必须设置多个并行通道。

这其中,选择合适的通信方式对于保证网络通道的饱和度至关重要。传统的NFSv3服务器在处理这样的负载时显得力不从心,因为它的设计是基于单服务器、多客户端模型的。为了实现链路的完全饱和并保持GPU的高负荷运转,必须建立一个包含多个I/O路径的框架,以推动存储和计算之间的并发I/O。并行文件系统的出现旨在将数据划分为多个部分并将其存储在多个服务器上,以实现并发访问。这种文件系统能够独特地索引数据的各个区域,从而实现同时访问。通过协调多个I/O路径的使用,大大提高了I/O性能。

NFS 4.1版本是对一些NFS高速访问限制的重大重新设计,旨在提升性能。并行NFS(pNFS)是其中的一项关键功能,支持真正的横向扩展,使数据可以分布在多个服务器上,客户端可以通过多个路径直接访问。pNFS的另一个显著特征是,它使客户端能够使用文件布局驱动程序与服务器进行通信,从而隔离了元数据和数据的流量,使其可以由集群内的不同服务器独立提供服务。在NFSv4.1中引入的会话中继功能解决了网络带宽最大化的问题。通过在同一会话中关联多个连接,会话中继实现了将所有可用接口上的吞吐量聚合到数据服务器的目的,从而提高了网络带宽的利用率。这种聚合通过在同一会话中动态建立连接来完成,每个连接具有可能不同的源和目标网络地址。


将多路径功能与pNFS相结合,创造了一个集中通道,可以同时承载文件系统的元数据或读/写流量,或两者兼而有之。这种架构与其他并行文件系统相似,但避免了高昂的设置和维护成本。整合了Lustre和pNFS的中继流程图清晰地展示了它们之间的相似性。NetApp ONTAP通过支持FlexGroup、基于RDMA的NFS、pNFS和会话中继等技术,为AI/ML工作负载提供了强大的支持。

FlexGroup卷的能力使数据在整个集群中均匀分布,消除了集群中的性能热点。ONTAP还通过支持NFS over RDMA传输规范,消除了内存复制的低效问题,提高了数据传输效率。


ONTAP的FlexGroup卷为处理不断增长的AI/ML数据集提供了灵活性。通过支持NFS over RDMA传输规范,ONTAP通过消除内存复制的低效性,直接从主机系统内存向服务器传输数据,有效地减轻了CPU的负担。此外,ONTAP的pNFS和RDMA挂载的会话中继进一步提高了网络带宽的利用率,帮助AI/ML工作负载适应不断增加的用例。支持GPU直接存储的NVIDIA DGX A100系统连接到NetApp AFF A800集群,吞吐量达到了线路速率的86%。这种配置下,每个节点仍有扩展空间,表明ONTAP可以轻松支持AI/ML工作负载的不断增加。


小结



时代确实在快速的变化和发展,NFSv4.1的革新还是带来很大的变化。

汽车电子设计 本公众号是博主和汽车电子的行业的工程师们一起交流、探讨、思考的小结,以作为技术交流和沟通的桥梁
评论 (0)
  • 在科技飞速发展的当下,机器人领域的每一次突破都能成为大众瞩目的焦点。这不,全球首届人形机器人半程马拉松比赛刚落下帷幕,赛场上的 “小插曲” 就掀起了一阵网络热潮。4月19日,北京亦庄的赛道上热闹非凡,全球首届人形机器人半程马拉松在这里激情开跑。20支机器人队伍带着各自的“参赛选手”,踏上了这21.0975公里的挑战之路。这场比赛可不简单,它将机器人放置于真实且复杂的动态路况与环境中,对机器人在运动控制、环境感知和能源管理等方面的核心技术能力进行了全方位的检验。不仅要应对长距离带来的续航挑战,还要
    用户1742991715177 2025-04-22 20:42 110浏览
  • 一、行业背景与市场需求高血压作为全球发病率最高的慢性病之一,其早期监测与管理已成为公共卫生领域的重要课题。世界卫生组织数据显示,全球超13亿人受高血压困扰,且患者群体呈现年轻化趋势。传统血压计因功能单一、数据孤立等缺陷,难以满足现代健康管理的需求。在此背景下,集语音播报、蓝牙传输、电量检测于一体的智能血压计应运而生,通过技术创新实现“测量-分析-管理”全流程智能化,成为慢性病管理的核心终端设备。二、技术架构与核心功能智能血压计以电子血压测量技术为基础,融合物联网、AI算法及语音交互技术,构建起多
    广州唯创电子 2025-04-23 09:06 157浏览
  •   复杂电磁环境模拟系统平台解析   一、系统概述   北京华盛恒辉复杂电磁环境模拟系统平台是用于还原真实战场或特定场景电磁环境的综合性技术平台。该平台借助软硬件协同运作,能够产生多源、多频段、多体制的电磁信号,并融合空间、时间、频谱等参数,构建高逼真度的电磁环境,为电子对抗、通信、雷达等系统的研发、测试、训练及评估工作提供重要支持。   应用案例   目前,已有多个复杂电磁环境模拟系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润复杂电磁环境模拟系统。这些成功案例为复杂电
    华盛恒辉l58ll334744 2025-04-23 10:29 176浏览
  •   后勤实验仿真系统平台深度解析   北京华盛恒辉后勤实验仿真系统平台依托计算机仿真技术,是对后勤保障全流程进行模拟、分析与优化的综合性工具。通过搭建虚拟场景,模拟资源调配、物资运输等环节,为后勤决策提供数据支撑,广泛应用于军事、应急管理等领域。   应用案例   目前,已有多个后勤实验仿真系统平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润后勤实验仿真系统平台。这些成功案例为后勤实验仿真系统平台的推广和应用提供了有力支持。   一、核心功能   (一)后勤资源模拟
    华盛恒辉l58ll334744 2025-04-23 15:39 151浏览
  •   陆地边防事件紧急处置系统平台解析   北京华盛恒辉陆地边防事件紧急处置系统平台是整合监测、预警、指挥等功能的智能化综合系统,致力于增强边防安全管控能力,快速响应各类突发事件。以下从系统架构、核心功能、技术支撑、应用场景及发展趋势展开全面解读。   应用案例   目前,已有多个陆地边防事件紧急处置系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润陆地边防事件紧急处置系统。这些成功案例为陆地边防事件紧急处置系统的推广和应用提供了有力支持。   一、系统架构   感知层:部
    华盛恒辉l58ll334744 2025-04-23 11:22 121浏览
  • 一、技术背景与市场机遇在智能家居高速发展的今天,用户对家电设备的安全性、智能化及能效表现提出更高要求。传统取暖器因缺乏智能感知功能,存在能源浪费、安全隐患等痛点。WTL580-C01微波雷达感应模块的诞生,为取暖设备智能化升级提供了创新解决方案。该模块凭借微波雷达技术优势,在精准测距、环境适应、能耗控制等方面实现突破,成为智能取暖器领域的核心技术组件。二、核心技术原理本模块采用多普勒效应微波雷达技术,通过24GHz高频微波信号的发射-接收机制,实现毫米级动作识别和精准测距。当人体进入4-5米有效
    广州唯创电子 2025-04-23 08:41 149浏览
  •   陆地装备体系论证与评估综合平台系统解析   北京华盛恒辉陆地装备体系论证与评估综合平台系统是契合现代军事需求而生的专业系统,借助科学化、智能化手段,实现对陆地装备体系的全方位论证与评估,为军事决策和装备发展提供关键支撑。以下从功能、技术、应用及展望展开分析。   应用案例   目前,已有多个陆地装备体系论证与评估综合平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润陆地装备体系论证与评估综合平台。这些成功案例为陆地装备体系论证与评估综合平台的推广和应用提供了有力支持。
    华盛恒辉l58ll334744 2025-04-24 10:53 57浏览
  •   高海拔区域勤务与装备保障调度系统平台解析   北京华盛恒辉高海拔区域勤务与装备保障调度系统平台专为高海拔特殊地理环境打造,致力于攻克装备适应、人员健康保障、物资运输及应急响应等难题。以下从核心功能、技术特点、应用场景及发展趋势展开全面解读。   应用案例   目前,已有多个高海拔区域勤务与装备保障调度系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润高海拔区域勤务与装备保障调度系统。这些成功案例为高海拔区域勤务与装备保障调度系统的推广和应用提供了有力支持。   一、核心
    华盛恒辉l58ll334744 2025-04-24 10:13 61浏览
  • 故障现象一辆2016款奔驰C200L车,搭载274 920发动机,累计行驶里程约为13万km。该车组合仪表上的防侧滑故障灯、转向助力故障灯、安全气囊故障灯等偶尔异常点亮,且此时将挡位置于R挡,中控显示屏提示“后视摄像头不可用”,无法显示倒车影像。 故障诊断用故障检测仪检测,发现多个控制单元中均存储有通信类故障代码(图1),其中故障代码“U015587 与仪表盘的通信存在故障。信息缺失”出现的频次较高。 图1 存储的故障代码1而组合仪表中存储有故障代码“U006488 与用户界
    虹科Pico汽车示波器 2025-04-23 11:22 91浏览
  •   无人机结构仿真与部件拆解分析系统平台解析   北京华盛恒辉无人机结构仿真与部件拆解分析系统无人机技术快速发展的当下,结构仿真与部件拆解分析系统平台成为无人机研发测试的核心工具,在优化设计、提升性能、降低成本等方面发挥关键作用。以下从功能、架构、应用、优势及趋势展开解析。   应用案例   目前,已有多个无人机结构仿真与部件拆解分析系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机结构仿真与部件拆解分析系统。这些成功案例为无人机结构仿真与部件拆解分析系统的推广和应用提
    华盛恒辉l58ll334744 2025-04-23 15:00 183浏览
  •   有效样本分析决策系统平台全面解析   一、引言   北京华盛恒辉有效样本分析决策系统在当今数据驱动的时代,企业、科研机构等面临着海量数据的处理与分析挑战。有效样本分析决策系统平台应运而生,它通过对样本数据的精准分析,为决策提供有力支持,成为提升决策质量和效率的关键工具。   应用案例   目前,已有多个有效样本分析决策系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润有效样本分析决策系统。这些成功案例为有效样本分析决策系统的推广和应用提供了有力支持。   二、平台概述
    华盛恒辉l58ll334744 2025-04-24 11:13 58浏览
  • 前言本文主要演示基于TL3576-MiniEVM评估板HDMI OUT、DP 1.4和MIPI的多屏同显、异显方案,适用开发环境如下。Windows开发环境:Windows 7 64bit、Windows 10 64bitLinux开发环境:VMware16.2.5、Ubuntu22.04.5 64bitU-Boot:U-Boot-2017.09Kernel:Linux-6.1.115LinuxSDK:LinuxSDK-[版本号](基于rk3576_linux6.1_release_v
    Tronlong 2025-04-23 13:59 123浏览
  •   电磁频谱数据综合管理平台系统解析   一、系统定义与目标   北京华盛恒辉电磁频谱数据综合管理平台融合无线传感器、软件定义电台等前沿技术,是实现无线电频谱资源全流程管理的复杂系统。其核心目标包括:优化频谱资源配置,满足多元通信需求;运用动态管理与频谱共享技术,提升资源利用效率;强化频谱安全监管,杜绝非法占用与干扰;为电子战提供频谱监测分析支持,辅助作战决策。   应用案例   目前,已有多个电磁频谱数据综合管理平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润电磁频谱数
    华盛恒辉l58ll334744 2025-04-23 16:27 174浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦