高性能计算存储系统:DAOS vs Lustre

智能计算芯世界 2021-11-22 00:00



在高性能技术领域,Lustre支持并行文件半壁江山。今天分享HPC china 2021大会技术材料,重点介绍下Lustre(LNet)和DAOS高性能计算并行存储系统。

2021 Intel HPC China论坛资料

2021 HPC China英特尔方案(上)

2021 HPC China英特尔方案(下)


  • 1英特尔® IDM2.0战略与制造工艺技术路线.pdf

  • 2与英特尔共建现在和未来HPC系统.pdf

  • 3英特尔面向XPU计算平台统一编程工具oneAPI.pdf

  • 4英特尔傲腾持节内存的下一代高性能计算存储系统DAOS.pdf

  • 5联想海神高性能系统助力北京气象预报.pdf

  • 6浪潮面向材料科学的大规模数据集构建.pdf

  • 7云端三维可视化加速的演进之路.pdf

  • 8超算加速行业业务上云-HPC China2021.pdf

HPC China 2020主会场技术论坛

HPC China 2019资料合集


2021 Intel HPC China:HPC大咖说(上)
2021 Intel HPC China:HPC大咖说(下)

DAOS ( Distributed Asynchronous Object Storage,分布式异步对象存储 ),一种开源软件定义横向扩展对象存储,可为高性能计算应用提供高带宽、低延迟和高IOPS的存储容器,是英特尔构建百亿亿次级存储堆栈的基础。


  • DAOS 专为大规模分布式非易失性内存(NVM, Non-Volatile Memory)设计,并利用SCM(Storage-Class Memory)和NVMe(Non-Volatile Memory express)等下一代NVM技术;
  • 提供一种访问高细粒度数据原生支持的I/O模型,非传统的基于高延迟和针对块的I/O模型,可发挥下一代存储技术的性能;
  • 一个独立的高性能容错存储层,不依赖其它层进行管理元数据并提供数据恢复能力;其元数据保存在持久内存,批量数据直接保存在NVMe固态盘中;
  • 依靠OFI (OpenFabric Interface)绕过操作系统,将DAOS操作交付给服务器,充分利用架构中RDMA功能,进行低延迟、高信息速率的用户空间通信;
  • 持久内存开发工具包PMDK管理对SCM的事务性访问;存储性能开发工具包SPDK对NVMe设备进行用户空间I/O操作



Lustre是一个开源的、全局单个命名空间的、符合POSIX标准的分布式并行文件系统,旨在实现系统的可扩展性、高性能和高可用性。Lustre在基于Linux的操作系统上运行,并采用客户端-服务器模式的网络架构。

 LNET(Lustre Networking)是Lustre的网络子系统,负责提供消息传递API。LNET源自于Sandia Portals,但又与之存在着差异。


LNET由两部分组成:LNET层以通信API的方式,向被称为LNET客户端的高层提供一个与网络类型无关的服务。在LNET层,以LNet作为前缀的函数名是为高层提供的外部API,而以lnet作为前缀的函数则是内部函数,只能被LNET层或下层的LND层调用。LND(Lustre Network Driver)层。它实现从一般化的LNET层到特定网络驱动之间的接口。那些LNET层可以调用的函数都以lnet作为前缀。


LNET可以以内核模块的方式运行,也可以用户库的方式运行。因而,其中的LND层可以是内核模块,也可以是用户层程序。LND还支持TCP/IP sockets、OFA IB、Cray Portals等几种用户层网络。在下面的内容中,如果没有特殊说明,都指的是内核层实现。





下载链接:

2021 Intel HPC China论坛资料
英特尔® IDM2.0战略与制造工艺技术路线
HPC China 2020主会场技术论坛
1-曾庆存-中国科学院地球系统(动力学)模式CAS-ESM.pdf
2-邬江兴_打造AI时代集成电路标志性的芯物种20200928.pdf
3-新形势下高性能计算发展面临的挑战和任务-钱德沛.pdf
4-高性能计算机的存储优化:实践与经验-卢凯.pdf
5-陈健-中国超算应用行业分析和技术服务模式.pdf
6-付昊桓-太湖之光-应用软件研发.pdf" 

2021 HPC China大会因特尔方案资料(下)

1、英特尔中国制造及能源行业 AI 实战手册.pdf

2、面向 HPC 的第三代英特尔® 至强® 可扩展处理器在生命科学领域大展拳脚.pdf

3、面向高性能计算 (HPC) 的第三代英特尔® 至强® 可扩展处理器.pdf

4、面向高性能计算和人工智能融合集群的英特尔精选解决方案.pdf

5、面向人工智能推理的英特尔精选解决方案.pdf

6、英特尔Analytics Zoo助力浪潮构建端到端智慧计算解决方案释放数据价值.pdf

7、英特尔傲腾持久内存为第四范式全流程AI系统提供容量与持久双重优势.pdf

8、英特尔中国金融行业 AI 实战手册.pdf

9、英特尔中国医疗健康行业 AI 实战手册.pdf" 


2021 HPC China大会因特尔方案资料(上)
1、面向 HPC 的第三代英特尔® 至强® 可扩展处理器在金融服务领域大展拳脚.pdf
2、CDS首云借力 OpenVINO Model Server加速AI云服务落地部署.pdf
3、百度BML助力企业实现一站式全功能AI开发体验.pdf
4、百度飞桨与第三代英特尔至强可扩展处理器为深度学习产业落地打造速度与安全新支点.pdf
5、第三代英特尔至强可扩展处理器 (Ice Lake) 和英特尔深度学习加速助力阿里巴巴 Transformer 模型性能提升.pdf
6、构建从边缘到云的人工智能基础设施.pdf
7、开发跨架构的高性能应用程序.pdf
8、开发面向CPU、GPU和 FPGA的跨架构应用程序.pdf

本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。

2021中国智能网卡行业概览

中国数据处理器行业概览(2021)

DPU在数据中心和边缘云上的应用

英伟达DPU集数据中心于芯片

中国智能芯片行业前景研究报告


本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料





免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。



电子书<服务器基础知识全解(终极版)>更新完毕,知识点深度讲解,提供182页完整版下载。

获取方式:点击“阅读原文”即可查看PPT可编辑版本和PDF阅读版本详情。



温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。


智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论 (0)
  • 文/Leon编辑/cc孙聪颖‍2023年,厨电行业在相对平稳的市场环境中迎来温和复苏,看似为行业增长积蓄势能。带着对市场向好的预期,2024 年初,老板电器副董事长兼总经理任富佳为企业定下双位数增长目标。然而现实与预期相悖,过去一年,这家老牌厨电企业不仅未能达成业绩目标,曾提出的“三年再造一个老板电器”愿景,也因市场下行压力面临落空风险。作为“企二代”管理者,任富佳在掌舵企业穿越市场周期的过程中,正面临着前所未有的挑战。4月29日,老板电器(002508.SZ)发布了2024年年度报告及2025
    华尔街科技眼 2025-04-30 12:40 184浏览
  • 浪潮之上:智能时代的觉醒    近日参加了一场课题的答辩,这是医疗人工智能揭榜挂帅的国家项目的地区考场,参与者众多,围绕着医疗健康的主题,八仙过海各显神通,百花齐放。   中国大地正在发生着激动人心的场景:深圳前海深港人工智能算力中心高速运转的液冷服务器,武汉马路上自动驾驶出租车穿行的智慧道路,机器人参与北京的马拉松竞赛。从中央到地方,人工智能相关政策和消息如雨后春笋般不断出台,数字中国的建设图景正在智能浪潮中徐徐展开,战略布局如同围棋
    广州铁金刚 2025-04-30 15:24 169浏览
  • 在智能硬件设备趋向微型化的背景下,语音芯片方案厂商针对小体积设备开发了多款超小型语音芯片方案,其中WTV系列和WT2003H系列凭借其QFN封装设计、高性能与高集成度,成为微型设备语音方案的理想选择。以下从封装特性、功能优势及典型应用场景三个方面进行详细介绍。一、超小体积封装:QFN技术的核心优势WTV系列与WT2003H系列均提供QFN封装(如QFN32,尺寸为4×4mm),这种封装形式具有以下特点:体积紧凑:QFN封装通过减少引脚间距和优化内部结构,显著缩小芯片体积,适用于智能门铃、穿戴设备
    广州唯创电子 2025-04-30 09:02 205浏览
  • 贞光科技代理品牌紫光国芯的车规级LPDDR4内存正成为智能驾驶舱的核心选择。在汽车电子国产化浪潮中,其产品以宽温域稳定工作能力、优异电磁兼容性和超长使用寿命赢得市场认可。紫光国芯不仅确保供应链安全可控,还提供专业本地技术支持。面向未来,紫光国芯正研发LPDDR5车规级产品,将以更高带宽、更低功耗支持汽车智能化发展。随着智能网联汽车的迅猛发展,智能驾驶舱作为人机交互的核心载体,对处理器和存储器的性能与可靠性提出了更高要求。在汽车电子国产化浪潮中,贞光科技代理品牌紫光国芯的车规级LPDDR4内存凭借
    贞光科技 2025-04-28 16:52 233浏览
  • 你是不是也有在公共场合被偷看手机或笔电的经验呢?科技时代下,不少现代人的各式机密数据都在手机、平板或是笔电等可携式的3C产品上处理,若是经常性地需要在公共场合使用,不管是工作上的机密文件,或是重要的个人信息等,民众都有防窃防盗意识,为了避免他人窥探内容,都会选择使用「防窥保护贴片」,以防止数据外泄。现今市面上「防窥保护贴」、「防窥片」、「屏幕防窥膜」等产品就是这种目的下产物 (以下简称防窥片)!防窥片功能与常见问题解析首先,防窥片最主要的功能就是用来防止他人窥视屏幕上的隐私信息,它是利用百叶窗的
    百佳泰测试实验室 2025-04-30 13:28 239浏览
  • 在CAN总线分析软件领域,当CANoe不再是唯一选择时,虹科PCAN-Explorer 6软件成为了一个有竞争力的解决方案。在现代工业控制和汽车领域,CAN总线分析软件的重要性不言而喻。随着技术的进步和市场需求的多样化,单一的解决方案已无法满足所有用户的需求。正是在这样的背景下,虹科PCAN-Explorer 6软件以其独特的模块化设计和灵活的功能扩展,为CAN总线分析领域带来了新的选择和可能性。本文将深入探讨虹科PCAN-Explorer 6软件如何以其创新的模块化插件策略,提供定制化的功能选
    虹科汽车智能互联 2025-04-28 16:00 174浏览
  • 4月22日下午,备受瞩目的飞凌嵌入式「2025嵌入式及边缘AI技术论坛」在深圳深铁皇冠假日酒店盛大举行,此次活动邀请到了200余位嵌入式技术领域的技术专家、企业代表和工程师用户,共享嵌入式及边缘AI技术的盛宴!1、精彩纷呈的展区产品及方案展区是本场活动的第一场重头戏,从硬件产品到软件系统,从企业级应用到高校教学应用,都吸引了现场来宾的驻足观看和交流讨论。全产品矩阵展区展示了飞凌嵌入式丰富的产品线,从嵌入式板卡到工控机,从进口芯片平台到全国产平台,无不体现出飞凌嵌入式在嵌入式主控设备研发设计方面的
    飞凌嵌入式 2025-04-28 14:43 140浏览
  • 网约车,真的“饱和”了?近日,网约车市场的 “饱和” 话题再度引发热议。多地陆续发布网约车风险预警,提醒从业者谨慎入局,这背后究竟隐藏着怎样的市场现状呢?从数据来看,网约车市场的“过剩”现象已愈发明显。以东莞为例,截至2024年12月底,全市网约车数量超过5.77万辆,考取网约车驾驶员证的人数更是超过13.48万人。随着司机数量的不断攀升,订单量却未能同步增长,导致单车日均接单量和营收双双下降。2024年下半年,东莞网约出租车单车日均订单量约10.5单,而单车日均营收也不容乐
    用户1742991715177 2025-04-29 18:28 201浏览
  • 文/郭楚妤编辑/cc孙聪颖‍越来越多的企业开始蚕食动力电池市场,行业“去宁王化”态势逐渐明显。随着这种趋势的加强,打开新的市场对于宁德时代而言至关重要。“我们不希望被定义为电池的制造者,而是希望把自己称作新能源产业的开拓者。”4月21日,在宁德时代举行的“超级科技日”发布会上,宁德时代掌门人曾毓群如是说。随着宁德时代核心新品骁遥双核电池的发布,其搭载的“电电增程”技术也走进业界视野。除此之外,经过近3年试水,宁德时代在换电业务上重资加码。曾毓群认为换电是一个重资产、高投入、长周期的产业,涉及的利
    华尔街科技眼 2025-04-28 21:55 147浏览
  • 随着电子元器件的快速发展,导致各种常见的贴片电阻元器件也越来越小,给我们分辨也就变得越来越难,下面就由smt贴片加工厂_安徽英特丽就来告诉大家如何分辨的SMT贴片元器件。先来看看贴片电感和贴片电容的区分:(1)看颜色(黑色)——一般黑色都是贴片电感。贴片电容只有勇于精密设备中的贴片钽电容才是黑色的,其他普通贴片电容基本都不是黑色的。(2)看型号标码——贴片电感以L开头,贴片电容以C开头。从外形是圆形初步判断应为电感,测量两端电阻为零点几欧,则为电感。(3)检测——贴片电感一般阻值小,更没有“充放
    贴片加工小安 2025-04-29 14:59 195浏览
  • 一、gao效冷却与控温机制‌1、‌冷媒流动设计‌采用低压液氮(或液氦)通过毛细管路导入蒸发器,蒸汽喷射至样品腔实现快速冷却,冷却效率高(室温至80K约20分钟,至4.2K约30分钟)。通过控温仪动态调节蒸发器加热功率,结合温度传感器(如PT100铂电阻或Cernox磁场不敏感传感器),实现±0.01K的高精度温度稳定性。2、‌宽温区覆盖与扩展性‌标准温区为80K-325K,通过降压选件可将下限延伸至65K(液氮模式)或4K(液氦模式)。可选配475K高温模块,满足材料在ji端温度下的性能测试需求
    锦正茂科技 2025-04-30 13:08 179浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦