高性能计算存储系统:DAOS vs Lustre

智能计算芯世界 2021-11-22 00:00



在高性能技术领域,Lustre支持并行文件半壁江山。今天分享HPC china 2021大会技术材料,重点介绍下Lustre(LNet)和DAOS高性能计算并行存储系统。

2021 Intel HPC China论坛资料

2021 HPC China英特尔方案(上)

2021 HPC China英特尔方案(下)


  • 1英特尔® IDM2.0战略与制造工艺技术路线.pdf

  • 2与英特尔共建现在和未来HPC系统.pdf

  • 3英特尔面向XPU计算平台统一编程工具oneAPI.pdf

  • 4英特尔傲腾持节内存的下一代高性能计算存储系统DAOS.pdf

  • 5联想海神高性能系统助力北京气象预报.pdf

  • 6浪潮面向材料科学的大规模数据集构建.pdf

  • 7云端三维可视化加速的演进之路.pdf

  • 8超算加速行业业务上云-HPC China2021.pdf

HPC China 2020主会场技术论坛

HPC China 2019资料合集


2021 Intel HPC China:HPC大咖说(上)
2021 Intel HPC China:HPC大咖说(下)

DAOS ( Distributed Asynchronous Object Storage,分布式异步对象存储 ),一种开源软件定义横向扩展对象存储,可为高性能计算应用提供高带宽、低延迟和高IOPS的存储容器,是英特尔构建百亿亿次级存储堆栈的基础。


  • DAOS 专为大规模分布式非易失性内存(NVM, Non-Volatile Memory)设计,并利用SCM(Storage-Class Memory)和NVMe(Non-Volatile Memory express)等下一代NVM技术;
  • 提供一种访问高细粒度数据原生支持的I/O模型,非传统的基于高延迟和针对块的I/O模型,可发挥下一代存储技术的性能;
  • 一个独立的高性能容错存储层,不依赖其它层进行管理元数据并提供数据恢复能力;其元数据保存在持久内存,批量数据直接保存在NVMe固态盘中;
  • 依靠OFI (OpenFabric Interface)绕过操作系统,将DAOS操作交付给服务器,充分利用架构中RDMA功能,进行低延迟、高信息速率的用户空间通信;
  • 持久内存开发工具包PMDK管理对SCM的事务性访问;存储性能开发工具包SPDK对NVMe设备进行用户空间I/O操作



Lustre是一个开源的、全局单个命名空间的、符合POSIX标准的分布式并行文件系统,旨在实现系统的可扩展性、高性能和高可用性。Lustre在基于Linux的操作系统上运行,并采用客户端-服务器模式的网络架构。

 LNET(Lustre Networking)是Lustre的网络子系统,负责提供消息传递API。LNET源自于Sandia Portals,但又与之存在着差异。


LNET由两部分组成:LNET层以通信API的方式,向被称为LNET客户端的高层提供一个与网络类型无关的服务。在LNET层,以LNet作为前缀的函数名是为高层提供的外部API,而以lnet作为前缀的函数则是内部函数,只能被LNET层或下层的LND层调用。LND(Lustre Network Driver)层。它实现从一般化的LNET层到特定网络驱动之间的接口。那些LNET层可以调用的函数都以lnet作为前缀。


LNET可以以内核模块的方式运行,也可以用户库的方式运行。因而,其中的LND层可以是内核模块,也可以是用户层程序。LND还支持TCP/IP sockets、OFA IB、Cray Portals等几种用户层网络。在下面的内容中,如果没有特殊说明,都指的是内核层实现。





下载链接:

2021 Intel HPC China论坛资料
英特尔® IDM2.0战略与制造工艺技术路线
HPC China 2020主会场技术论坛
1-曾庆存-中国科学院地球系统(动力学)模式CAS-ESM.pdf
2-邬江兴_打造AI时代集成电路标志性的芯物种20200928.pdf
3-新形势下高性能计算发展面临的挑战和任务-钱德沛.pdf
4-高性能计算机的存储优化:实践与经验-卢凯.pdf
5-陈健-中国超算应用行业分析和技术服务模式.pdf
6-付昊桓-太湖之光-应用软件研发.pdf" 

2021 HPC China大会因特尔方案资料(下)

1、英特尔中国制造及能源行业 AI 实战手册.pdf

2、面向 HPC 的第三代英特尔® 至强® 可扩展处理器在生命科学领域大展拳脚.pdf

3、面向高性能计算 (HPC) 的第三代英特尔® 至强® 可扩展处理器.pdf

4、面向高性能计算和人工智能融合集群的英特尔精选解决方案.pdf

5、面向人工智能推理的英特尔精选解决方案.pdf

6、英特尔Analytics Zoo助力浪潮构建端到端智慧计算解决方案释放数据价值.pdf

7、英特尔傲腾持久内存为第四范式全流程AI系统提供容量与持久双重优势.pdf

8、英特尔中国金融行业 AI 实战手册.pdf

9、英特尔中国医疗健康行业 AI 实战手册.pdf" 


2021 HPC China大会因特尔方案资料(上)
1、面向 HPC 的第三代英特尔® 至强® 可扩展处理器在金融服务领域大展拳脚.pdf
2、CDS首云借力 OpenVINO Model Server加速AI云服务落地部署.pdf
3、百度BML助力企业实现一站式全功能AI开发体验.pdf
4、百度飞桨与第三代英特尔至强可扩展处理器为深度学习产业落地打造速度与安全新支点.pdf
5、第三代英特尔至强可扩展处理器 (Ice Lake) 和英特尔深度学习加速助力阿里巴巴 Transformer 模型性能提升.pdf
6、构建从边缘到云的人工智能基础设施.pdf
7、开发跨架构的高性能应用程序.pdf
8、开发面向CPU、GPU和 FPGA的跨架构应用程序.pdf

本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。

2021中国智能网卡行业概览

中国数据处理器行业概览(2021)

DPU在数据中心和边缘云上的应用

英伟达DPU集数据中心于芯片

中国智能芯片行业前景研究报告


本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料





免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。



电子书<服务器基础知识全解(终极版)>更新完毕,知识点深度讲解,提供182页完整版下载。

获取方式:点击“阅读原文”即可查看PPT可编辑版本和PDF阅读版本详情。



温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。


智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论
  • 村田是目前全球量产硅电容的领先企业,其在2016年收购了法国IPDiA头部硅电容器公司,并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理,村田高密度硅电容器采用半导体MOS工艺开发,并使用3D结构来大幅增加电极表面,因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础(单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属) 村田硅电容采用先进3D拓扑结构在100um内,使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 141浏览
  • 大模型的赋能是指利用大型机器学习模型(如深度学习模型)来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力,包括但不限于以下几个方面: 1. 企业服务:大模型可以用于构建智能客服系统、知识库问答系统等,提升企业的服务质量和运营效率。 2. 教育服务:在教育领域,大模型被应用于个性化学习、智能辅导、作业批改等,帮助教师减轻工作负担,提高教学质量。 3. 工业智能化:大模型有助于解决工业领域的复杂性和不确定性问题,尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 116浏览
  • 在智能家居领域中,Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段,它们常在实际应用中交叉运用,以满足智能家居生态系统多样化的功能需求。然而,这些协议之间并未遵循统一的互通标准,缺乏直接的互操作性,在进行组网时需要引入额外的网关作为“翻译桥梁”,极大地增加了系统的复杂性。 同时,Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 202浏览
  • By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期,为了安全以及提高启动速度等考虑,希望将 ARM 处理器平台的 Debug Console 输出关闭,本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 106浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球无人机锂电池产值达到2457百万美元,2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池,大多数是锂聚合物电池,相较其他电池,锂聚合物电池具有较高的能量密度,较长寿命,同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等,前五大厂商占有全球
    GIRtina 2025-01-07 11:02 119浏览
  • 每日可见的315MHz和433MHz遥控模块,你能分清楚吗?众所周知,一套遥控设备主要由发射部分和接收部分组成,发射器可以将控制者的控制按键经过编码,调制到射频信号上面,然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码,从而得到与控制按键相对应的信号,然后再去控制相应的设备工作。当前,常见的遥控设备主要分为红外遥控与无线电遥控两大类,其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz,通常应用在电视、投影仪等设备中;而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 164浏览
  • 本文介绍编译Android13 ROOT权限固件的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。关闭selinux修改此文件("+"号为修改内容)device/rockchip/common/BoardConfig.mkBOARD_BOOT_HEADER_VERSION ?= 2BOARD_MKBOOTIMG_ARGS :=BOARD_PREBUILT_DTB
    Industio_触觉智能 2025-01-08 00:06 92浏览
  • 故障现象一辆2017款东风风神AX7车,搭载DFMA14T发动机,累计行驶里程约为13.7万km。该车冷起动后怠速运转正常,热机后怠速运转不稳,组合仪表上的发动机转速表指针上下轻微抖动。 故障诊断 用故障检测仪检测,发动机控制单元中无故障代码存储;读取发动机数据流,发现进气歧管绝对压力波动明显,有时能达到69 kPa,明显偏高,推断可能的原因有:进气系统漏气;进气歧管绝对压力传感器信号失真;发动机机械故障。首先从节气门处打烟雾,没有发现进气管周围有漏气的地方;接着拔下进气管上的两个真空
    虹科Pico汽车示波器 2025-01-08 16:51 69浏览
  • 「他明明跟我同梯进来,为什么就是升得比我快?」许多人都有这样的疑问:明明就战绩也不比隔壁同事差,升迁之路却比别人苦。其实,之间的差异就在于「领导力」。並非必须当管理者才需要「领导力」,而是散发领导力特质的人,才更容易被晓明。许多领导力和特质,都可以通过努力和学习获得,因此就算不是天生的领导者,也能成为一个具备领导魅力的人,进而被老板看见,向你伸出升迁的橘子枝。领导力是什么?领导力是一种能力或特质,甚至可以说是一种「影响力」。好的领导者通常具备影响和鼓励他人的能力,并导引他们朝着共同的目标和愿景前
    优思学院 2025-01-08 14:54 61浏览
  • 彼得·德鲁克被誉为“现代管理学之父”,他的管理思想影响了无数企业和管理者。然而,关于他的书籍分类,一种流行的说法令人感到困惑:德鲁克一生写了39本书,其中15本是关于管理的,而其中“专门写工商企业或为企业管理者写的”只有两本——《为成果而管理》和《创新与企业家精神》。这样的表述广为流传,但深入探讨后却发现并不完全准确。让我们一起重新审视这一说法,解析其中的矛盾与根源,进而重新认识德鲁克的管理思想及其著作的真正价值。从《创新与企业家精神》看德鲁克的视角《创新与企业家精神》通常被认为是一本专为企业管
    优思学院 2025-01-06 12:03 158浏览
  • 这篇内容主要讨论三个基本问题,硅电容是什么,为什么要使用硅电容,如何正确使用硅电容?1.  硅电容是什么首先我们需要了解电容是什么?物理学上电容的概念指的是给定电位差下自由电荷的储藏量,记为C,单位是F,指的是容纳电荷的能力,C=εS/d=ε0εrS/4πkd(真空)=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体,中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到,在各个变量中比较能够改变的就是εr,S和d,也就是介质的介电常数,金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 222浏览
  •  在全球能源结构加速向清洁、可再生方向转型的今天,风力发电作为一种绿色能源,已成为各国新能源发展的重要组成部分。然而,风力发电系统在复杂的环境中长时间运行,对系统的安全性、稳定性和抗干扰能力提出了极高要求。光耦(光电耦合器)作为一种电气隔离与信号传输器件,凭借其优秀的隔离保护性能和信号传输能力,已成为风力发电系统中不可或缺的关键组件。 风力发电系统对隔离与控制的需求风力发电系统中,包括发电机、变流器、变压器和控制系统等多个部分,通常工作在高压、大功率的环境中。光耦在这里扮演了
    晶台光耦 2025-01-08 16:03 58浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦