“高性能数据管理与存储系统”论坛内容集锦

SSDFans 2024-11-27 07:53 360浏览 0评论 0点赞

汽车智能照明背后的“黑科技”传感器，你知道吗？ 技术前沿：ADMT4000多圈传感器技术剖析与应用实践

导语

7月30日下午，上海市计算机学会存储专业委员会和高性能计专业委员会携手DOIT主办的“高性能数据管理与存储系统”论坛以线上直播的形式开展。本论坛主要涵盖高性能计算应用及其背景下的计算存储架构和数据存储管理系统，包括新型基于非易失内存的键值对存储系统、新型脉动阵列结构设计、人工智能编译器、高可靠键值存储、可计算存储在数据库的应用和车载高性能计算与存储。会议邀请了华中科技大学刘海坤教授、国防科技大学马胜教授、上海交通大学冷静文长聘教轨副教授、中国科学技术大学李永坤副教授、ScaleFlux技术团队负责人孙建强先生和上汽技术中心基础软件架构师张毅峰先生参与。与会专家和学者分享了他们目前正在探索的问题和发表的学术成果，激发了同仁和学生们对高性能数据管理和存储系统方面的深入思考和探讨。本论坛由上海计算机学会存储专委会和高性能计算专委会携手ScaleFlux与DOIT联合呈现。

报告内容概览

来自华中科技大学的刘海坤教授的报告主题为基于新型非易失内存的键值对存储系统（MioDB）。作为一种简单高效的数据结构，键值对（KV）存储系统已成为互联网应用的基本组件，而为了利用高速的顺序写，LSM-Tree牺牲了一定读性能，将随机写转化为顺序写，大幅提高了KV存储系统的写吞吐率。然而，LSM存在严重的写放大和写停留问题。目前新兴的非易失内存（PM）为解决这一问题提供了契机。目前国内外利用PM对基于LSM树的KV键值对存储系统的优化方案并没有利用PM的字节寻址特性，没有对传统LSM数的SSTable改进，而MioDB则提出使用跳表代替SSTable，消除序列化和反序列化开销，减少系统写放大和写停留。经测试，MioDB和最新工作MatrixKV相比，随机写吞吐量提高2.5倍，写放大降低2.6倍。

来自国防科技大学的马胜教授的报告主题为面向紧凑型卷积神经网络的脉动阵列结构优化设计。脉动阵列为有节奏地计算、传输数据的处理单元网络，传统的脉动阵列无法适应卷积神经网络发展过程中小尺寸卷积和深度可分离卷积的优化方案，性能出现严重损失和可扩展性不足。因而报告提出了可配置多向脉动阵列（CMSA），通过双向路径解决非对称切分问题，从而优化小尺寸卷积计算，并且设计新的数据流、改动脉动阵列结构来优化深度卷积。随后，报告对深度卷积进行进一步分析，提出可配置异构脉动阵列（CHSA），通过单通道输出固定数据流扩展映射空间和改变循环展开策略，并进一步设计异构PE设计，有效提高了计算时PE利用率。

来自上海交通大学冷静文长聘教轨副教授的报告主题为人工智能芯片编译器研究。人工智能编译器是发挥硬件算力的重要基础，国产人工智能芯片的峰值算力高，但实际代码的利用率低，研究AI芯片的配套软件工具栈（包括编译、优化、运行时系统等）刻不容缓。而新一代人工智能编译器有三大挑战：①多模型的协同编译优化、②跨硬件架构的算子级优化和③模型精度感知的编译优化，为了应对上述挑战，冷静文副教授扩充了现有编译器的中间表示，提出了多层次IR的编译器范式，并产出了三大成果：①基于任务IR的静态多版本编译器、②基于硬件级IR的跨架构编译器和③计算图IR的插桩接口以及计算图重编译。

来自中国科学技术大学的李永坤副教授的报告主题为高可靠键值存储系统。报告分为背景介绍、LSM树的优化和LSM树在实际应用中存在的问题三个部分。在海量非结构化数据飞速增长的背景下，键值存储以其灵活的数据类型、简单的接口、无需目录树和高可扩展性的优点代替传统关系数据库和文件系统得以广泛应用。主流持久化键值存储系统采用LSM树结构，然而LSM树的层间合并会导致写放大，逐层搜索会导致读放大，在有多副本容错的高可靠存储系统中，尤其将多副本在一个LSM树中统一管理会带来更加严峻的读写放大。李永坤副教授提出了DEPART，在存储层对主副本和从副本解耦，进行差异化管理，主副本保证用户访问，需要快速写入和查询，而从副本保证容错，也需要快速写入但查询可以放松。因而主副本采用LSM树存储，从副本采用有序可调的两层日志存储，根据性能需求在读写性能之间权衡。

来自ScaleFlux技术团队负责人孙建强先生的报告主题为可计算存储在数据库应用场景的实践。随着CPU主频增速减缓和业务数据的增长，减少软件栈开销以加速计算的近存储计算得到发展，ScaleFlux独家推出的拥有数据透明压缩能力的可计算存储CSD（2000和3000）应运而生。本报告基于CSD以数据透明压缩为例介绍可计算存储的广阔前景。存储中的透明压缩即在SoC中对写入的数据压缩后写入存储介质，压缩和解压缩的过程对主机透明。这一技术可以减少写入量进而提高闪存的寿命，同时达到逻辑扩容、提高性能的效果。和软件压缩相比，透明压缩数据存放更紧凑、压缩率更高，以MySQL无压缩场景为基准，在纯文本数据集中，CSD 2000的压缩比达2.96：1。

来自上汽技术中心基础软件架构师张毅峰先生的报告主题为车载高性能计算与存储。报告分为电子电器架构（E/E）的进化、车载高性能计算、车载高性能存储和云端高性能存储四大部分。张毅峰先生提出，从车辆到云端各个环节都需要大量数据存储，车载数据主要为无需连接即可工作的实时应用的车辆数据，而云存数据主要为性能分析，改进和推送到车辆的数据，因而需要结合两个特性，全面支持从“车”到“云”，再从“云”到“车”的存储需求。最后张毅峰先生以高级驾驶辅助系统（ADAS）的存储需求及其在云平台中的运用为例进行案例分析，进一步透彻阐释这一主题。