海量小文件！全闪存该怎么办？

移动互联网、人工智能、5G、IoT等技术的发展，海量的终端催生了越来越高的业务性能需求，越来越多的文件业务场景要求被“加速”，以提供快速响应和高带宽访问。HDD存储设备已无法满足高IOPS、低延迟的业务需求，越来越多的企业数据中心开始选择全闪存的解决方案。据Gartner预计，到2020年数据中心50%的机械硬盘存储将被全闪存存储取代，应用于新数据时代的诸多业务场景。

01　方案背景

海量小文件难题

大数据、人工智能、物联网、智慧金融、电子商务、新媒体等应用产生了大量数据，其中小文件数量可以可轻松达到千万甚至十亿级别。如淘宝、京东等购物网站的海量产品图片；微博微信里用户上传的表情、图片；人工智能领域的人脸识别、安防监控的卡口图片、金融的影像数据等，这些文件在几KB至几百KB不等，数量可达上亿级，属于典型的海量小文件。

海量小文件简称LOSF(lots of small file)，业内将大小在1MB以内的文件称为小文件，百万级数量及以上称为海量。LOSF读写性能低下一直是困扰存储界的难题，无论是传统磁盘阵列，还在风头正劲的分布式存储，都无法有效应对海量小文件的I/O压力。

海量小文件的文件尺寸小，因此多个文件在硬盘上的分布不连续，物理位置跨度较大；而文件系统的每次文件访问都会伴随一定的元数据操作，文件数量越多，元数据访问压力越大。因此海量小文件读写是并发随机访问，资源开销大，对存储系统的随机读写性能有极高的要求。而目前的文件系统包括本地文件系统、分布式文件系统等主要面向传统场景设计，在元数据管理、数据布局、缓存策略等方面都侧重于大文件，在海量小文件压力下性能极差，业务访问时常常出现目录无法打开、检索缓慢、响应迟钝、甚至发热宕机等情况。

大文件带宽压力

一方面，小文件的数量在疯狂增长，另一方面，大文件的尺寸在快速增加。如像素越来越高的手机照片、动辄几百GB甚至TB级的4K/8K视频、精密科研仪器产生的大尺寸素材数据。这些数据不仅仅需要海量的存储空间，更需要充足的带宽性能，满足大量数据在快速查看、编辑、处理、共享等多方面的需求。

以高清非编为例，它通过多个工作站对于高清视频素材的编辑与渲染，最终处理生成符合播放要求的视频文件。无损4K视频码率可超过300MB/s，压缩后仍有500Mb/s的码率，某些特殊场景因有更高的帧率，码率更可达到惊人的1.5GB/s。

在10个工作站规模、无损4K素材视频编辑时，假设每工作站平均编辑5层4K素材，需要的带宽性能为300MB/s×5×10=15000MB/s。这对于存储系统是一个巨大的性能挑战，SAN文件系统方案架构复杂，且需要很多套光纤阵列支撑；而传统分布式存储需要众多存储节点，且网络延时带来的抖动也很难满足视频渲染的稳定性要求。类似的大文件应用场景，需要更高带宽、更低延时、简单经济的解决方案。

02 FASS文件网关解决方案说明

为满足海量小文件高效管理和大文件的高带宽性能需求，TaoCloud基于FASS分布式全闪存储系统，推出了FASS文件网关解决方案。该方案主要采用分布式全闪存储架构，通过在资源调度、元数据管理、数据组织、I/O 流程优化等多方面优化，可以有效释放全闪存介质的性能，实现海量小文件访问的快速响应；文件网关可以支持多种文件存储协议，实现便捷的数据共享和强大的带宽性能。

△FASS文件网关方案拓扑图

为保障文件网关的高性能表现，方案采用配备全闪存介质的FASS分布式全闪存储集群作为存储底座，FASS使用本地SSD资源创建多个LUN卷，并映射到不同的网关节点。FASS是面向IO密集型应用的高性能块存储系统。它采用高性能的全闪存硬件平台，针对NVMe闪存介质设计了高效的分布式存储软件栈，FASS可将多个节点的SSD资源通过高速以太网或Infiniband网络组成高性能、高可用、易扩展的块存储资源池，并通过iSCSI、iSER、NVMeoF存储接口对外提供超高性能的存储服务。随着业务性能需求的增长，FASS可以通过横向扩展，轻松提升容量与性能。

文件网关相当于IO节点，它们通过高速IP SAN网络访问FASS存储服务，使用iSER协议挂载其LUN资源。每个网关节点以多路径的形式挂载所有LUN卷，并使用其中某个卷作为自己的存储介质资源。各网关节点使用的LUN卷各不相同，可以单独导出文件服务，或将所有LUN创建存储资源池，并以CIFS/NFS/S3等协议对外导出，通过10/25/100Gb以太网为应用提供高性能、易共享、弹性扩展的存储服务。

网关节点本身即一套高可用集群，通过LUN多路径映射以及SAN高可用设计，任何一个网关节点故障后，它的LUN卷会由其他网关节点自动接管，最大允许N-1节点故障，而不影响文件存储服务的正常使用。

FASS文件网关包含IO链路、集群内部、业务访问几层，不同网络可单独配置，也可以复用简化。为保证方案整体性能，推荐配置10Gbps以上网络配置。

FASS文件网关可以提供远高于传统NAS的文件访问性能，满足新兴文件应用场景对于高IOPS和带宽的苛刻要求，参考性能：

03 FASS方案优势

·优秀的性能表现

FASS网关方案采用share-nothing分布式集群架构，可以消除独立元数据性能瓶颈，支持百亿级别文件总数目和千万级单目录文件数目。FASS元数据服务基于内存K/V数据库实现，文件数据与元数据分别存储和管理，具备优秀的性能扩展能力。通过NVMe盘提供极致I/O性能，结合软件层的XPE引擎设计、微控制器技术、轻量元数据索引等机制，块存储端可达到三节点千万级IOPS、微秒级延迟；文件存储性能可达到数十万OPS、10GB/S级带宽。

·统一存储、便捷共享

FASS文件网关方案同时提供高性能块、文件、对象访问，如CIFS、NFS、FTP、S3、iSCSI、iSER，可以满足用户各类应用的存储访问需求。数据库可以使用iSER高性能块服务，满足关键业务的性能需求；海量小文件或大文件编辑，可以使用NAS协议或POSIX共享访问。方案采用透明共享机制，可以让文件协议和对象协议实现零拷贝数据共享，异构应用可以轻松共享彼此写入的数据，而无需任何拷贝或转换。。

·高可用、灵活扩展

FASS分布式全闪存储系统采用全活高可用架构，可以允许任意节点故障而不中断块存储服务；存储网关通过多路径映射加SAN高可用机制，可以允许N-1个网关节点故障。两者结合，具有极高的业务可用性。

随着业务的增长，方案可以按需配置相应的集群规模，以最小的投入满足业务性能需求。方案前后端相对独立，用户可以根据业务对块存储和文件/对象存储的不性能要求，对FASS存储底座与文件网关可以配置不同的网络、集群规模、硬件规格，以经济灵活的配置，满足业务的实际资源需求。随着集群规模的扩展，文件网关的整体性能呈线性增长。

04 典型业务场景

FASS文件网关解决方案主要面向海量小文件和高业务带宽需求场景，可以通过标准的NAS或CIFS协议，可以便捷的文件共享和高吞吐带宽性能。可广泛应用于AI海量小文件、4K/8K非编、HPC、基因测序、高速数据采集 （雷达、卫星等）等业务场景。

海量小文件

AI人脸识别、大型电商、交通卡口等场景，每天都会产生高级TB量级的小图片文件，这些数据要求保存一定的周期，到期后需要批量删除，集中操作往往给存储系统带来巨大的压力。大量的元数据操作导致传统存储系统对小文件的删除、检索效率极低，读写放大明显，HDD存储系统难以应对如此庞大的文件数据和随机访问压力，成为类似应用的最大性能瓶颈。

FASS网关方案采用分布式轻量级元数据设计，可以支持百亿级别文件总数目和千万级单目录文件数目。结合软件层的的多种优化，可以充分发挥NVMe盘的随机读写性能，应对海量小文件的同时删除或并发随机访问压力。

△FASS文件网关交通卡口海量图片管理

高清非编

4K/8K不仅给播放设备、网络带宽带来的新的挑战，给后端的存储设备更是带来了性能和容量上的巨大压力。视频后期制作通常需要同时编辑多层素材，导致存储带宽需求数倍增长；除了极高的带宽，还要求存储的访问延迟较低，不能存在明显的性能抖动，否则会导致画面卡顿、丢帧等情况，极大影响编辑人员的工作体验。随着业务的增长，视频素材的累积，工作站所需要的存储空间也越来越大，存储设备需要具备强大的扩展能力，以弹性满足业务发展的需要。 

FASS文件网关解决方案可以较低的成本提供非编所需的容量、带宽与共享特性，解决4K/8K视频编辑处理面临的性能难题。

△FASS文件网关4K/8K非编应用

高性能计算

随着HPC逐渐往大数据、AI等方向融合和演进，对存储容量、I/O性能、弹性扩展能力提出了更多的要求。多个HPC高工作需要便捷的数据共享，通过文件协议实现高带宽业务访问。也对数据提供出了全场景交叉共享，跨业务自由流动的要求。

FASS文件网关支持多种文件存储协议，高吞吐、可扩展的带宽表现，可以满足多个高性能计算节点的并行数据处理要求，并提供原生的数据共享；内置的冷数据归档功能，可以将重要的结果数据归档至蓝光或云端保存；软件定义方案，支持主流的服务器硬件平台，降低用户建设成本。

△FASS文件网关基因测序HPC应用

（TaoCloud团队原创）