极客天成并行文件系统助力英伟达构建200Gb超高性能缓存方案

　　SSD池化的必然趋势

　　AI 、大数据及云业务的快速普及，导致数据呈井喷式增长。为了满足社会智能化发展的需要，企业对其IT基础设施的算力和存储性能的需求日益提高，其表现为在服务器层面，一个重要的需求就是内存提供更大的容量来处理需要分析的数据， 其数据容量动辄几百GB乃至上TB级的容量；但是在一台服务器上对于内存的无限增加无论从可行性上还是成本上都是个难题。随着NVMe SSD的性能越来越高，容量越来越大，成本日趋合理。为了应对远大于内存容量上限的上TB级数据的处理，越来越多的用户选择把NVMe SSD用于充当内存的Cache，存储那些体量大，但不需要频繁修改的数据。因此，配置NVMe SSD成为了高性能计算服务器的标准配置。

　　SSD池化的瓶颈效应

　　NVMe SSD相比传统的机械硬盘，IO处理能力不管是在小文件传输、还是大文件传输上都有了数量级的提高；但是，相比于内存的IO处理能力而言，还是有着非常大的差距（如下图所示），这也成为了制约NVMe SSD应用和在高性能计算平台普及的一个重要因素。

　　当然，为了解决NVMe SSD传输的性能瓶颈，可以在每个服务器上配置多块SSD做Raid0，这样可以提高SSD的性能。但是， 这样做会明显推高单台服务器上SSD的配置成本，而且SSD的容量浪费会变得异常明显。

图1 ：A代表配置一块NVMe SSD的服务器，B代表配置多块NVMe SSD的服务器，C代表采用了InfiniBand网络NVMe over Fabric的SSD池化方案， 多台服务器共享NVMe SSD,在配置NVMe SSD的服务器上配置高性能并行文件系统，将SSD共享给每一台计算服务器，实现高IO访问同时，SSD 容量利用率也得到了大幅提高

　　高性能网络SSD池化最佳融合实践

　　因此，NVIDIA网络事业部联合西部数据公司和北京极客天成科技有限公司，针对这一问题开展了基于InfiniBand网络的NVMe Over Fabric的高性能并行文件系统的尝试，将NVMe SSD池化，然后通过网络共享给对应的计算节点。在低成本和高性能中给出了最佳的融合实践。

　　该实践是在两台服务器上部署并完成测试的，其中一台服务器作为存储节点配置了12块西部数 据Ultrastar DC SN840 6.4TB的NVMe SSD，单SSD盘的4K随机读IO性能高达每秒780K，随机 写IO性能高达每秒253K，128K文件的随机写带宽高达3.2GBps，128K文件的随机读带宽高达 3.47GBps，高性能且速率稳定的SSD保证了整体测试的质量。另外一台服务器配置为计算节点，两台服务器均配置NVIDIA Mellanox的最新200GbpsHDR InfiniBand网卡，通过HDR交换机连接，InfiniBand网络的超高转发速率，且不丢包的特性对于高性能Cache池的应用至关重要，让用户不必担心在频繁的数据交换过程中由于突发的报文丢包而造成转发性能下降；同时，将 12块NVMe SSD通过极客天成的高性能并行文件系统整合成一张性能和容量超大的共享网盘，共享给计算节点使用，并通过文件系统将所有的SSD盘管理起来，实现了高性能和高性价比的兼顾，构建出池化方案的基本轮廓。

　　实践数据如下：

图2：4K FIO测试数据 在 12块NVMe SSD的情况下，随机读性能为1.97MIOPS，随机写性能为4.16MIOPS，随机读+随机写的性能为 3.55MIOPS

图3：128K FIO测试数据 在6块NVMe SSD盘的情况下，随机读的性能为 19GBps，随机写的性能为26.2GBps，随机读+随机写的性能为30.4GBps

　　总结

　　通过测试数据对比NVMe SSD池化方案与本地内存采用Ramdisk方案的数据不难发现，基于InfiniBand网络的NVMe SSD池作为Cache的性能已经明显得到优化，达到了接近内存的效果。

　　从以上的测试结果不难看出，基于InfiniBand网络的SSD池化方案，可以经济地实现超高性能的Cache池来加速应用，成 为一种新型数据中心高性能Cache池的通用架构。

　　注：一兆字节等于一百万字节，一千兆字节等于十亿字节，一百万兆字节等于一万亿字节，由于操作环境的原因，实际用户容量可能略少。

　　关于NVIDIA

　　NVIDIA（纳斯达克股票代码：NVDA）1999年发明的GPU驱动了PC游戏市场的增长，并重新定义了现代计算机图形、高性能计算和人工智能。NVIDIA在加速计算和AI领域的创举正在重塑交通，医疗健康和制造业等价值数万亿美元的产业，并推动了许多其他产业的增长。

　　关于西部数据公司

　　西部数据公司作为数据基础架构的领导者，为用户提供创新的存储技术和解决方案，帮助用户获取、保存、访问和转换日益多样化的数据。从高级数据中心、移动传感器到个人设备，数据无所不在，西部数据提供业界领先的解决方案来探索数据的可能性。西部数据公司以数据为中心的解决方案由Western Digital TM（西部数据）、SanDisk TM（闪迪）、WDTM（西数）、WD_BLACK TM 品牌组成。

　　关于北京极客天成科技有限公司

　　北京极客天成科技有限公司以高通量分布式集群存储为先锋，围绕软件定义、智能化、安全可靠，NVMe Over Fabric构建了完全自主可控的分布式存储产品线和解决方案，主要解决用户海量数据下的高性能低时延数据读写难题，可为用户的数据中心提供创新和高效的存储及数据管理方案。