分布式存储
加速IPFS基础设施落地，西部数据的三重独特优势
基于此，IPFS去中心化分布式存储“应运而生”，它能够解决目前去中心化存储存在的一些问题，实现数据永不丢失，商用成本比中心化存储更低。而业内人士也预测，去中心化分布式存储解决方案有可能成为未来云存储的主流选择。但在此过程中，IPFS去中心化分布式存储也面临着一些新的挑战，如何化解这种挑战，无疑是IPFS基础设施落地的关键所在。而作为目前市场上少有的一家能提供从芯片到系统完整存储解决方案的供应商，西部数据一直在推动存储架构的发展，通过创新分层存储架构，不仅可以为企业提供高可靠性、低延时、高可维护性和最优的总体拥有成本的IPFS解决方案，也能进一步加速推动IPFS基础设施建设的落地步伐。毫无疑问，在这背后正是西部数据一直以来在存储领域“与时俱进”积极响应用户需求的最新举措，也是其跟随时代不断进化和迭代的具体体现，相信这种持续的前瞻力、创新力和产品力，将会为释放海量数据更大潜能发挥出更为重要的价值。IPFS面临的全新挑战我们知道，随着数字化转型的提速，喷涌的海量数据持续爆炸式的增长，企业的存储基础设施也正面临着“翻天覆地”的变化，特别是新的数据形态、新的部署环境、新的安全需求，都对存储基础设施的发展提出了新的要求，具体体现在容量、性能、架构、管理的各个方面。也正因此，传统中心化存储的部署方式已难以满足新的存储需求，用户需要打破现状，而基于内容寻址、分布式的、点对点的新型超媒体传输协议IPFS开始在市场中“崭露头角”，其相对于中心化的存储方式，IPFS的存储更安全、速度更快、费用更低，既提高了系统的可靠性、可用性和访问效率，又便于扩展，降低了硬件引入的不稳定性。但客观地说，作为一种新型的存储方式，IPFS分布式存储本身也面临着一些“痛点”，包括数据吞吐量低、空间利用率低、难以扩容、运维低效、故障惩罚高、以及总体拥有成本高等。对此，西部数据公司副总裁兼中国区业务总经理刘钢在“算力之巅，蒙顶论链”2021 全球算力峰会暨雅典娜云池全球算力第一庆典上提到，IPFS确实弱化了中心化存储的极致需求，节省了服务提供成本，但IPFS由很多的节点构成，每个节点中就会有不同的挑战，这些挑战可以总结为四个方面：“既要、又要、也要、还要。”——用户既要大数据，又要快速存储，也要能够降低成本，还要降低功耗。但事实上，因为市场找不到任何一种单一的存储产品、存储技术能同时满足上述四个方面的需求。
西部数据公司副总裁兼中国区业务总经理刘钢因此，这也是西部数据提出“分层存储”理念的重要价值所在。所谓“分层存储”，指的是在“存储金字塔”中根据应用场景的不同划分为五层，从低到高依次为：极冷存储、冷存储、温存储、热存储和极热存储，通过为每个分层提供差异化的产品以满足不同的需求，最终满足用户的实际需求。例如，在极冷存储层，其特点是写入次数较少，需要持久数据，那么SMR HDD就适合这种场景；而冷存储层，特点是需要多次读取的高容量需求，而CMR HDD就满足这种场景；同样，在温存储层，需要比较高性能的IOPS，那么主流的SSD/HDD就适用这样的场景；在热存储层，其特征是高IOPS、低延时和对高带宽应用需求高，那么高性能SSD则是“最佳之选”，最后是极热存储层，其需要是持续的低延时，那么目前主流的方式是引入DRAM/SCM这样的新的内存介质去做满足。“通过分层存储的视角去做观察，可以看到不同的数据对存储设备和硬件的要求是不一样的，这时候当用不同设备去满足不同分层出处需求的时候，才能真正解决用户的问题，不仅能够支持快速访问数据，同时也能降低总体成本的需求。”刘钢说。由此可见，通过引入“分层存储”的创新方式，并基于不同的存储产品来应对IPFS分布式存储中不同节点中的挑战，以最大化的提升性能和响应速度、降低总体拥有成本，才能更好的推动IPFS基础设施的进一步落地。全场景方案赋能IPFS在此背景下，作为业内少有的几家能够提供全场景存储解决方案的公司，西部数据能够为用户提供从芯片到系统广泛而完整的产品组合，以丰富的全系列存储产品组合赋能IPFS基础设施建设。
一方面，针对高容量数据存储需求，西部数据推出了成本最优的存储集群，拥有业界大容量Ultrastar DC HC550 18TB HDD和采用IsoVibe专利震动隔离、ArcticFlow专利冷温技术的4U102 Data102 JBOD来实现磁盘扩展；另一方面，针对高密集型计算集群，西部数据的Ultrastar DC SN640 NVMe SSD和Ultrastar DC SN840 NVMe SSD不仅能提供爆块成功率的可靠保障而且能消除P1/P2的性能瓶颈，并以SSD性能和容量共享、6端口和100GbE高速互联的OpenFlex实现SSD资源优化。其中，西部数据基于“分解式架构”推出的新款OpenFlex Data24 NVMe-oF JBOF平台，就能提供业界领先的100Gb以太网连接，并通过直连或网关，使服务器能够共享本地的NVMe 闪存存储，由此可以让NVMe存储分解成开放可组合模式，测试数据显示，它可将高性能Ultrastar DC SN840 NVMe SSD延展到整个低延迟以太网数据结构中，提供高达368TB的共享存储容量，这就为IPFS分布式存储的架构搭建提供了更多的选择。不仅如此，针对IPFS分布式存储故障惩罚高的“痛点”，西部数据内置的磁盘健康管理（WDCFHM），还能通过提供“诊断、预测、改进、预防、优化”几个关键能力来帮助用户控制风险，减少运营维护成本。比如，可预测磁盘寿命以及可能出现的故障，以便用户提前转移或备份数据，避免数据丢失；可根据健康数据分析在系统端作相应改进措施，由此有效减低总返修率，从而减少整体运营维护成本；更关键的是，还可根据整体的健康状态了解潜在风险，通过优化系统性能平衡等措施，减少用户业务延迟的现象发生，最终为用户的IPFS系统“保驾护航”。方案对比测试表明，西部数据面向IPFS的存储方案(4U60+18T) 相比传统存储方案(4U36+16T)，不仅能够让机柜空间减少46%，电源功耗降低36%，实现TCO成本的降低，以其“高性能、高密度、低成本、简运维”的优势，加速赋能IPFS基础设施的建设。值得一提的是，去年10月，西部数据与云服务商Dropbox公司携手针对其特定机箱配置进行内部测试，采用业界首发的Ultrastar DC HC650 20TB SMR HDD替换原有CMR HDD后存储密度增加了10%-20%，节约了20%的TCO，不仅帮助Dropbox公司以更好的TCO实现了更高的存储密度，同时也没有影响其6亿多在线用户的数据持久性和可用性，真正成为了Dropbox未来构建EB级存储平台中的重要基石。同样，西部数据与混合云文件数据管理领域的领导者Qumulo公司日前达成合作，该公司部署西部数据Ultrastar DC HC550 18TB HDD和Ultrastar DC SN640 NVMe SSD，持续推进疫情的研究和疫苗推广。相较先前的解决方案，Qumulo公司单日读取和分析增加到2PB 的数据，单日可处理数据量翻了大约20倍。在中国市场，西部数据也联手本土存储软件解决方案提供商杉岩数据，通过Ultrastar 企业级产品系列和JBOD存储解决方案，为杉岩数据打造了业界领先高性能IPFS方案，实现硬件资源集中管理，强大的运维能力让性能和容量的横向拓展、并满足复制证明&时空证明下IPFS场景的存储访问。相比较传统的存储解决方案，全新的方案让机柜空间减少，电源功耗降低，TCO成本得到了有效降低。从这些成功的案例中，可以看出西部数据通过创新存储架构，并以丰富的存储产品组合不断降低存储的使用门槛，由此帮助企业用户更快、更好地完成数字化的转型，相信这些成功经验对IPFS基础设施的建设也会提供更多值得参考和借鉴的价值。背后的三重独特优势回头来看，西部数据之所以能够始终站在存储技术创新的前沿，背后离不开其过去50多年来一直专注存储市场形成的三大独特优势，具体而言：首先，是领先的闪存产能优势，集邦咨询 (TrendForce)的数据显示，西部数据 和铠侠在全球RAW NAND占有全球近 1/3的份额，高居市场第一，这不仅是西部数据在NAND产业中稳固领导力的体现，也是其过去坚持固定的NAND技术投资承诺的印证。其次，是领先的闪存技术优势，过去二十年，西部数据与铠侠一直保持着深度合作，同时通过双方资金和技术等资源的共同投入，由此始终保持在 NAND 领域的领导地位。其中，双方日前联合研发出的第六代162层3D闪存技术，其横向单元阵列密度比第五代技术提高了约10%。与112层堆叠技术相比，这种横向扩展技术上的提升，结合162层堆叠式垂直存储器，能够使晶圆尺寸减小约40%，从而优化了成本。与上一代产品相比，其程序性能可提高近2.4倍，读取延迟减少约10%，I/O性能也提高了约66%，使得下一代接口能够满足不断增长的对更高传输速率的需求。最后，是企业级固态硬盘纵向集成优势，西部数据在企业级SSD领域拥有三大核心技术优势，即集成完全自主的NAND Flash、先进的SSD控制器和高性能固件于一体，这种纵向集成的能力能够让SSD实现性能和稳定性的极致优化，确保SSD生命周期稳定的I/O一致性。
在刘钢看来：“当用户把这些最新的存储技术，大数据的存储技术，还有快数据的存储技术应用到IPFS解决方案中，将会进一步降低IPFS运维成本和部署成本，推动IPFS基础设施的建设。”这些新的技术和市场变化，反映在市场上就是云服务商目前正快速地从低容量HDD往大容量HDD进行“切换”——数据显示，在2020年主流容量点已经从14T增长到16T，而在去年第四季度，主流容量点更是从16T往18T移动，由此带来的效果是，在单盘容量增加29%的同时，其单位功耗却降低了21%，服务器成本也降低了11%，总体TCO成本更是降低17%。而IPFS服务商“切换”速度更加让人惊讶——去年二季度，大部分IPFS服务商仍然在使用8TB，但仅仅四个季度的时间，其容量已经攀升至18TB，而根据预测，未来IPFS服务商在容量的选择上，将会很快“反超”云服务商，这也说明目前IPFS服务商在基础设施建设中的技术更新换代上，需求更加猛烈，这不但会加快推动相关行业的数字化转型进程，构建全新的商业场景，也会促使经济社会发生深刻变革。全文总结：数据可以说是未来最核心的财富，以及各行各业创新的原力，而随着IPFS的强势崛起，将会最大限度释放数据时代的价值和红利。在此过程中，西部数据始终保持着不断的投入与创新，以及对行业需求的前瞻认知和准确判断，凭借创新存储架构和丰富的产品组合，引领和推动数据在各个行业中的广泛创新，助力中国用户的数字化转型之路越走越宽，越来越有力量。