西部数据:数据驱动万物时代的存储分层之道 2024-07-30 17:57:16 过去在行业里有一种“存储危机论”的说法,这种观点认为,存储在大规模数据中心中的地位在降低。相比于计算的重要性,存储许处于一个相对的低谷。而事实上,存储是承载企业数据驱动价值最重要的载体。因为数据不再只是物理世界的“记录者”,而成为了新的生产资料,并逐渐发展出价值闭环:数据驱动让企业能够利用海量、多维度的数据创造直接的业务增长,同时可以优化业务,提升运营效率,是企业走向数字化转型发展的重要手段。西部数据公司高级副总裁兼中国及亚太区总经理Steven Craig说:“2020年,突如其来的新冠疫情加速了各行各业的数字化转型,使我们共同步入了‘数据驱动万物’的新时代。随着数据的爆炸式增长以及存储需求发生巨变,云端存储也面临着前所未有的压力。” 西部数据公司高级副总裁兼中国及亚太区总经理 Steven Craig的确,数字化转型的催生了大量新应用。数据显示,在2019年中国数字化转型IT支出首次超过非数字化转型IT支出,占比达到51%,而2020年的新冠疫情则进一步加速了企业对数字化的投入。随着数字化转型的不断加速,行业新应用爆发式增长,从数千、数万跃升到百万量级,数据呈现出海量、多元、实时、多云等趋势,与之相应的,企业级存储成为承载产业转型的基本“元素”。直云时代的存储之变今天的企业数字化转型与云时代的到来以及云数据中心的发展之间存在密切的联系。目前的企业上云正呈现混合、多云及边缘化的发展局面,而这将是企业级存储发展的主要驱动力:第一,随着智能 IoT 设备使用频率的增加,将有90%的数据会由机器产生,而产生的数据量将在2023 年超过102个ZB。企业要开始从IoT 等新来源收集传统数据流和新数据流,并要存储、管理、保护所有类型(结构化和非结构化)的数据,并从中发掘商业价值。第二,混合多云环境下,所有的云之间都是相互连接并协同工作的,以避免数据孤岛。数据和应用负载在本地数据中心和云之间、在云和云之间来回迁移,这也为存储在不同数据中心,乃至数据中心不同位置的部署提出了新的要求。这些驱动力对企业级存储的需求推动是非常显著的,同时也带来了企业级SSD和企业级HDD两个市场的同步增长。西部数据公司技术及战略总裁Siva Sivaram博士也在闪存技术以及数据架构上进行了更详细的介绍 西部数据公司副总裁兼中国区业务总经理刘钢表示,“过去有一个误区认为,企业级存储大部分增长是来自于企业级SSD,企业级HDD并没有快速增长。而实际上,数据中心用户既有对容量的需求,也有对性能的需求,因此企业级SSD和HDD需求规模均在快速增长。” 西部数据公司副总裁兼中国区业务总经理刘钢Gartner的数据也显示:企业级SSD的增长曲线,年复合平均增长率达47%,而企业级HDD的增长曲线,年复合平均增长率达39%。 而从企业级SSD和HDD,我们也可以清晰看到数据中心存储的两大发展趋势:驱动企业级HDD得以快速增长的原因是数据中心对大容量存储的需求。据调查所得的数据显示:在去年企业级HDD的主流容量点已经从14T增长到16T,而2021年的主流容量点已经从16T开始往18T移动,18T的大容量企业级HDD将会在2021年成为主流需求。而企业级SSD的增量背后则有两个趋势:一方面,NVMe接口的企业级SSD成为主流,市场占比越来越大;另一方面,则是Gen4开始出现,尽管2021年的占比当中70%会是Gen3,但同时Gen4也开始部署,到2022年Gen4将会成为主流。分层存储策略的实用之路刘钢认为,当下的数据中心存储正面临四大挑战:首先是数据增长迅速,从更多的数据来源,产生了更多的容量需求;其次是存储性能需求倍增,更低延时,更高IO和更多带宽成为了一种常态;第三,追求极致的TCO,比如更低每TB成本,和更低的管理维护成本;最后是绿色能耗体系的要求,更节能和环保。很明显,没有哪种存储介质,可以完全满足这四个需求。所以西部数据为了数据存储的优化,先后提出了分层存储、分区存储、分解式架构的三“分”概念,来最大化地提高硬盘应用价值,降低总体拥有成本(TCO)。分层存储,即对不同特征和应用场景的数据进行划分和分层存储,以达成优化目的;分区存储是对容量越来越大的固态盘进行分区,保证固态盘在被多重访问时性能不受影响,并降低成本;而分解式架构则是通过资源池化和改变架构,让更多的服务器可以共享高性能的固态盘等资源。尤其值得一提的是,针对分层存储,西部数据在2020年提出了五层结构的分层存储策略,建议以极热存储、热存储、温存储、冷存储及极冷存储的方式对数据进行划分,对不同特性的数据进行相对应的分层存储,从而满足数据存储在容量、性能、成本及能耗等方面的多样化需求。怎么理解不同数据处理需求与不同存储设备之间的逻辑关系? 极热存储和热存储都具有数据频繁读写,具有持续低延时,高IOPS,高带宽的应用需求,主要面向OLTP, DSP , 自动驾驶等典型应用。极热存储适用于DRAM,而热存储则适用于高性能SSD。 温存储,则代表了读取较频繁,有较高性能IOPS和带宽要求。主要面向面向传统企业应用,典型应用可见于OLAP,AI训练,和一些行业用户的企业级应用。主要以主流SSD或HDD为主。冷存储主是指少量写入,多次读取,数据与温数据有相关性。通常是面向存储备份,在线交易用户,画像分析等应用,对应的设备建议是大容量企业级HDD;而极冷存储则用于大块写入,写入次数较少,需要持久的数据保存,通常是面向归档等存储需求。典型应用多见于金融,医疗,广电行业数据长期归档。可以用SMR HDD来满足需求。 而西部数据是业界少有的,可以提供所有存储层产品和解决方案的公司,这也是西部数据专注于存储的优势所在。当然对于不同的企业来说,数字化的程度不同,数据的规模不同,数据的复杂性也不尽相同。除了大型的云服务商,一般的企业其实并不会用到全部的五层存储,但这种分层存储的思维方式,应该形成标准,以应对未来更为复杂的数字化转型。刘钢说,“西部数据不只是提供一个存储架构,或是根据存储架构提供相应的设备,我们也会跟很多软件解决方案的合作伙伴,针对不同的行业,来提供相应优化的分层存储的行业解决方案,来满足不同数据层对存储的需求。”作为分层存储策略的践行者,云服务商UCloud发现,各类数据的访问量随着时间推移都会产生由热至温,由温至冷的转变。对此,UCloud系统工程师周庆说,“正是基于数据这种由热到冷的变化特征,我们倡导对数据进行分层存储,从而有效降低数据存储和管理成本。” UCloud系统工程师周庆杉岩数据致力于打造海量对象存储MOS、统一存储平台USP和超融合一体机HyperCube三大产品矩阵,杉岩数据CEO陈坚更表示,本次与西部数据共同推出了全闪存云存储解决方案。杉岩数据更与西部数据合作推出了IPFS EB级存储解决方案,以及针对高密存储需求而言的4U36节点的JBOD存储解决方案,构建全闪存储资源池满足业务发展需求。 杉岩数据CEO陈坚引领企业级存储的技术浪潮当然,作为一家专注于存储市场的企业,要更好地服务于企业数字化转型,引领企业级存储发展的浪潮,西部数据自身必须在每个层级都有核心技术支撑的好产品。例如在极冷存储层级,西部数据有20T的大容量硬盘Ultrastar DC HC650 SMR HDD。同时有16T、18T的大容量盘西部数据Ultrastar DC HC550 CMR HDD,可以来满足冷存储的需求。这两个部分可以很好地满足用户对数据中心大容量的需求。刘钢说,容量的提升,对用户而言可以大幅降低了TCO。以14T升级到18T为例,数据中心的容量密度可以提高29%,每TB功耗降低21%,部署成本降低11%,总体拥有成本降低17%。相信未来这种提高密度,降低功耗,降低总拥有成本的解决方案会被更多的客户所接受。再比如在热存储层级,西部数据有Ultrastar DC SN840 NVMe SSD,而西部数据Ultrastar DC SN640 NVMe SSD则可以作为主流的温存储的产品。如今西部数据丰富的产品线已经覆盖了从NAND、硬盘以及NVMe平台和系统在内的一系列品类,提供数据平台、连接平台、技术产品等丰富的产品组合。 刘钢也表示,西部数据除了在企业级硬盘和固态盘方面,拥有技术方面的领导优势,同时在规模上也有明显的优势。如西部数据对于NAND的投入巨大,西部数据和铠侠合资的厂产能占全球的1/3。 总体而言,西部数据作为一家完整的存储技术、产品和方案的提供商,可以提供从芯片到系统的完整解决方案,可以满足不同层级应用对存储设备的需求,并以此进一步推动“数据驱动万物”的企业数字化转型。 赞 (0) 相关推荐 分布式存储 加速IPFS基础设施落地,西部数据的三重独特优势 申耀的科技观察发布时间: 04-0911:49可以看到,今天现实物理世界与虚拟数字世界的融合,让数据出现了爆炸式增长.根据IDC白皮书预测,2018年 ... 开放计算时代,企业需要什么样的存储架构? 当下一代数据中心面临诸多挑战,什么样的存储架构才能满足开放计算时代企业的应用需求? OCP China Day:开放计算的盛宴 提起OCP(Open Compute Project,开放计算项目),相 ... 西部数据顺势而为:三“分”赢天下,领航“云”存储 <三国演义>第一回:"天下大势,分久必合,合久必分." 随着分布式计算.分布式存储.分布式云.分布式数据中心的蓬勃发展,分布式已成为大家关注的持续热词.在西部数据公司高 ... HDD出货量大幅下降,当中有疫情及次世代主机等多重因素 2020年开年不顺带来的效应在各行各业都能感受到,当中就包括了传统的存储行业,而HDD硬盘似乎受到的影响较大.根据Trendfocus的HDD硬盘第1季度出货报告<SDAS: HDD Infor ... HDD依然会是未来数据的主要载体,但是会被SSD逐渐挤到云端 近几年来SSD发展相对迅速,各种对HDD不利的言论层出不穷,甚至到2021年SSD的出货量可能还会超越HDD,SSD的市场形势确实是一片大好,不过它还要伴随HDD走很长的一段时间. 这几年SSD的速度 ... 如何满足产业经济发展的“新刚需”? 编辑:阿由 设计:紫菜 假若进行一次2020年的最热关键词评比活动,想必"新基建"一定会轻松入选. 作为中国数字经济的发展基石,挟5G.AI.大数据.云计算.物联网等技术之力的新基 ... 西部数据退出存储阵列市场,其面临的困境其实是整个产业的 ZB大数据时代 传统存储服务提供商该何去何从? 数据存储业的领头羊西部数据,要退出存储阵列市场,这背后是全球存储业务迎来了巨大的瓶颈. 西部数据公司刚发布了表现超过预期的收益报告,上周股价随之上涨,2 ... 存储需求大幅增长,企业如何应对挑战? 身处大数据时代的企业,应当怎样应对存储需求增长带来的严峻挑战? 大数据时代企业级存储的巨大挑战 随着台式机.笔记本.智能手机.平板电脑.智能可穿戴.智能家居.智能网联等各种智能终端设备的飞速普及,人类 ... 西部数据持续创新,做云存储时代的领航者 作者|康翔 编辑|阿冒 设计|沐由 作为全球存储业的领军企业,西部数据度过了非同凡响的又一年.面对新冠疫情的肆虐,西部数据在2020年为客户提供了一系列创新产品,满足他们科技抗疫.复工复产的存储需 ... 西部数据:智算时代,存储架构创新永不止步 石油是20世纪世界经济赖以发展的基础,现代工业"流动的血液",还是现代国防和战争最重要的战略物资,所以20世纪是石油驱动的世纪. 而数据则可以看做是21世纪的石油,但相比石油本身, ... 纳米光栅——大数据时代光存储的下一个风口? 文/姚倩.戴晔,上海大学物理系超快光子学实验室 您的存储空间告急- 人类文明发展至今离不开信息的记录.从绘画.雕刻.印刷到如今的数字化信息存储,存储容量呈指数增长.根据软件公司Domo的报告,2018 ... 新数据时代驱动存储大变局:中国品牌首次集体入围全球第四 导语 紧随服务器产业互联网化.智能化脚步,传统企业级存储市场开始新一轮洗牌,新的市场格局逐渐显现:中国企业存储品牌浪潮.华为.联想首次集体入围全球前四,与Hitachi.IBM存储并列全球第四. 一向 ... 进军新时代:西部数据 WD BLUE SSD 评测 个人电脑的技术日新月异,"摩尔定律"不仅仅适用于处理器或是类似的计算性部件,哪怕单单是作为存储设备的硬盘,近年来也面临着新技术的革命与冲击:SSD(固态硬盘).NVMe.3DXPo ... 东芝存储与西部数据敲定合约,共同投资K1闪存工厂 据Anandtech报道,上周五东芝存储与西部数据宣布双方正式达成协议,将共同投资位于日本岩手县北上市的K1工厂.目前该工厂正由东芝存储建造中,预计明年上线.当前两家公司在日本四日市已经有五个工厂:二 ... 智能配电运维,数据中心的时代变革 随着云计算.大数据.人工智能领域的快速发展,数据中心行业也进入了快速发展的阶段,而数据中心也正朝着大型化.高密度.绿色环保.模块化方向演变.为适应数据中心行业的迅猛发展,满足数据中心高效运营的需求,对 ... 实战录播课 | 数据云和后端交互本地存储(四) .点击视频连接:APICloud生态 今天播放00:01/01:20:10APICloud的<APP和小程序实战开发系列课>共五节,本节内容如下:四.数据云和后端交互本地存储1.数据云3. ...