EB级大数据存储时代,智能化提升数据价值
具体趋势包括了超融合、信创存储、数据保护、全闪存、EB级大数据存储、IPFS、NVMe SSD、SDS和混合云存储共计九个方面,目前业界和用户最为关注的技术方向。
“一年一度,值得关注”
新趋势关键词:EB级
EB级大数据存储时代
智能化提升数据价值
数据爆发增长的趋势不可阻挡,源自5G、物联网、人工智能、云计算等新兴技术应用交付影响下,全球数据总量早已迈入ZB级时代,这些新兴技术得以兴旺发展的根基自然离不开数据存储的高效率。
但是对于企业用户而言,因业务类型不同应用不同,因而诞生了对数据存储有着TB级需求、PB级需求的情况居多。然而,对于有着多样化应用的垂直行业用户而言,其数据总量已达到并超过EB级。
大量海量的数据包括了实时数据、边缘数据、终端数据等类型,同时其中以图片、视频、语音等非结构化数据居多。对此,任何一个用户都希望自身的数据存储系统可以满足其业务创新发展与数据不断攀升的需要,得以实现对数据更为高效的存储、管理和价值洞察。
数据已成为企业的资产,当用户整体数据总量迈入EB级时代后,大数据存储时代下,对于提升数据价值的诉求,将成为行业的大趋势。
一方面,传统企业级存储在不断对接云平台场景的同时,分布式新存储带来更高效的弹性存储方式,让企业用户的数据存储随着业务需求发展而灵活扩容。同时兼有闪存存储高性能的配置与设计,这对于有着EB级存储发展趋势的用户而言,将是更直接的高效选择。
二方面,有了高效数据存储的前提下,企业用户需要应对私有数据中心数据存储与公有云环境数据存储的拉通问题,云上云下的数据流动,成为众多企业级存储厂商和公有云厂商考虑的重要领域之一。因而企业用户要求数据存储的管理效率需要不断提升,不断满足稳态业务和敏态业务的共同需要。
三方面,高效存储与管理的本质都是为数据洞察提供坚强的后盾。然而对于不同应用场景下,不同阶段下对数据存储性能、容量都有着不同的需求。这就需要利用人工智能、服务于人工智能,赋能大数据价值挖掘。比如针对数据采集、清洗、训练、推理、归档等不同过程,匹配更为高效、灵活、智能的统一存储系统。
杉岩数据创始人兼CEO 陈坚
进一步分析大数据存储发展演进的趋势来看,目前已经进入到了大数据存储的3.0时代。杉岩数据创始人兼CEO陈坚分析指出,大数据存储从海量数据“存得下”的1.0时代,到融合存储“管得好”的2.0时代,再到智能存储“用得爽”的3.0时代。大数据存储的演进也是数据驱动下的数据存储创新过程,大数据存储3.0时代强调的智能,聚焦基于数据感知的智能数据预处理能力、智能调度能力,基于应用感知的数据访问加速能力,以及数据存储系统自身的智能运维和管理能力。
对于海量的数据处理而言,数据检索的漫长等待时间也给大数据存储带来了麻烦。为此,杉岩数据为用户的非结构化数据打上各种标签,从而大大降低检索时间,方便系统的集中查询和调用。
大数据存储之前的数据标签化,杉岩数据自带基于自定义标签的检索功能,提供灵活的标签管理方式和优异的标签检索性能。对于用户来说该功能可以根据需求灵活调整,即使数据量达到百亿级,存储仍能够提供秒级检索能力,保障数据的快速访问。对于银行、医院、交通等行业领域的视频、图片、语音等非结构化数据,杉岩数据不仅对数据做智能化的标签处理,实现海量数据归档,以及快速文件检索。同时采用智能数据处理引擎,简化业务流程,提升处理效率,并借助优化AI算法加速模型训练,构建机器学习场景方案。
比如在杉岩数据轨道监控视频云解决方案构建上,支持EB级容量、百亿级文件规模的视频云平台,能够满足高清晰、低延时的大规模监控需求,通过开放的S3协议支持视频存储、回播、转发功能,通过智能数据处理引擎支持视频检索、关联分析、大数据管理等功能,低成本实现视频云平台的可扩展性、稳定性和开放性。从运营的角度来说,不仅提升了轨道交通的管理效率,而且也大大降低了管理难度和故障率。
可见,大数据存储智能时代更为强调对于数据价值的洞察以及在数据价值洞察之前的数据检索与存储。由此而言,在百行百业的数字化转型与升级之路上,必然存在多种多样的业务应用场景,比如轨道交通、金融影像、医疗影像、视频监控、智能制造等领域对大数据智能存储有着明显的刚需,必然需要发挥出基于数据感知、应用感知的数据存储智能化能力,智能分析挖掘数据价值。
由此而言,2021年,针对轨道交通、医院医疗、智能制造、石油勘探、工程计算、生命科学领域和金融大数据分析等行业场景,大数据存储必然也会面向EB级存储时代下的企业用户,更为聚焦智能存储的大数据价值提升。