10张架构图详解数据中台,附全套数据中台PPT
数据中台到底是什么,几年过去了,一直众说纷。
笔者认为数据中台不应该是一个单纯的系统或者是一个软件工具,而应该是一套架构、一套数据流转模式。
数据中台需要采集数据作为原材料进行数据加工、数据建模、然后分门别类地储存,再根据实际的业 务场景,打造各类数据服务(含数据应用平台)从而实现对业务的赋能加速。
但以上流程的实现,需要有对应的系统与产品作为支撑,那么基础的数据中台到底应该由哪些系统或者产品组成?
这里我们可以先来看一下几个企业的数据中台架构,从多家公司的完整实践经验看下来,应该能一窥究竟。
数据中台总体架构图
数据中台是在底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层存储平台的计算技术复杂性,降低对技术人才的需求,让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。
通过资产管理与治理、数据服务把数据资产变为数据服务能力,服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。
阿里巴巴数据中台
全域数据采集与引入:以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务、多终端、多形态的数据。
标准规范数据架构与研发:统一基础层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标结构化规范化的方式实现指标口径统一。
连接与深度萃取数据价值:形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。
统一数据资产管理:构建元数据中心,通过资产分析、应用、优化、运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。
统一主题式服务:通过构建服务元数据中心和数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表。
网易严选中台架构图
数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。如下图所示,基于数仓里已经半加工好的数据,再通过BI 平台快速的根据业务需求进行数据可视化和数据分析
网易云音乐数据中台架构
最底层是基础设施层,这包括资源环境和平台工具两部分
第二层是数据层,数据层即网易云音乐的 OneData,包括元数据中心、标准化数仓、数据地图、统一指标体系、数据安全中心和保障这套体系的数据质量管理中心。
第三层是服务层,服务层即网易云音乐的 OneService。它提供不同层级和粒度的数据 API,包括从最底层的任务执行调度能力,到最面向应用的人群圈定的各类服务能力。
最上层是产品层,针对一个个核心业务问题(增长、营收、版权)搭建了对应数据产品,实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环
转转数据中台
数据模型、数据服务与数据开发,通过数据建模实现跨域数据整合和知识沉淀,通过数据服务实现对于数据的封装和开放,快速、灵活满足上层应用的要求,通过数据开发工具满足个性化数据和应用的需要
某企业数据中台架构图
下面这个数据中台,根据数据资产梳理结果,并以大数据平台的“数据采集+海量存储+计算引擎”为基础搭建公司数据湖,再基于数据湖并结合“数据资产管理服务”和“智能数据研发服务”两大支撑服务群实现中台数据的资产化管理和智能化开发,达到快速应对各类数据需求的目标,也实现一整套基于宽表结构、分主题的基础数据,然后实现对外提供数据服务的统一接口,并最终形成汇聚公司数据及其服务的中台,为实现数据赋能的数据应用和产品提供全方位的基础数据以及各类服务支持。
农行数据中台架构
农行“薄前台、厚中台、强后台”IT 架构体系中对前中后三个层次描述得更为明确,将大数据平台和 PAAS、IAAS 基础设施划入了后台。
根据以上企业的数据中台实践,我们不难看出,所有的数据中台建设,都是围绕着企业数据的采集接入、加工存储、统一管理与数据服务4项能力来开展的。
但无论如何,我非常建议大家多看看不同企业的中台架构图和建设方案,内化自己对中台的理解,而不是盲目跟风、照搬其他公司的中台架构和建设蓝图,比如你真要照着阿里的方式做,基本就把自己的资源耗光了,也很难换来价值产出,也不要仓促地去购买商用的数据中台套件,没有什么较佳路径是可依赖的,每个企业所处的数据和业务阶段都不同,始终要根据你这个企业所处的阶段、一线对于数据的真实需求做出合理的判断和选择。
最后,分享一些我手中珍藏的中台相关的建设方案和报告,推荐大家去看看。