10张架构图详解数据中台,附全套数据中台PPT

数据中台到底是什么,几年过去了,一直众说纷。

笔者认为数据中台不应该是一个单纯的系统或者是一个软件工具,而应该是一套架构、一套数据流转模式。

数据中台需要采集数据作为原材料进行数据加工、数据建模、然后分门别类地储存,再根据实际的业 务场景,打造各类数据服务(含数据应用平台)从而实现对业务的赋能加速。

但以上流程的实现,需要有对应的系统与产品作为支撑,那么基础的数据中台到底应该由哪些系统或者产品组成?

这里我们可以先来看一下几个企业的数据中台架构,从多家公司的完整实践经验看下来,应该能一窥究竟。

数据中台总体架构图

数据中台是在底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层存储平台的计算技术复杂性,降低对技术人才的需求,让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。

通过资产管理与治理、数据服务把数据资产变为数据服务能力,服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。

阿里巴巴数据中台

全域数据采集与引入:以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务、多终端、多形态的数据。

标准规范数据架构与研发:统一基础层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标结构化规范化的方式实现指标口径统一。

连接与深度萃取数据价值:形成以业务核心对象为中心的连接和标签体系,深度萃取数据价值。

统一数据资产管理:构建元数据中心,通过资产分析、应用、优化、运营四方面对看清数据资产、降低数据管理成本、追踪数据价值。

统一主题式服务:通过构建服务元数据中心和数据服务查询引擎,面向业务统一数据出口与数据查询逻辑,屏蔽多数据源与多物理表。

网易严选中台架构图

数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。

数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。如下图所示,基于数仓里已经半加工好的数据,再通过BI 平台快速的根据业务需求进行数据可视化和数据分析

网易云音乐数据中台架构

最底层是基础设施层,这包括资源环境和平台工具两部分

第二层是数据层,数据层即网易云音乐的 OneData,包括元数据中心、标准化数仓、数据地图、统一指标体系、数据安全中心和保障这套体系的数据质量管理中心。

第三层是服务层,服务层即网易云音乐的 OneService。它提供不同层级和粒度的数据 API,包括从最底层的任务执行调度能力,到最面向应用的人群圈定的各类服务能力。

最上层是产品层,针对一个个核心业务问题(增长、营收、版权)搭建了对应数据产品,实现从业务流程、信息采集、数据洞察到 ROI 评估再到业务流程的完整闭环

转转数据中台

数据模型、数据服务与数据开发,通过数据建模实现跨域数据整合和知识沉淀,通过数据服务实现对于数据的封装和开放,快速、灵活满足上层应用的要求,通过数据开发工具满足个性化数据和应用的需要

某企业数据中台架构图

下面这个数据中台,根据数据资产梳理结果,并以大数据平台的“数据采集+海量存储+计算引擎”为基础搭建公司数据湖,再基于数据湖并结合“数据资产管理服务”和“智能数据研发服务”两大支撑服务群实现中台数据的资产化管理和智能化开发,达到快速应对各类数据需求的目标,也实现一整套基于宽表结构、分主题的基础数据,然后实现对外提供数据服务的统一接口,并最终形成汇聚公司数据及其服务的中台,为实现数据赋能的数据应用和产品提供全方位的基础数据以及各类服务支持。

农行数据中台架构

农行“薄前台、厚中台、强后台”IT 架构体系中对前中后三个层次描述得更为明确,将大数据平台和 PAAS、IAAS 基础设施划入了后台。

根据以上企业的数据中台实践,我们不难看出,所有的数据中台建设,都是围绕着企业数据的采集接入、加工存储、统一管理与数据服务4项能力来开展的。

但无论如何,我非常建议大家多看看不同企业的中台架构图和建设方案,内化自己对中台的理解,而不是盲目跟风、照搬其他公司的中台架构和建设蓝图,比如你真要照着阿里的方式做,基本就把自己的资源耗光了,也很难换来价值产出,也不要仓促地去购买商用的数据中台套件,没有什么较佳路径是可依赖的,每个企业所处的数据和业务阶段都不同,始终要根据你这个企业所处的阶段、一线对于数据的真实需求做出合理的判断和选择。

最后,分享一些我手中珍藏的中台相关的建设方案和报告,推荐大家去看看。

(0)

相关推荐

  • 阿里数据中台底座的12年建设实践

    阿里巴巴数据平台发展的四大阶段 构建数据中台,一个强大的数据平台作为底座必不可少. 阿里巴巴数据平台发展的四个阶段,一定程度上其实也是阿里巴巴数据中台发展的四个阶段.这四个阶段里,你可以看到阿里巴巴对 ...

  • 高校可以用“数据中台”做些什么?

    "数据中台"是近期IT圈最火的概念之一.数据中台为什么这么火?具有哪些作用?又是如何为高校解"燃眉之急"的?高校在数据治理.管理方面,该如何创新实践?--一起来 ...

  • 主数据和数据中台的区别-主数据不属于数据中台建设范畴

    今天在解释下主数据和数据中台的区别.对于主数据和数据中台我在头条前面文章都有专门的描述,可以先参考下我前面发布过的文章.今天重点还是解释下两者的区别. 在讲解区别下,还是先看下两个概念的定义. 主数据 ...

  • 全新架构 全速发展 美创科技新一代数据安全架构正式发布

    10月23日,美创科技数据安全产品架构升级发布会在杭州成功召开.会上,美创科技正式发布新一代数据安全架构.浙江省网络空间安全协会常务副理事长宋皆荣.美创科技总经理柳遵梁及公司代表.各研究单位.媒体机构 ...

  • 高校数据治理应始终坚持价值导向

    数据治理的难点在哪里?一言以蔽之,就是基本上数据的生产者和数据的受益者都不是信息中心. 数据治理(DataGovernance)是国外首先提出的概念.国际数据管理协会(DAMA)提出了一套完整的数据治 ...

  • 听熊猫拙智这样说:“数据中台不是“筐”!”

    First 加入"ICT销售和大客户联盟"(微信ID:ICT-League),与ICT同行! "ICT销售与大客户联盟"公众号,集千家厂商.集成商和客户于一堂, ...

  • 释放非结构化数据价值,助力数据驱动型组织 | 爱分析报告

    近日,在爱数 2021 SMART大会上,大数据基础设施提供商爱数联合爱分析发布了<非结构化数据中台实践白皮书V2>.白皮书首先从行业.政策层面深度剖析,数字化转型大趋势下正在催生越来越多 ...

  • 最全数据中台架构图(多图),包含:数据挖...

    最全数据中台架构图(多图),包含:数据挖掘平台结构图.数据中台蓝图设计-数据资产建设架构.数据中台技术选型.数据中台微服务架构.制造业大数据架构.大数据平台系统架构图.标准数据平台架构.城市大脑大数据 ...

  • 数据中台即服务——数据中台的四大支柱

    作者丨石秀峰 全文共4416个字,建议阅读10分钟 中台概念,2015年诞生,2019年爆火,在最火的时候被很多人当成了"无所不能"的"万能药",只要是IT的问 ...

  • 数据中台到底包括什么内容?一文详解架构设计与组成

    导读:<终于有人把数据中台讲明白了>一文讲到数据中台的定义和价值,本文将介绍数据中台到底包括什么内容.企业建设数据中台的过程中哪些能力是必选项,哪些是可选的,将在本文一一揭晓. 作者:陈新 ...