数据治理

一、背景概述

1.数据治理

由于切入点和侧重点,业内给予了不同的见解。

广泛认可标准:DMBOK、COBIT 5、DGI、和IBM数据治理委员会的定义。

  • 明确数据治理的目标
  • 理解数据治理的职能
  • 把握数据治理的核心
  • 数据治理遵循过程和规范

数据治理的本质:

数据治理不是一门技术,而是逻辑性很强的理论型学科。

1.1大数据治理

Sunil Soares

(1).大数据治理的工作就是制定策略

(2).大数据必须被商业化

从四个方面理解含义

(1).领域

(2).角色

(3).各角色如何参与

(4).大数据治理最终目标:决策

1.2 大数据治理框架

大数据治理范围

大数据质量:大数据质量分析、问题追踪和合规性监控。

大数据生命周期:数据的采集、存储、整合、呈现和展示、分析和应用、归档与销毁的流程。

大数据架构:大数据基础资源层、大数据管理与分析层、大数据应用与服务层。

大数据治理指标 (如下报表)

  大数据架构(数据存储) 安全 质量/标准   数据服务  
        清洗特征、画像 分析决策 洞察预测
数据部门            
业务部门            
数据部门和业务部门联合            

大数据架构与设计:

原则(但凡原则就有例外)

1.3 大数据架构

1.31 系统架构

分层原则(表现、数据、业务)

模块化原则

设计模式和框架的应用

1.32 数据架构

数据模型 (数据架构核心框架模型)

数据的价值链分析 (业务流程及组件相一致的价值分析)

数据交付与实现架构 (数据库架构、数仓、文档和内容架构,以及元数据架构)

1.33 大数据架构

  • 数据处理中的元数据、主数据、数据仓库、数据接口技术。

  • 数据采集、存储、分析和应用功能过程的虚拟化技术,分布式文件,非关系型数据库,数据资源管理技术

  • 面向数据挖掘、预测、决策的大数据分析和可视化技术等。

1.34大数据架构参考模型

基础设施:商用服务器、可结合云计算虚拟化(比如私有云openstack)

非关系数据库nosql:类表结构数据库、 文档数据库、图数据库和键-值存储。

资源管理:一是虚拟化。二是基于Yarn或Mesos的资源管理层。

2.大数据管理与分析层

包含:元数据、主数据、数据仓库、大数据分析等。

2.1 元数据

关于数据的组织、数据域及其关系的信息。(数据的数据,类元注解这类的解释)

重点:元数据的管理。

元数据标准:行业标准和国际标准

行业标准:OMG标准、W3C标准,空间地理标准,非结构化数据的元数据标准,面向领域的元数据标准。

国际元数据标准:ISO/IEC11179

2.2 数据仓库

2.21 定义:

面向主题的、集成的、随时间变化的、相对稳定的(不可更新是历史数据的快照)、支持决策制定过程的数据集合。

2.22 主要功能:

主要有数据采集、数据存储与管理、以及结构化数据、非结构化数据以及实时数据管理等功能。

问:传统数据库有数据管理么?

答:有的,传统数仓管理中,DMBS是主流、大数据体系中,基于分布式文件的存储(hdfs或其他的如淘宝、腾讯等自研的)是主流

元数据机制主要支持以下几类功能。

(1)描述数据在哪个数仓中。

(2)定义入仓和出仓的数据。

(3)记录业务事件发生而抽取的时间安排。

(4)记录并检测系统数据一致性的要求和执行情况。

2.23 主数据

Mater Data指的是各个系统间要共享的数据。比如将人员组织关系数据标准化,统一管理。

构建在ETL之上、因此很多主数据管理平台包含(数据抽取、数据加载、数据转换、数据质量管理、数据复制和数据同步等功能)。

2.24 大数据分析

智能决策支持系统DSS

2.3 大数据应用与服务层

传统接口:JDBC、ODBC、WEB接口

DT时代:开放平台接口。https://www.datapipeline.com/

3.大数据架构的实现

基于hadoop的基础架构

ETL数据:低质量数据、无关数据。

Elect抽取数据-->从数据库中抽取

了解数据结构、字段含义(对文档、定需求)-->数据质量分析报告。

(1)抽取模式(数据平台通过一定的工具实现抽取,系统变更后导致失败,源系统不对数据质量负责,源系统的性能降低问题)(2)供数模式(源系统抽取)

!!!!!数据平台的项目不能失败

实时数据的抽取:

定时小批量的面向数据采集

实时业务的数据发送:轮询或者触发方式。

Transfer转换数据-->数据转换

简单映射、数据转换、计算补齐、规范化。

Load-->数据加载

小结:

数据采集一定要做

数据平台一定要有

(0)

相关推荐