元数据管理与企业数据运营!

元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是关于数据的数据。

— 01 
企业数据治理的现状与问题
企业架构理论体系中,数据架构始终是企业架构的核心组成部分。TOGAF企业架构框架定义了数据架构位于业务架构与基础技术架构之间,通过数据架构的治理实现的业务和应用的有效斜街。
数据架构基线
  • 数据架构梳理

  • 数据架构优化

  • 数据实体关系

  • 概念数据模型

  • 逻辑数据模型

  • 物理数据模型
数据架构关系
  • 业务流程与数据流向

  • 业务功能/数据关系矩阵

  • 应用/数据关系矩阵

  • 数据架构展现与变更管理平台
数据管理
  • 数据分布管理
  • 数据质量管理
  • 数据容量管理
  • 数据迁移……
企业数据资产管理的常见问题
  • 数据架构失控

  • 元数据管理混乱

  • 数据标准缺失

  • 数据质量参差不齐

  • 数据增长无序

  • 数据安全问题突出

问题集中于系统变更频繁、积木式迭代、烟囱式建设:
一、企业的IT系统经历了数据量高速膨胀的时期,但大多数据企业最初没有对数据架构重视,导致企业海量的、分散在不同角落,企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统,系统与系统之间的关系、标准数据从哪里获取都无从知晓。
二、传统企业的数据资产问题归根到底是由于企业中对企业数据缺少统一而有力的组织、制度、流程的管控,引起的“数据孤岛”问题。
— 02 
企业数据运营的常见问题
企业数据运营中经常遇到的各种各样问题,如下图:
  • 怎样快速找到想要的数据:已存在系统,有哪些关键业务数据?它们在哪里?报表A指标值怎么算出来的?原始数据从哪得到的?
  • 数据标准如何定义:关键业务数据在不同系统的业务定义?它们的数据结构是怎样的?同一实体在不同系统中的命名规则及其他属性一致?同一实体与本系统或其他系统对象是否存在依赖关系?具体的依赖关系描述是怎么样的?
  • 如何梳理出上下游关系:随着业务快速发展,数据生产链路逐渐变长,生产关系越来越复杂,如何准确高效的梳理出数据间、任务间的血缘关系,识别出关键生产链路?
  • 数据治理靠什么来驱动:如何驱动资源治理、规范治理等,以及如何衡量治理效果?
  • 数据资产的管理问题:海量的数据资产的归属、分级分类,识别隐私数据等管理问题如何解决?一旦对象定义发生变化,其他开发团队会不会有影响?数据实体所有者是谁?谁作过修改或变更?

这些问题,或许元数据管理能够帮助到您!

— 03 
元数据管理对数据运营的重要性

元数据管理是数据治理工作是重重之重,为什么企业内部的数据质量总是不高?其实只要有数据存在就有数据质量问题存在。但是也可以通过一个有效的管理流程来提高企业数据质量,其中最核心的核心就是元数据的管理

数据运营之元数据的重要性

元数据是企业中用来描述数据的数据。它可理解为比一般意义的数据范畴更加广泛的数据,不再仅仅表示数据的类型、名称、值等信息,它可以进一步提供数据的上下文描述信息,比如数据的所属域、取值范围、数据间的关系、业务规则,甚至是数据的来源。在数据分析中,元数据可以帮助DW管理员和DW开发人员非常方便地找到他们所关心的数据。
元数据提供企业数据DNA
  • 有用的数据在哪里

  • 提供一份数据结构定义和元素的详细示意图

  • 数据来龙去脉、关系

  • 数据质量审计

  • 减少数据冗余性,增加数据共享,

  • 使应用开发过程更有效

  • 参照性、引用性、血缘分析、影响分析、变化分析...

  • 利用数据解决企业问题的能力
— 04 
元数据管理范围和目标
一般而言,就数据仓库或者大数据平台中的元数据可以按不同的维度分为技术元数据、业务元数据、操作元数据等,元数据管理的范围大致如下三个方面:
元数据源:元数据源数据仓库和数据平台中的数据实体定义和结构信息。
数据接口:生产系统和操作型系统中采集到数据仓库或者数据平台中的各中数据接口信息。
报表展现(BI):报表展现的相关指标和统计口径。
数据集成(ETL):数据汇总、处理和分析的数据集成相关信息。
元数据管理目标
— 05 
元数据管理系统
元数据系统整体分为接收层,服务层,存储层和应用层。左右两侧分别是主要接入方和应用方,接入方主要包括了大数据引擎、管理工具、开发平台及工具,应用方主要包括数据地图、开发平台、治理平台等。
  • 接入层:适配不同元数据生产方,转换成标准定义,输出全种类实体、关系变更消息。

  • 服务层:基于存储层提供单点、复杂查询服务,基于分析引擎提供分析服务。

  • 存储层:基于图模型的实体、关系的存储与查询,支持统计与分析能力。

  • 应用层:提供数据资产地图、数据搜索、全链路血缘等功能。

图:元数据管理架构(来源:快手)

基于元数据系统的数据资产搜索能力对各类数据建立数据索引,方便搜索引擎快速找到这些数据,同时搜索引擎提供了根据相关性、元信息完善度、依赖数量、运营规则进行智能排序,帮助用户用户快速找到所需数据。

图:数据搜索的原理(来源:快手)

(0)

相关推荐

  • 供应链数字化正确路径与5大步骤

    随着数字化正式成为第五大生产要素,在当今社会扮演的角色地位不言而喻.数字化转型是技术发展的必然趋势,这种颠覆性可能无处不在,但似乎又无迹可寻.大多数字化转型的文章大多数集中在技术层面,大数据.云端.基 ...

  • 元数据管理,企业数据治理的基石

    作者丨后羿 来源丨BigDataplus 全文共5001个字,建议阅读需12分钟 据说,英语中元数据meta一词最早出现于1968年,其是对希腊语前缀'meta-'的粗略翻译,用于表明更抽象层次的事物 ...

  • 企业战略运营管控系统:40页战略型人才管理体系,标准化体系

    为职场精英打造个人知识体系,升职加薪! 战略型人才管理体系 目录 1.任职资格与胜任力体系(Position) 2.人才培养体系(Talent Development) 3.绩效评价体系(Perfor ...

  • 客户关系管理场景#标签画像#,赋能企业数字化运营

    引言:标签画像就是指在客户关系管理的过程中将客户画像.用户行为信息标签化,通过系统手动编辑.社会属性.生活习惯.消费行为等主要信息的数据进行自动判断为不同的客户打上不同关键字或者特定标记,可以用这些标 ...

  • 数据目录已死?为什么要重新思考元数据管理和数据治理?

    全文共4233字,预计学习时长11分钟 图源:unsplash 随着企业越来越多地利用数据驱动数字产品.推动决策制定和创新,了解这些最关键资产的状况和可靠性至关重要.几十年来,企业一直依赖数据目录来推 ...

  • 还在为管理企业数据文件感到烦恼?企业云盘了解一下

    随着数字化时代的快速发展,企业云盘高度受到了行业市场的青睐.作为现代科技的文件管理软件,企业云盘在数据存储.文件管理和应用方面为企业带来了新的解决方案:同时其简单易用的操作模式也为协同办公带来了高效的 ...

  • 数据治理系列2:元数据管理

    导读:元数据管理是对企业涉及的业务元数据.技术元数据.管理元数据进行盘点.集成和管理,按照科学.有效的机制对元数据进行管理,并面向开发人员.最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统 ...

  • 不会开发的你也能管理好企业漏洞,开源免费工具:洞察(insight II)

    前言 公司刚开始建设安全管理时,都是从一片混沌开始的,资源总是不够的,我们每个做安全的人员,又要会渗透,又要抓制度,还得管理各种漏洞.在管理楼栋是,我相信大家都遇到过以下几个问题: 漏洞提交太多,自己 ...

  • 诸葛io助力悦跑圈,强化数据运营

    诸葛君说:近日,国内知名体育服务商悦跑圈与数据分析平台诸葛io达成合作,这是悦跑圈2018年3月完成C轮融资后,强化互联网运营的重要一步,双方就用户的精细化运营.数据智能决策以及产品监测分析做了深入的 ...

  • 服饰商品管理-如何做好商品运营铺货

    写文章 草稿已保存 邀请预览 发布 铺货,指的是商品入库后,按照一定的规则,在规定的时间内,以规定的数量发往不同的门店.铺货与补货要分开,铺货是新产品新上市,补货则是老产品延续上市,这里面的区别就很明 ...