企业数据资产盘点与数据标准梳理方法

来源:公众号数据学堂
大数据在中国的大地上蓬勃发展,带动了许多新的理念的诞生,数据治理就是其中之一,这两年已建立好的数据中心或者正在建的数据中心都在如火如荼的进行,在企业内部,也已经开始由原来的业务部门和IT部门演变出来数据管理部门,通过开展数据管理办法、制定数据标准、保证数据质量、维护数据架构、提供平台与工具等工作作为数字化转型的基础设施,数据治理已经成为数据团队履行数据职责的重要手段。
目前很多大数据公司都推出了很多数据治理相关产品,相信这些工具和平台也会越来越成熟,数据治理相关工具本身不是数据治理最难的问题,针对企业目前在数据管理方面存在的问题主要还是业务规划咨询,针对企业数据架构进行规划,如何构建企业数据管控体系,实现数据全生命周期的统一管理,建立数据标准与规范,提供全面、统一的数据服务,灵活支撑业务,为企业精细化管理提供保障,为企业发展创造价值,提升企业运营与管理能力,打造企业核心竞争力。
针对企业数据架构进行规划咨询,整个过程基本上主要分为以下几个阶段来推进工作:
在第一阶段统筹规划中建设组织责任体系,首先是把主要工作职责定义好,这个是做任何事情的前提。
数据治理组织责任体系大致分为:数据治理委员会、数据管理部门、数据生产部门(业务部门)、数据消费部门(业务部门、客户)、数据开发部门(如果很多企业没有该部门,一般进行招投标来完成IT厂商的选定)。针对各组织体系运行的认责机制流程参考如下图所示:
明确了相关组织责任体系后,接下来就是如何完成数据标准的制定,这是目前企业数据管理部门最头痛的问题。
一般企业做这项工作至少需要4-5个人,同时牵头组织人还需要具备以下技能:
  • 掌握业务,如果不懂,组内必须有人要懂
  • 熟悉有哪些部门,每个部门的职责是什么
  • 针对数据库有比较深的理解
  • 针对数据架构有比较深的理解
  • 针对数据治理实施方法论有比较深的理解
数据治理组织是依据业内的业务经营理念、业务战略、IT战略以及数据战略共同的推动,结合企业实际的情况形成实施数据治理的有效保障,尽管各家企业形式、归口部门及人员设置有所不同,但组织的形成是建设数据治理长久机制的基础性工作,从一定程度上来说,组织建设是“人”的建设。它激发了组织活力,保障数据治理日常化和持久化。

说完数据治理组织,然后说下数据资产盘点和制定数据标准,事实上,数据资产盘点和制定数据标准是相铺相成的。

传统意义上的资产盘点是指对资产进行定期清点,以确定各种财产在一定时间的实存数。数据资产盘点则是对企业拥有的数据进行清点,已确定企业当前拥有的数据。数据资产盘点将帮助企业弄清以下问题:
  • 企业有多少数据?
  • 企业有哪些数据?
  • 企业的数据价值如何?
  • 企业的这些数据分布在什么地方?最有价值的数据存储在什么位置?
  • 企业数据的归属和责任人是谁?
数据资产盘点的成果是数据资产清单或数据资产目录,它能从全局层面直观的展现企业拥有的数据资产情况,帮助企业进行更有效的数据利用和管理,明确企业的数据保护目标,协助企业完成数据安全保护体系的构建。
企业的数据资产盘点,应该以数据价值为导向,以统一标准为核心。因此,在进行数据资产盘点前,我们需要明确以下几点:
  • 企业在日常经营活动中,积累了体量庞大的数据
  • 只有可控的、能为企业带来利益的数据才是数据资产
  • 数据使用和保护的前提是知道有哪些数据、在哪里
  • 统一的数据定义和价值标准,将有利于数据的使用和管理
  • 明确数据的归属,将为跨业务的数据使用和数据安全保护落实提供便利

下面介绍数据资产盘点的方法和步骤,主要归纳为6个阶段:构建数据标准、数据发现、数据定义、分类分级、明确归属、数据资产目录。

(1)构建数据标准

企业的数据往往来源于各个业务,而各业务的数据来源、数据定义和价值标准,可能存在极大的差别,这将不利于数据的整合、全局管理和使用。因此,企业在进行数据资产盘点前,首先要根据企业所在行业的相关标准,结合企业自身的业务情况构建数据标准,形成全局统一的数据定义和数据价值体系。数据资产盘点工作,将在此数据标准的指导下展开。
(2)数据发现
数据发现是解决数据在哪里、有多少的问题。随着企业的业务不断发展,数据量将呈指数级上升,这些数据可能散布在各个角落。数据发现就是从全局出发,系统性的扫描企业内的数据资产,确定数据存储的位置和数据量,形成数据的存储分布地图。数据发现的核心在于全面、系统的扫描,以避免出现数据遗漏的情况。
(3)数据定义
数据定义是解决有哪些数据的问题。针对扫描的数据存储位置,需要对数据进行识别和定义,标记数据内容,并基于数据内容和存储方式,明确数据的组织结构,形成库-表-字段的数据框架,即明确库中有哪些表、表内有哪些数据,结合数据发现的成果,绘制数据资产地图,将数据的存储位置、存储内容、存储量清晰的进行呈现。
(4)分类分级
分类分级是解决哪些数据有价值、数据价值高低的问题。数据的分类应该基于业务,数据的分级应该基于价值,数据的分类分级应该构建的数据标准指导下进行。通过数据的分类分级,对发现定义的数据进行数据价值和重要性层面的全面梳理和标记,为数据使用、价值挖掘、数据保护提供价值依据。
(5)明确归属
通过调研、业务关联、存储对象关联等方式,确定数据资产的业务归属和责任人,有助于掌握数据的来源和去向、明确相关责任归属,为跨业务的数据使用、数据关联分析、数据分类保护等提供目标和责任指向。
(6)数据资产目录
数据资产目录是数据资产盘点的最终成果,也是数据资产管理的第一步。它将企业内的所有数据进行汇总,构建出一张全局的数据地图,清晰的展现出企业拥有的数据内容、数据量、数据价值、数据存储位置以及数据归属和责任人,帮助企业掌握其拥有的所有数据及数据价值,为企业进行数据使用、数据价值挖掘以及数据保护提供指导依据,同时指导企业进行数据规划和数据体系搭建。(了解更多数据资产目录的内容,点击阅读企业数据资产目录构建方法与步骤

有人会问,那到底如何开展上述工作呢?为了摸清企业有多少个业务系统、每个业务系统里面有多少张表、业务系统中的业务表哪些是空的、分别有哪些部门在使用和产生数据等问题,首先需要制定一个数据资产调研表,下图为政务信息资源目录调研表模版表,面向政府部门的:

(点击查看高清原图)

下图为某高校的数据标准模版表,面向企业的可以参考:

(点击查看高清原图)

依据上述调研表的信息按业务主题域进行数据分类、识别相关实体、构建数据模型,规范主数据与编码规则。
如何针对业务主题域进行分类?首先要知道企业的业务经营范围和相关职责是什么,就是搞清楚企业业务,比如政务资源里面把信息分成人口、法人、宏观经济、空间地理等分类;法院体系把人、案件、车辆、办公进行业务主题分类。
如何查找实体数据?实体数据在数据库进行存储的时候,主要有以下几大特性:
  • 数据更新频率低
  • 数据访问频率高
  • 数据有唯一性
  • 许多表引用该表信息
这些信息其实可以根据程序进行一次数据探查,可以大致判断出实体数据是哪些表,得到一个需要人工进行调整的ER关系进行手动打标,如果是人工的话就应该是调查加操作sql语句来判断相关情况。完成实体数据定义后,同步的行为表、数据字典表也可以进行整理出来,在整理过程中相关的数据模型也同步形成。
至此,盘点数据资产阶段结束,接下来要定义数据标准。数据标准一般分为基础数据标准和指标数据标准,所谓基础标准既是按照业务主题域划分后形成每一个数据元、代码集、编码集都属于数据基础标准。指标数据标准,构建指标体系是一个完整的过程。
  • 代码集:一个代码集代表一个数据元,怎么理解呢?例如:性别是一个数据元,那么他的值域范围是一个数据字典里面的值,主要包括男、女、其他三种之一。代码集和数据元之间最大的差异为:该数据元如果是代码集,那么他的取值范围是依据代码集范围而来的。
  • 编码集:编码规则也是数据标准的定义范围,只是使用范围是不一样的。编码集既可用于数据元的编码规范,也可以用户目录和分类的相关规范。
  • 数据元:专业定义又称数据类型,通过定义、标识、表示以及允许值等一系列属性描述的数据单元,在特定的语义环境中被认为是不可再分的最小数据单元。数据元的属性一般分为通用属性和行业属性,通用属性目前国家针对数据元定义了22个核心属性,针对每个行业的属性,企业里面可以自行定义新的属性,上文图1和图2里面就体现了不同行业针对数据元的属性是有差异的。
一般来说,数据标准梳理一般是自上而下来做的,这种方式梳理出来可能很完整,但是落不了地。
(0)

相关推荐

  • 数据资产盘点 数据治理 数据价值实现=数据资产管理运营

    须知 公众号推文规则变了,读者会错过文章更新,点击上方 '企业数字化咨询'关注, 设为星标 后台回复[技术],申请加入资料分享&技术交流群 略去大数据分析背景与价值部分,言简意赅的介绍如何进行 ...

  • 数据治理和数据管理、数据管控三者到底有啥关系?

    须知 公众号推文规则变了,读者会错过文章更新,点击上方 '企业数字化咨询'关注, 设为星标 后台回复[技术],申请加入资料分享&技术交流群 01 什么是数据治理? 目前业界并没有对其概念的统一 ...

  • 从数据资源到数据资产的路有多长?

    正文开始 数字化时代,数据正在以超凡的速度渗透到每一个行业和业务职能领域,成为了与土地.劳动力.资本.技术并列的五大生产要素之一."数据即资产"已被企业广泛认可.然而,企业的数据仍 ...

  • 数据中台:让数据用起来 (3)

    8.7 数据资产管理职能   <数据资产管理实践白皮书4.0>中规定,数据资产管理的管理职能包括数据标准管理.数据模型管理.元数据管理.主数据管理.数据质量管理.数据安全管理.数据价值管理 ...

  • 专访爱驰汽车李海军:数据资产是整车企业的核心密码

    "[报名]数据猿年度精彩活动推荐:访谈调研+企业盘点+榜奖峰会,与数据猿共筑2021 大数据产业创新服务媒体 --聚焦数据 · 改变商业 近年来,智能汽车热度不减,各路名企纷纷开启造车之路, ...

  • 2021年企业云盘大盘点,帮助客户在数字化浪潮中充分释放数据价值!

    SaaS点评网自2019年上线以来,致力于打造一个中立客观真实的SaaS软件选型交流平台.为了更好地帮助大家找到靠谱合适产品,开展一系列盘点活动. 以下是企业云盘大盘点,其中新增道一云.开始云.知库云 ...

  • 业务流程梳理方法工具一览

    近期公司业务与架构发生变化和调整,在业务和架构定型的过程,自然会涉及业务流程和权责的梳理,过程中也不断使用添加了很多方法,梳理出来以期有用. 01 APQC流程框架 APQC(美国生产力和质量中心)流 ...

  • 菜鸟记277-统计工作表中非重复数据,送您三种方法够不够用?

    万一您身边的盆友正好需要呢? 关键词:EXCEL2016:数据透视表:非重复统计:操作难度*** 管理工作过程中很大一部分工作就是需要统计,比如小菜接到一个任务,要对本学期各系部教学任务分配情况进行统 ...

  • 菜鸟记384-多个表格的数据求和汇总的五种方法,您会几种,又喜欢哪种?

    万一您身边的朋友用得着呢? 免费咨询热线:如果您有工作中的困惑要和小菜分享或探讨,欢迎您发送邮件至3482197@QQ.COM,咱们一起研究提高. 截止今日小菜已分享400+篇经验之谈,可以文章编号或 ...

  • 企业让渡资产使用权收入的账务如何处理?

    企业让渡资产使用权收入的账务如何处理? 企业让渡资产使用权收入,是指企业通过让渡资产使用权实现的收入,如商业银行对外贷款.租赁公司出租资产等实现的收入.那么企业让渡资产使用权收入的账务如何处理呢? 首 ...

  • 企业让渡资产使用权收入如何计量?

    企业让渡资产使用权收入如何计量? 企业让渡资产使用权收入,是指企业通过让渡资产使用权实现的收入,如商业银行对外贷款.租赁公司出租资产等实现的收入.那么企业让渡资产使用权收入如何计量呢? 首先,我们先来 ...

  • ​国家高新技术企业认定要求及快速通过的方法

    国家高新技术企业认定资格除对应巨大的税收利益外,更是企业行业地位和技术实力的体现,且与施工资质.企业技术中心.财政补贴.资本运作等企业重要事项互为支持,对企业的持续健康发展至关重要.但取得国家高新技术 ...