什么是数据标准,如何做好数据标准管理?
在万物互联的当下,数字经济生态基本覆盖了社会生产的方方面面,数据不再只是单纯的经营活动副产品,还成为了开发新型商业模式的基础资产和创造未来发展机遇的战略资源。想要高效低成本地运营一个项目、部门、公司,乃至城市,数据化思维都是重要的一环。
如果一个企业尚未建立起有效的数据管理机制,将可能导致各业务系统在数据层面遭遇重重障碍、难以顺利推进,更无法充分挖掘出数据内涵的价值。而其中数据标准化管理是数据管理体系中具有基础意义的一环,它是一个涉及范围广、业务复杂、数据繁杂的工程。
今天就来为大家说说数据标准管理是什么,能为公司带来哪些益处。
1.定义
数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。
2.目标
数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理提供经管理依据。
▲数据治理体系架构
对于大多数企业而言,他们已有各种各样的信息规范,如建模规范,但是这些规范只是为了约束开发工作,更多的时候强调的是数据字典表达的规范。而企业级数据标准的目标却是使企业内部在业务和数据上达成共识,业务共识在先,数据共识在后。从一个IT管理的数据规范变成企业级的数据标准,将是非常大的转变,这个转变的核心是以数据标准提高业务的规范性和业务协同能力,同时约束IT系统建设。
数据标准管理是规范数据标准的制定和实施的一系列活动,是数据资产管理的核心活动之一,对于政府和企业提升数据质量、厘清数据构成、打通数据孤岛、加快数据流通、释放数据价值有着至关重要的作用。
可以说,数据标准是数据管理的基础性工作,是数据管理建设中的首要环节,具体主要体现在以下几个方面:
(1)数据标准为数据平台提供统一的数据标准定义和平台逻辑模型;
(2)数据标准是数据平台进行数据治理的依据和根本;
(3)数据标准是衡量数据平台数据资产运营和管理的评估依据;
(4)需要通过数据标准管理的实施,实现对数据平台全网数据的统一运营管理。
1.构建数据标准管理组织
数据标准体系建设需要得到企业高层的重视和支持,更需要企业的所有部门共同参与。形成高层决策、数据标准管理部门统筹、各部门参与的数据标准管理的长效机制。其中高层是数据标准化工作的最高决策机构,数据标准化工作小组负责组织推动企业数据标准化工作。
2.制定数据标准管理制度
制定相关数据标准管理办法、细则等,从制度层面明确了标准化中相关方的职责,建立了数据标准制定与分布、落地执行流程、变更与复审机制,使数据标准在机制上得到保障。
数据标准由业务标准、技术标准和管理标准组成。例如:数据项的业务定义、业务规则、质量规则为该数据的业务标准;数据项的名称、编码、类型、长度等为该数据的技术标准;数据的管理流程、管理部门、管理人员为该数据的管理标准。
1.业务标准规范
通过对实体数据的标准化定义,解决了数据不一致、不完整、不准确等问题,通知数据的内容范围需要核定,主要和业务强关联,由基础指标和计算指标标准组成,具有特定的业务含义。
2.技术标准规范
数据范围规范工作完成之后,需要对数据的编码规则、命名规则进行规范,主要包括数据源、数据项、逻辑模型标准、物理模型标准、元数据、公共码值标准等;
3.管理标准规范
数据标准管理是一个涉及范围广、业务复杂、数据繁杂的工程。数据标准管理绝非是一个部门的事情,不能在企业的单一部门得到解决。数据管理制度章程是确保对标准数据管理进行有效实施的认责制度。建立标准数据管理制度和流程体系是需要明确标准数据的归口部门和岗位,明确各岗位职责,明确每个标准数据的申请、审批、变更、共享的流程。需要从整个组织考虑,建立专业的数据管理组织体系,明确数据标准工作的目标和内容,并监督及考核数据标准的贯彻与执行。
1.包含哪些内容?
在数据管理部门进行针对各种数据项的标准化过程中,结合实际工作情况,一般可以将标准规范分为两类,一种是基础数据标准,一种是指标数据标准,以两类细分规范来进行更进一步的管理,为后续的各种数据管理工作提供便利。
(1)基础类数据标准
基础类数据标准通过各种业务处理产生或各类渠道采集的基础性数据,在范围内必须是唯一定义的,如“统一社会信用代码”、“归属地市”等。基础类数据标准分为行业参考模型实体标准和公共代码标准。
(2)指标类数据标准
指标类数据标准是数据基础上按照一定业务规则加工汇总的数据,如宏观经济指标数据。指标类数据又可分为基础指标和计算指标。基础指标一般不含维度信息,且具有特定业务和经济含义。计算指标通常由两个以上基础指标计算出。
基础数据标准和指标数标准根据各自业务主题进行细分,应尽可能涵盖企业的主要业务,并且覆盖企业生产系统中产生的所有业务数据。以银行为例,如图所示:
2.数据标准的梳理
众所周知,建设一个业务系统实际上是将企业或者行业的运作机制IT化和系统化的过程,需要从梳理业务流程和管理流程开始。类似的,建设数据标准就是将数据的表达和使用,统一和系统化的过程。而在这个过程中,首先就要梳理数据产生和应用的全部范围。对企业来说,这意味着数据标准的建立需要从盘点企业内部全部生产系统中的数据开始。
数据标准涉及到的实体对象存在很多,为了方便建设和记忆,往往采用的是顶层设计的梳理方法:
(1)首先构建数据标准的主题域,厘清数据主题域之间的逻辑关系;
(2)再逐级分解,定义各个主题域下的重要实体和实体间关系;
(3)最后定义每个实体中的标准信息项,包括业务含义、质量规则、安全级别、值域范围、代码集等内容。
数据标准的建设并不难掌握,关键是建设过程中需要收集并整理大量的业务规范、制定章程、法律法规、监管规定、国家标准,并将这些规定具象到数据标准定义的信息项中。对于一个从未做过数据标准的实施团队而言,这将意味着巨大的工作量。
(1)数据标准统一规划。以数据资产管理需求为导向,结合数据标准规范指导内容,构建适应数据平台的数据标准体系,并制定数据标准实施方案。
(2)建立数据标准挂历的支撑体系。要求包括数据标准管理组织架构、数据标准管理办法和制度流程,以及数据标准管理支撑工具。
(3)注意数据平台中数据业务口径和技术口径有效协同统一问题
(4)要满足数据平台的平台化、产品化和数据资产运营的需求。
(5)需支持数据平台的数据接口标准化定义
(6)满足原有数据可逐步进行数据标准规范的迁移和统一。
数据标准管理平台可以有效的帮助企业建立规范的数据应用标准,消除数据的不一致性,从根本上改善和解决系统的数据质量问题,实现数据有效共享,并通过智能化的管理方法,让企业轻松享受大数据带来的便利和效益。
1.内置标准一键应用
平台内置一批国标、行标,可一键应用大大提高项目交付效率。另外平台内置标准的技术、业务、管理、质量属性,结合灵活的定义方式,从手工创建、导入、拾取、智能识别等,可帮助客户快速构建基础标准、指标标准、代码标准。
2.智能追踪标准历史
平台支持标准增、删、改、查、发布、审核等各种基础操作,其变更过程能被自动记录,通过变更版本控制,追踪标准历史。另外平台还提供了灵活细致的用户权限管理机制,满足不同用户管理各自的标准的场景。
3.可视化的界面一目了然
实现数据从创建到消亡全生命周期的可视化,数据标准的建立也是完全可视的,并且实现全角色的可视化,不管是执行层还是决策层都可对数据标准的完善起到关键作用。
数据标准管理平台包括:标准分类管理、标准增删改查、标准导入导出、标准评审、标准发布、标准版本管理、标准落地映射、标准落地评估、标准监控等功能。同时为更好的保障数据标准的落地,最好结合元数据管理工具一起使用。
(欢迎大家加入知识星球获取更多资讯。)
联系我们