大数据时代如何做好数据治理?

理资产、治数据,一体化大数据治理

为什么需要数据治理?

大数据不是凭空而来,1981 年第一个数据仓库诞生,到现在已经有了近 40 年的历史,而国内数据平台的建设大概从 90 年代末就开始了,从第一代架构出现,到现在已经历了近 20 年的时间。

1

在这 20 年的时间里,国内数据平台实施者受尽折磨,交付数据项目是出了名的脏活累活。

忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一、数据质量差,以及难以完成的数据模型梳理等这些基础性数据问题已经严重限制了数据平台的发展,与此同时,数据应用在商业上难以崭露头角。

数据治理的难点痛点,归纳有以下几点:

数据采集难:数据的形态多样化,给数据采集带来很大难度,使得数据难以汇聚。

数据整合难:数据的来源多样化,很难理清数据之间的关系,进而难以整合。

数据共享难:数据间壁垒高筑,数据权限不明晰,使得数据无法实现共享交换,难以推进数据的流通。

数据发现难:大量的IT系统,众多厂商的参与,系统间数据标准不统一,很难找到真正需要的数据。

数据使用难:数据涵义不清晰,业务属性不明确,数据难以利用,难以发挥出数据的价值。

数据监管难:少标准、缺规范,难以有效管理数据,难以保证数据的质量。

2

数据治理的对象

在 20 余年的信息化建设中,无论是政府还是企业都积累了大量的信息化资产。这些信息资产,从不同的维度,我们把它分为业务资产、技术资产、数据资产三部分,这些信息化资产贯穿数据的全生命周期。所以说,数据治理,不仅仅是治理数据本身,而是治理这些和数据全生命周期相关的信息化资产。

信息化资产包括内容

业务资产:业务资产指的是业务的术语,业务的规则,业务上的理解。

技术资产:技术资产存在于业务系统、数据库服务器、文件服务器里面,指的是技术设计类的资产。

数据资产:数据资产指所有的针对于数据库表结构的设计、代码表的设计及其相关数据。

对这三大类资产的管理过程,就是我们常说的数据治理,具备又包含数据的权限责任管理、数据的规则管理、数据的质量管理、数据的安全管理等。

3

东软大数据治理一体化解决方案

在 20 余年的信息化建设过程中,东软通过诸多行业数据类项目的实施经验的不断积累,从元数据、主数据、数据标准、数据质量到数据处理、资源目录、数据交换和数据安全,提供全面的数据治理解决方案,打通数据治理全流程,为大数据应用构建提供支撑,同时,在各个领域丰富的解决方案实践经验也为项目的成功提供了保障。

在数据治理的策略上,东软采用先理后治的方案,实现数据标准化、流程规范化、治理常态化、价值可视化、监管智能化的数据治理。

东软数据治理的“理”指的是统筹规划,“治”指的是贯彻执行。

具体到内容上,“理”包括:

理系统:梳理已有业务系统、数据库、文件存储等信息,输出数据连接,形成技术资产。

理数据:发掘数据表、文件、视频、图片等数据,描述数据的结构信息,形成数据资产。

理关系:分析表与表、文件与文件、系统与系统等关系,形成数据资产及资产间关系。

理标准:识别主数据、数据元、代码、术语、规则等,形成业务、数据及管理资产。

理流程:规范上报数据、转换清洗、标准变更流程,明确权责,形成业务及管理资产。

理目录:整理资产清单,按照业务、技术等维度制定目录,形成数据访问同一入口。

具体到流程上,“理”包含三种方式

理的目的是为治,数据治理的第二阶段是基于理出的标准规范贯彻执行。

治的具体内容包含

治汇聚:监管采集流程,整合多源数据,统一数据存储,形成数据中心。

治质量:对齐标准及数据,基于数据标准对数据进行校核,生成问题库,形成质量报告。

治清洗:去除重复数据、补充不完整数据、修正错误数据,形成主数据。

治加工:发掘数据价值,转化数据为信息,对数据进行标签处理,形成数据洞察。

治安全:识别敏感数据,明确责任人及权限,对数据进行分类分级,形成安全策略。

治共享:构筑数据共享通道,提供数据访问统一入口,形成自服务的共享平台。

东软大数据治理的目标

数据标准化

消除歧义,剔除重复

补全缺失,修正错误

统一码表,理清关系

流程规范化

规范数据生产,统一来源

规范数据变更,统一流转

规范数据共享,统一出口

治理常态化

建立长效工程,循序渐进

确立业务目标,小步快跑

树立治理文化,长治久安

价值可视化

量化指标,价值可衡量

资产全景,价值可展现

全链分析,价值可跟踪

监管智能化

数据操作留痕,可追溯

安全权责明晰,可监测

差异智能监测,可觉察

东软大数据治理解决方案使用系统的方法来解决政府及企业如今所面临的数据治理难题,提供一体化的解决方案,用来透明地管理全行业各类系统中庞杂的数据,形成一套标准、规范、准确、干净、完整的数据资产。

来源:东软平台产品 https://platform.neusoft.com/

(0)

相关推荐

  • 高校数据治理应始终坚持价值导向

    数据治理的难点在哪里?一言以蔽之,就是基本上数据的生产者和数据的受益者都不是信息中心. 数据治理(DataGovernance)是国外首先提出的概念.国际数据管理协会(DAMA)提出了一套完整的数据治 ...

  • 数据治理和数据管理、数据管控三者到底有啥关系?

    须知 公众号推文规则变了,读者会错过文章更新,点击上方 '企业数字化咨询'关注, 设为星标 后台回复[技术],申请加入资料分享&技术交流群 01 什么是数据治理? 目前业界并没有对其概念的统一 ...

  • 大数据下的企业数字化转型研究与实践

    公众号回复:干货,领取价值58元/套IT管理体系文档 公众号回复:ITIL教材,领取最新ITIL4中文教材 正文 前言  随着国家大数据战略制定与实施,大数据成为企业的核心资源,且数据资产管理效率与企 ...

  • 省级教育数据治理探索与实践

    摘要:在教育信息化1.0时代,各类信息系统积累了大量数据,但同时也产生了一个个"信息孤岛".如何优化数据使用环境.提升数据质量.实现信息资源的互联互通成为教育领域迫切需要解决的问题 ...

  • 企业版资产信息化管理系统介绍

    企业版资产信息化管理系统介绍 企业版资产信息化管理系统是面向资产密集型企业的一种信息化管理软件,涵盖资产入库.出库.退库.借用.归还.转移.调拨.报修.维修.报废所有资产管理业务,能自定义资产信息字段 ...

  • 如何成功实现一个数据治理项目,大神详细拆解实施要点

    ​数据作为新型生产要素,只有流动.分享.加工处理才能创造价值.如今数据治理成为数字经济必经之路,怎么实现一个数据治理项目成为大家最关心的问题.此文将主要围绕数据治理项目具体阐述实施步骤.工具平台的功能 ...

  • 数据和产品一样重要!大数据时代能靠数据创业么?

    大数据时代,思维更要变革,数据对于青创企业来说意味着什么?如何能靠数据创业?4月17日,在"下一站·深圳(SHENZHEN NEXT)--2021湾区青年人才发展论坛"的圆桌讨论环 ...

  • 在大数据时代,「数据素养」这个必备新技能,你get了吗?

    CDA数据分析师 出品 编译:Mika [导读] 如果不成为数据科学家,我们该如何区分真实与非真实的信息?如何利用信息做出更好的决策?这时,我们就需要「数据素养」这种技能.本文中,数据分析热爱者Jor ...

  • 大数据时代的地震数据智能化管理策略

    大数据时代的地震数据智能化管理策略 Intelligent Strategy of Seismic Data Management in the Era of Big Data 王学军.大数据时代的地 ...

  • 大数据时代:从数据中挖掘药物不良反应风险

    Nick Tatonetti仍记得9年前他所经历的质疑,而质疑者都是专家--流行病学专家,这似乎已经能令人确信,Nick Tatonetti的发现根本站不住脚.那是2010年,Nick Tatonet ...

  • 大数据时代如何实现“数据民主化”

    处在这个高度发展的大数据时代,不少企业都在积极的进行改革,力求紧跟时代发展步伐,而不少中小企业都感到"消化不良",难以真正做到和电子商务时代同步发展. 以前,大数据的运用高不可攀, ...

  • 大家居时代如何做好大定制(建博会观察)

    一年一度的家居行业盛会--建博会已经圆满落幕,让我们大饱眼福的同时也引发了许多有关家居产业设计.品质.服务.制造等方面的思考. 本届展会推出"大定制"的概念,颇受人瞩目!那么,到底 ...

  • 大数据时代的网络舆情研究现状及治理模式!

    随着互联网技术的发展,中国进入大数据时代.以数据量大.类型多.价值密度低.速度快为本质特征的大数据,带动网络舆情形成新变化.新发展.网络舆情的参与主体日益多元,参与途径更为多样,网络舆情监管技术不断提 ...

  • 大数据时代大数据技术的应用和面临的挑战

    大数据时代,大数据已经成为了我们生活中一个重要的角色,他在每一个领域都发挥着重要的作用,给我们的生活生产都带来了非常多的便利,那么大数据在我们生活中到底有哪些应用呢?又面临这哪些挑战呢? 一.大数据技 ...

  • 纳米光栅——大数据时代光存储的下一个风口?

    文/姚倩.戴晔,上海大学物理系超快光子学实验室 您的存储空间告急- 人类文明发展至今离不开信息的记录.从绘画.雕刻.印刷到如今的数字化信息存储,存储容量呈指数增长.根据软件公司Domo的报告,2018 ...