数据治理的未来 2024-07-30 02:14:02 作者:Stewart Bond来源:IDC,发表于2018年6月(内容有增改)编译:王嫄,西泽研究院研究员编者按数据治理在企业数字化转型中承担了关键的作用。它为企业提供了在最佳时间将正确的数据交付给正确的人所需的知识与情报。然而,如果无法从数据中提取出知识和信息并加以有效利用,数据本身并不能驱动和引领数字化转型取得成功。如何让数据发挥它最大的价值?数据治理的未来又在何方?本文或许已给出答案——深耕数据治理,数据赋能未来。本文逻辑:1、导言2、为什么要实施数据治理?3、数据治理的发展趋势4、让Infogix Data3Sixty帮您赋能数据治理5、小结(全文5000字,阅读时间约7-9分钟) 导言当前,数据治理对于企业组织机构而言愈发重要。企业不仅需要遵守诸如通用数据保护条例(GDPR)之类的新法规,而且它们最终将认识到数据作为一种资产的价值,需要对其进行保护、管理和维护,以增加资产价值。(译者注:通用数据保护条例(GDPR)是一项泛欧数据保护法,历经欧盟不同机构和成员国多年激烈谈判后于2016年5月获得通过;该条例旨在强化个体对个人数据的权利,以令数据保护措施匹配数字化时代;GDPR于2018年5月25日正式生效,并立即作为欧盟所有成员国的法律强制执行,目标是在2018年6月将其纳入欧洲经济区协定(EEA Agreement)Via《解读GDPR》。)企业能够理解数据治理的价值并不等同于对其执行数据治理的能力充满信心。机构需直面更为复杂的生态系统、业务环境和数据特征(如数据背景、数据卷、数据维度、数据及时性、数据动态特征、数据异质性、数据结构、数据分布以及数据可用性)。数据是数字化转型(DX)平台的命脉。数据流动并贯穿于从情报搜集到应用的整个无限循环的过程。应用于业务操作层的情报洞察,为进一步的情报处理生成更多的数据信息,这些信息随即被转化为行动,而行动又会生成更多的数据,如此循环往复。图1显示的是IDC数字化转型平台中的连续的循环数据流概况。 图1. IDC:数字化转型平台单凭数据本身并不能将各色企业区别开来,但审视企业如何通过数据实现赋能是一种有效途径。为成功地实现数据赋能,企业需要信任正确的数据,并在最佳时间交付给正确的资源。这里的资源可以是人也可以是机器,可以是内部或外部的,也可以是移动或固定的,它们需要经过授权才能访问数据。数据赋能要求数据治理过程应涵盖数据信任、数据及时性,以及数据可用性,且需要提供相关保护(但保护不能“越界”,不能扼杀创新和探索,否则创新将聚焦于如何绕过数据治理)。在最佳时间将正确的数据交付给正确的人需要获悉下列数据相关的情报:它在哪里?它从哪里来?它指的是什么意思?谁可以访问它?上一次验证是在什么时间?为什么它会存在?它如何被消费?它所固有的关系是什么?数据智能(Data Intelligence)是在元数据管理、数据沿袭、数据目录、业务术语表、数据分析以及掌握和管理软件的基础上提供的。正是通过这套智能体系,数据才能够被治理,企业才能有机会实现数据赋能。(译者注:数据智能(Data Intelligence)指的是基于大数据引擎,通过大规模机器学习和深度学习等技术,对海量数据进行处理、分析和挖掘,提取数据中所包含的有价值的信息和知识,使数据具有“智能”,并通过建立模型寻求现有问题的解决方案以及实现预测等Via百度。)为什么要实施数据治理? 数据治理是组织涉及数据使用的一整套行为规范,它能够在维护、控制和保护数据资产的同时,将正确的数据交付到正确的资源。此外,数据治理通过对员工、流程、策略、架构和技术的管控,以实现与公司战略保持一致的目的。当数据治理实施得当时,数据的完整性会提高,在数字化转型过程中获得成功的几率也会增加。(译者注:企业不仅需要管理数据的系统,更需要一个完整的规则系统以及规章流程。数据治理基本上涵盖了企业所有与数据有关的内容,因此,在整个企业范围内,包括工作流程、涉及人员和使用的技术等等,都需要仔细考量,以保证数据的可用性、一致性、完整性,合规及安全性。确保在整个数据生命周期中,都具备较高的数据质量Via数据治理研究所。)然而,数据治理的好处是如何量化的呢?至于如何衡量对于数据治理的投资回报,最明显的一点当属规避监管罚款(译者注:调查显示,企业制定数据治理计划的主要驱动因素是合规性(64%),更有效地使用数据(54%),以及与业务相关的内部和外部数据的增加(54%))via BARC)。2018年在欧盟生效的GDPR引起了各界的广泛很多关注。如果一个组织被发现未遵守GDPR条例,最高可被处以其年收入4%的罚款。可以说,GDPR不仅引入了新的、更为严格的数据合规要求,而且还是第一个对不合规行为处以巨额罚款的法规。尽管GDPR是欧盟的一项区域法规,但它同样也适用于任何处理和持有欧盟居民个人资料的公司,不论公司地理位置在哪里。 (译者注:GDPR条款3(1)指出,只要是数据控制者或处理者设立于欧盟范围内的实体(establishment)处理个人数据的行为,都适用于条例,不论其实际处理行为是否发生在欧盟之内。)随着近期在美洲及全球其他地区中,有越来越多的个人数据泄露和滥用事件发生,我们可以预期的是,GDPR中的一般性(“G-General”)规定终将在未来的某个时刻被全球性(“global”)所取代。尽管GDPR法规的出台伴随着诸多原因,但最重要的一点是为了保护数据和数据有关的敏感性问题。企业对于必须遵守该法规一事抱怨连连,因为不仅耗时还砸钱;但如果所谓的“坏人”已经掌握了信息的重大价值,那么企业也需要重视他们的数据安全问题,并积极投资于企业保护数据的能力建设上。实际上,GDPR是一个很棒的规定,因为它使组织能动地收集有关的数据情报,以便保护数据。如此一来,遵守GDPR中严格的相关规定就变成了一件高附加值的事情,因为它不仅仅能够指导企业的合规,规避罚款,还将带来更高的业务运作效率和员工生产力。IDC于近期对每日需处理数据的专业人员进行的一项调查发现,由于无法找到、准备或保护数据,人们每周浪费掉长达12小时的时间。该调查还询问了受调者每周花在这些活动上的时间,以及他们圆满完成这些活动的频率。图2中的数值代表了人们每周无法完成活动任务的平均时长。图2中未显示的是,人们每周创建新的信息资产额外存在的10个小时的时间,其目的只是为了获悉这些资产已经存在,而代表它们存在的数据资料是由其他人创建的。 图2. 从事数据处理的专业人员:每周的“无效时间”GDPR中关于数据保护的新条例将迫使企业自主地去搜集、分析并分类数据和信息资产——并且主动获悉可以访问具体资产类别的主体,在何时、何地、为什么要访问这些数据,以及如何进行访问——这些数据信息为那些处理数据的专业人员更有效并高效地使用数据提供了的机会。智能数据系统还可以优化数据操作——它将为企业在下列流程中提供高效的信息支持:诸如数据访问控制、数据授权及策略使用、数据加密、数据屏蔽和保护的决策,在何处定位数据,以及为保证企业的正常持续经营而在高价值数据资产上的处理方式等。此外,智能数据系统还可以用于提高数据质量的状态,因为它有助于数据管理员剖析数据的维度和形状,从而发现数据重复、数据不一致、数据错误以及数据及时性与完整性的属性。企业可以通过下列渠道扭转人们对于数据治理的消极态度——一方面,通过智能数据系统实现数据赋能,以支持企业管理;另一方面,通过一组数据性能指标(DPIs)来展现数据管理的投资回报;上述指标包括但不限于:员工生产率、数据质量分数、数据操作成本、业务连续性和数据技术遵从性。数据治理的发展趋势 最近的一项IDC数据治理成熟度基准调查发现,在低成熟度水平下蓬勃发展的组织更加关注的是组织结构、流程、人员和愿景,而非技术问题。这一发现表明,技术并不是数据治理解决方案的唯一组成部分;很多时候,由于人们过于关注技术,一些新的数据治理提议往往就被扼杀在了摇篮里。然而,该研究同时表明,与那些勉强能维持生存的组织相比,数据治理成熟度较高的组织通常拥有更高的技术投资水平。因此,技术成熟度曲线的定位对于企业的成功变得尤为重要。之前数据治理尝试失败的另一个原因在于——所谓的智能数据是由人工创建并维护的:图2中提到的同一调查还发现,电子表格、自定义软件、文档以及口头传述是最常用的数据编目方法。无论是在业务还是在技术层面,手动流程都无法跟上变化的步伐;况且,当前我们身处数字化转型的时代,在日益复杂的技术和营商环境中,这种变化只会越来越迅速且持久。“由谁来负责数据?”是一个被人们问了几十年的问题,其答案往往指向IT部门,或者也同时存在“每个人都对数据负责”这样的说法。如果每个人都有责任,那实际上就没有人来负责。理论上,企业自身应拥有数据,但实际上需要业务和IT部门之间的协作来管理、掌握和提高整个组织的数据完整性水平。在企业管理层中,首席数据官(CDO,chief data officer)的角色可称之为自上而下地维护数据;但是,根据IDC近期对25名数据管理人员展开的一项调查,其结果显示,参与调查者有70%的时间都花费在数据合规性、安全性、运营、预期管理以及自我证明(角色合理性)上;而剩下的30%的时间都花在了战略数据规划上。而智能数据软件正是通过提高企业对数据的敏感度,补充相关的数据知识,并实施数据处理自动化操作,使CDO办公室能够作出更好的数据决策,优化数据操作流程,将更多的时间专注于战略性的数据支持工作。在企业里,日常处理数据的员工队伍和职能数量都在日益扩大,并且他们和数据本身一样具有可移动和动态性。数据智能解决方案正在启用并赋能这些角色,并帮助他们在最佳时间将正确的数据交付给正确的人。通过技术、语义和业务元数据对数据进行增强,增加关键的知识元素,以便更好地理解数据和数据的使用情况。数据中固有的关系也正在被人们逐一揭示,以帮助资源挖掘到新的相关性,更好地知悉与变化相关的风险与影响。这些情报中的绝大部分都被数据目录软件所捕获,在这些软件中,我们不仅可以执行互联网式的数据搜索,协作通信功能还可以改善数据用户之间的通信情况,而众包则提供了企业高价值数据资产的知识。(译者注:众包就是企业利用互联网将工作分配出去、发现创意或解决技术问题;众包的产生得益于信息技术的革命、多样化的市场需求和互联网的飞速发展via百度文库。) 让Infogix Data3Sixty帮您赋能数据治理 数据智能软件平台 Infogix Data3Sixty支持数据治理和启用。Infogix Data3Sixty平台可以作为企业数据交换平台,通过元数据管理、高级分析和数据质量管理的组合,实现从创建到使用的数据智能化。它利用了Infogix在事务数据高级控制方面的专长,这些控制侧重于用例(use case),例如协调多个数据集、发现欺诈行为以及使用事务数据分析监视业务流程性能。Infogix Data3Sixty平台具备以下三大核心功能:提升供应链数据质量;提供可信、安全和符合要求的数据;以及对具有直观数据访问和准备功能的数据专业人员进行分析。该平台能够为企业提供下列支持:对存储在大数据或关系数据环境中的数据执行数据质量检查、平衡与协调、文件监控和过程验证。在数据质量方面,Infogix能够为数据专业人员提供降低数据风险所必备的意识与知识,针对这一点,其历史表现(包含支持企业遵守法规等)可见一斑。Infogix Data3Sixty的核心治理功能为数据资产和供应链智能提供了业务友好型视图,增强了业务上下文中的数据智能。其功能包括:资产跟踪、协作和知识共享,以便数据专业人员有效使用数据资产和分析结果。该平台的分析功能不仅可以帮助技术含量较低的企业用户准备和分析数据以获得洞察力,而且还提供IT访问控制和集中管理,以维持秩序;同时允许探索和创新。Infogix Data3Sixty提供具有拖拽操作的自助数据准备功能,用于数据摄取、解析、整形、清理和分析,包括利用统计控制和机器学习算法的高级方法。直面的挑战:Infogix凭借Infogix Data3Sixty提供的功能,正处于一个迅速扩大、竞争日益激烈的市场。在过去的12-18个月里,对数据智能软件的需求急剧上升。虽然市场还没有饱和,但竞争已经相当激烈,因为许多软件公司都在加紧努力以满足需求。初创企业正在为市场带来全新的、具有创新思维的解决方案,而行业巨头正在利用其深厚的数据智慧、技术以及安装基础的实力来提高市场份额。Infogix于2017年收购了数据治理供应商Data3Sixty,并一直在将其与Infogix deep知识产权和技术资产整合,以便在任何数据环境中提供跨任何数据类型的数据智能能力。小结数据治理的未来是通过分布式、移动和动态数据环境中的数据智能实现数据支持。IDC相信,支持并配合数据治理未来发展的软件市场将继续增长,只要Infogix能够应对本文所述的数据支持挑战,该公司就会拥有巨大的成功机遇。(图源:stocksnap.io、百度) 赞 (0) 相关推荐 文汇报 ■本报首席记者 张懿 数据正成为当今最具战略意义的资产,同时推进数字化转型也成为各地.各行业的共识.本期圆桌邀请到数位学界.业内嘉宾,围绕城市大脑.数字资产.信息安全等话题开展对话,共同对数据赋能的前 ... 大数据下的企业数字化转型研究与实践 公众号回复:干货,领取价值58元/套IT管理体系文档 公众号回复:ITIL教材,领取最新ITIL4中文教材 正文 前言 随着国家大数据战略制定与实施,大数据成为企业的核心资源,且数据资产管理效率与企 ... Σco时间|创新不止,以行践言 华为助力矿山行业迈向智能化时代 矿产为经济建设提供必需的金属.煤炭.建材及其他原材料,是国民经济的基础产业.然而,我国矿山数量大.分布广.成本高.管理松散.生产事故频发等现状一直困扰着我国矿山行业的发展. 近年来,随着以大数据.5G ... 【金猿案例展】中原银行:数据智能服务体系建设 中原银行案例 本案例由中原银行投递并参与评选,数据猿独家全网首发:更多关于[金猿榜/奖·2019征集评选]的相关信息,请点击这里了解详情丨征案例.征文章.征产品=评企业.评人物.评产品. 大数据产 ... 数据要素跑步入场,如何构建大数据治理体系? 数据意味着什么? 过去,我们把数据当做资源,不断积累,以期从量变到质变: 现在,数据是新型生产要素,规划治理,保持自我核心竞争力: 未来,数据是关键策略,保持增速,引领全球经济新生态. 当前,数据作为 ... 神策数据的进阶之路:从用户行为分析工具到全新的数字化营销闭环 "提示说明:数据猿最新发布产业全景图:2020中国数据智能产业图谱1.0版,欲获取超高清版大图,后台回复关键词"图谱"即可. 年度重磅活动预告:2020年度金猿策划活动( ... 城市经济大脑:为政府智慧治理植入“CPU” 近日,"十四五"规划和2035年远景目标纲要全文公布,纲要明确要求激活数据要素潜能,推进网络强国建设,加快建设数字经济.数字社会和数字政府,以数字化转型整体驱动生产方式.生活方式和 ... 陈根:数据信托,数据治理大未来? 文/陈根 当前,数据的价值已经得到了社会的认可和重视.对海量数据聚合.加工产生的价值推动着数字经济深度发展.数据,作为新生产要素实至名归.然而,数据共享与数据隐私之间存在着众所周知的悖论.数据共享带来 ... 数据治理是人工智能未来发展的关键 为了更好地采用人工智能,人们需要了解一些基本知识.数字时代最主要的事情之一就是保护隐私. 人工智能革命为希望保护隐私的人们带来了巨大的麻烦.有时候,人工智能机器人的预测能力可能为注重隐私的人们带来困扰 ... 研究 | 数据治理的研究现状及未来展望 导读:数据作为人工智能和大数据的核心要素,将对人类社会发展带来深刻影响.随着数据容量的快速积累.数据质量和运算能力的不断提高,如何使用和管理数据成为第四次工业革命带给人类社会的一个重要命题. 数据治理 ... 重磅 |《欧洲数据治理条例(数据治理法)》倡议发布,将塑造欧洲的数字未来 | DataLaws 数据法学 作者:何渊 当当 点击图片,购买何渊新书<亚太数据合规手册> 如需<欧洲数据治理条例(数据治理法)>建议稿PDF版,请关注本公号并回复"数据法盟123&qu ... 数据治理的研究现状及未来展望 数据作为人工智能和大数据的核心要素,将对人类社会发展带来深刻影响.随着数据容量的快速积累.数据质量和运算能力的不断提高,如何使用和管理数据成为第四次工业革命带给人类社会的一个重要命题. 数据治理有两种 ... 终于有人把数据治理讲明白了 导读:数据治理:说起来容易,做起来难. 作者:石秀峰 来源:谈数据(ID:learning-bigdata) "数据治理"这个10多年前就已经出现的名称,在最近这几年时间一下子火了 ... 企业数字化转型关键 ,数据治理需要关注什么? 2019年我国数字经济规模为35.8万亿元,产业数字化占数字经济的比例达到80.2%.新经济领域的高度数字化,通过传导至传统产业的转型升级.在"新基建".疫情等外部因素的催化下,数 ... 美智库CSIS发布《亚太地区的数据治理》报告 2021年4月21日,美国智库战略与国际问题研究中心(CSIS)发布报告<亚太地区的数据治理>(Governing Data in the Asia-Pacific),报告指出,尽管数据在 ... 数据治理:说起来容易,做起来难?这个方法论值得收藏 "数据治理"这个10多年前就已经出现的名称,在最近这几年时间一下子火了起来.不知何时,江湖中流传出了:"数字转型.治理先行"的说法. 于是乎,我们看到:不仅是传 ...