“数据、信息、见解”的关系和数据治理（下）
公众号后台回复：管理1906，免费下载本月推荐精品管理类图书公众号后台回复：人文历史1906，免费下载本月推荐精品人文历史类图书
First加入“ICT销售和大客户联盟”（微信ID：ICT-League），寻找志同道合的小伙伴！您的关注就是我们最大的动力，这里有大量企业家高净值粉丝，每天分享最新商业资讯、趋势、深度好文、把握财经动态。喜欢学习和阅读的朋友请关注我，文章每天都会更新，欢迎转发阅读！03 数据治理是大数据对业务洞察的基础首先，不是所有的问题都需要大数据解决方案。比如，对于对大型数据集或来自多个数据源的临时报告、执行、并行处理等等的项目，可能没有必要使用大数据解决方案。我们需要思考的是：大数据是否是业务问题的正确解决方案，它是否为我们提供了业务机会？大数据中是否隐藏着业务机会？我主导过很多企业的咨询和业务规划，归纳起来发现，很多的企业都会问到这样一些问题：使用大数据可能会获得何种洞察和业务价值？对现有的IT治理有什么影响？需要掌握哪些技能来理解、分析、构建和维护大数据的需求？现有的数据库、数据湖能否提供业务洞察和业务决策？各种数据来源的数据在不断增长，如何处理才对我有帮助？......大数据要活的业务洞察，基本的逻辑就是要从数据中获得有用的信息。而这项工作的基础就是数据治理。数据治理涉及到定义指南来帮助企业制定有关数据的正确决策。在将数据传入企业进行处理、存储、分析、清除或归档时，需要强有力的指南和流程来监视、构建、存储和保护数据。数据治理有助于处理企业内或从外部来源传入的数据的复杂性、量和种类。除了正常的数据清洗、脱敏、ETL等需要考虑因素之外，数据治理还应该包含其他因素：管理各种格式（异构多源、结构化、半结构化、非结构化）的大量数据持续训练和管理必要的统计模型设置外部数据有关其保留和使用的策略和合规性制度定义数据归档和清除策略创建如何跨系统复制数据的策略设置数据加密策略单纯的为治理而进行的数据治理是不合适的，数据治理需要考虑业务问题和需要，依据业务问题对数据进行分类和管理，才是正道。业务问题可分类为不同的大数据问题类型。将业务问题映射到它的大数据类型才是数据治理的良好的开端。按类型对大数据问题分类，更容易看到每种数据的特征。这些特征可帮助我们了解如何获取数据，如何将它处理为合适的格式，以及新数据出现的频率。来自不同来源的数据具有不同的特征等等。我觉得，IBM给出的常见业务问题，并为每个问题分配了一种大数据类型的分类表不错。表1. 不同类型的大数据业务问题业务问题大数据问题描述公用事业：预测功耗机器生成的数据公用事业公司推出了智慧仪表，按每小时或更短的间隔定期测量水、天然气和电力的消耗。这些智慧仪表生成了需要分析的大量间隔数据。公用事业公司还运行着昂贵而又复杂的大型系统来发电。每个电网包含监视电压、电流、频率和其他重要操作特征的复杂传感器。要提高操作效率，该公司必须监视传感器所传送的数据。大数据解决方案可以使用智慧仪表分析发电（供应）和电力消耗（需求）数据。电信：客户流失分析Web和社交数据交易数据电信运营商需要构建详细的客户流失模型（包含社交媒体和交易数据，比如 CDR），以跟上竞争形势。流失模型的值取决于客户属性的质量（客户主数据，比如生日、性别、位置和收入）和客户的社交行为。实现预测分析战略的电信提供商可通过分析用户的呼叫模式来管理和预测流失。市场营销：情绪分析Web和社交数据营销部门使用 Twitter 源来执行情绪分析，以便确定用户对公司及其产品或服务的评价，尤其是在一个新产品或版本发布之后。客户情绪必须与客户概要数据相集成，才能得到有意义的结果。依据客户的人口统计特征，客户反馈可能有所不同。客户服务：呼叫监视人类生成的IT 部门正在依靠大数据解决方案来分析应用程序日志，以便获取可提高系统性能的洞察。来自各种应用程序供应商的日志文件具有不同的格式；必须将它们标准化，然后 IT 部门才能使用它们。零售：基于面部识别和社交媒体的个性化消息Web和社交数据生物识别零售商可结合使用面部识别技术和来自社交媒体的照片，根据购买行为和位置向客户提供个性化的营销信息。此功能对零售商忠诚度计划具有很大的影响，但它具有严格的隐私限制。零售商需要在实现这些应用程序之前进行适当的隐私披露。零售和营销：移动数据和基于位置的目标机器生成的数据交易数据零售商可根据位置数据为客户提供特定的促销活动和优惠券。解决方案通常旨在在用户进入一个店铺时检测用户的位置，或者通过GPS 检测用户的位置。位置数据与来自社交网络的客户偏好数据相结合，使零售商能够根据购买历史记录针对性地开展在线和店内营销活动。通知是通过移动应用程序、SMS 和电子邮件提供的。FSS、医疗保健：欺诈检测机器生成的数据交易数据人类生成的欺诈管理可预测给定交易或客户帐户遇到欺诈的可能性。解决方案可实时分析事务，生成建议的立即执行的措施，这对阻止第三方欺诈、第一方欺诈和对帐户特权的蓄意滥用至关重要。解决方案通常旨在检测和阻止多个行业的众多欺诈和风险类型，其中包括：· 信用卡和借记卡欺诈· 存款帐户欺诈· 技术欺诈· 坏账· 医疗欺诈· 医疗补助计划和医疗保险欺诈· 财产和灾害保险欺诈· 工伤赔偿欺诈· 保险欺诈· 电信欺诈04 数据治理全业务数据汇聚主数据建设数据治理的意义：遵循公司统一数据模型，推动核心业务数据跨专业、跨系统关联整合，开展企业级主数据建设，实现数据统一存储和管理，为各类应用提供统一的处理、分析和集成服务。全业务数据汇聚重点开展数据全域整合应用综合示范，全面实施人员、资产、客户等业务领域数据整合与试点应用，支撑各专业、各单位专业内和跨专业分析应用构建。企业级主数据建设重点开展人员、资产两类企业级主数据建设，建立认责发布机制、维护流程和应用规则，完善项目、营销、财务、物资等主数据设计等。数据和应用服务能力建设重点提升全业务统一数据中心数据服务、应用构建和分析计算支撑能力，为各专业、各单位提供快速便捷的服务;深化大数据开发试验和共享发布平台建设，支撑基层单位持续应用创新。目前，在大数据领域用户的困难包括以下几个方面：随着网络和信息技术的不断普及，大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长IT系统经历数据量高速膨胀的时期，海量的、分散在不同角落的数据导致了数据资源利用的复杂性和管理的高难度无法从统一的业务视角去概览整个企业或政府部门内部的数据信息系统与系统之间的关系、标准数据从哪里获取都无从知晓，数据质量难以保障系统分散，数据标准缺乏结构化的管理，无法形成数据台账，提供全景检索源数据变化造成数据混乱，各系统间无法快速定义数据问题， 无法有效监控和改善数据质量华云数创（北京）科技有限公司运用大数据人工智能技术，面对企业的复杂数据情况形成一个行之有效的数据资产管理解决方案。华云数创根据10余年在各行各业集成交付经验、抽象、归纳多种应用场景，而推出的一套基于不同行业、不同应用的大数据治理产品。该产品是促进数据管理体系建设和执行体系落地的有力支撑平台，将分散、多样化的核心主数据通过标准化、质量清洗，集成及监控等操作进行优化，形成企业和政府部门内的数据管控体系，并结合部门组织结构，形成数据管控执行体系，在企业和政府部门内部持续运行，提升、挖掘主数据的应用价值。其数据治理的整合架构如下：以大数据整合、治理、共享和开放等技术为基础，以业务需求为牵引，进一步发挥信息化价值，服务用户企业管理提升、转型升级和改革发展，为用户企业在企业管理、运行、服务、管控风险等等方面 的精准决策和创新发展提供有效支撑。通过大数据应用支撑平台技术服务，用户企业能够完成数据的全采集、全接入、全分析、全挖掘和全应用， 实现模型规范统一、数据干净透明、挖掘灵活智能、业务融合贯 通、数据充分共享，满足用户企业大数据建设行动计划要求。05 结论未来三年，是我国大数据发展转型的重要机遇期。大数据的发展本身也呈现着一些趋势。大数据新技术继续快速发展未来大数据技术将会沿着工具平台化、多业务场景统一处理等方面突破。大数据技术工具在解决资源浪费、弹性能力不足、管理复杂等缺点方面奖快速发展，快速落地和应用、瞄准分析型业务场景、多业务场景统一处理会成为很多大数据应用企业未来的重点。数据流通共享将迎来关键突破推动数据开放共享的效果与预期还有很大的差距。随着同态加密、差分隐私、零知识证明、量子账本等关键技术的性能提升和门槛降低，随着区块链、安全多方计算等工具与数据流通场景进一步紧密结合，数据共享交换将有望再前进一大步。数据服务合规性成为行业重点随着欧盟GDPR的颁布和正式实施，个人信息保护的重视程度被提到了前所未有的高度。中国信息通信研究院正在着力推动的“可信数据服务”计划契合了行业的这一需求。数据资产管理将越来越重要数据资产管理体系建设，即从架构、标准、研发、质量、安全、分析到应用的统一，是实现技术到业务价值的转化和变现的重要途径。华云数创在数据全链路智能管理体系、数据资产的贡献度、数据基线度量与质量规范的工具化、可视化等方面已经走出了坚实的一步。附录：文中提及的数据治理平台解决方案的公司介绍：华云数创（北京）科技有限公司成立于2016年，主要致力于大数据、人工智能、数据治理、数据优化、监管科技、泛在物联网等领域。目前公司累计取得软件著作权11项。旗下产品线：☞ 监管科技-用户实体行为监管、数字资产☞ 大数据一体化智能业务运维管理系统☞ 泛在物联网监控、远程管理、3D实景☞ 语音和视频的人工智能应用☞ 大数据基础平台☞ 数据治理、数据应用、数据资产管理、数据服务秉承着“Help You Do Different”的企业愿景。致力于打造优秀的基于大数据和人工智能技术的新一代大数据一体化智能平台，为客户提供场景解决方案。（全文终）分享是一种美德，转载请注明来源和出处！