数据中台助推大数据落地

背景摘要：

趁着大数据的风潮，2018年年初，AA集团决定上马大数据平台，希望基于平台充分挖掘大数据的价值，使数据赋能企业业务发展。然而，钱没少花、人没少出，平台上线后，运行效能却令人大失所望。花大力气做出来的数据分析报告屡屡被证明价值匮乏，而好不容易挖掘出来的数据也难以融合到具体业务中去，数据价值难以变现，不到半年时间，当初被寄予厚望的数据平台就遗憾地沦为了数据废墟。

在大数据应用领域，与AA集团的相似的情况比比皆是。2017年，Gartner就估算接近85%的大数据项目都会失败。这一结论至今未变。事实上，近年来，随着大数据的概念甚嚣尘上，大数据应用建设项目如雨后春笋般涌现。然而，与应用前的各种期望与希冀相比，企业在实际应用大数据后却往往对其充满质疑和抱怨。数据转型、数据驱动、数据赋能，概念一飞冲天，落地寥寥无几。

大数据为何落地难？我们又该怎样加强大数据的赋用性？

大数据为何落地难

大数据难落地的原因很多很复杂，而本文中，我们希望从根源上展开分析。

首先，我们需要明确什么是大数据，以及企业有用数据的边界。

普遍观点认为：大数据是一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。对企业而言，大数据主要涵盖与企业所处行业相关的竞争环境、盈利模式、业务模式、客户消费模式等一系列内外部经营相关的信息流，是来自于企业外部的社会数据。

身处万物互联时代，大数据的演进已经成为不可逆的浪潮。我们看到，整个企业运行过程，企业围墙壁垒变得越来越小，甚至有可能被瞬间被打破。获取资源的过程和内部交易的过程，都会依赖大数据来定义客户，完成交易。整个企业不再单单是产品的制造者，而要整合外部平台。这必将令大数据的价值日益凸显，也是近年来企业大数据应用风潮日盛的根本原因。

然而，不是所有数据都是大数据，而对企业而言，经营、管理和决策中所用到的数据亦远非仅有大数据。

企业在经营活动中还会产生大量内部数据，包括以收入、成本、利润、资产、负债等为代表的财务数据和与产品、客户、渠道、生产、研发等相关的业务数据。这些数据不属于大数据，但是是直接反映企业经营情况和财务状况的直接数据，也是企业在经营和管理决策中长期应用、必不可少的重要依据。以预算管理为例。在从目标到计划到预算到资源到行动的整个过程中，其首先用到的数据就是生产计划、销售计划等业务数据和收入、费用等财务数据。

如果将外部大数据比作数据界的新贵，那么，内部业财数据就是数据界的传统豪门。新贵来势汹汹，也不能撼动传统豪门的地位。在企业中，对业财数据的深入挖掘和应用应是一以贯之的十分重要，而对大数据的应用亦要不断深化落地。只有将两者相结合，才能触发真正令人满意的数据应用效果。

然而，我们可以看到，很多企业在大数据应用中，过于放大了大数据的价值和重要性，却因此忽略了对内部业财数据的应用。由于大数据平台定位为是对大数据价值的挖掘和应用，且平台独立开发、建设和运营，这就将大数据与内部数据割裂开来，这样的应用从根本上就难以获得好的结果。

真正可落地的数据应用应是将内部业财数据与外部大数据汇集在一起，三类数据相结合的数据应用。无论是房地产企业在投前测算中综合采用运营计划、项目成本、销售进度等内部数据以及地块基本情况、竞争对手拿地情况等外部数据；还是快消企业在供应链决策中综合协同销售、生产、采购、财务等部门内部数据以及竞争对手状况、区域天气、市场环境等外部数据；在这些数据应用的具体场景中，成功的大数据应用从来都不是孤立的应用。

重构企业信息化架构是大数据应用的前提

那么，怎样实现内部业财数据与外部大数据的结合呢？

有人可能会说，这很简单。企业只需要构建一个数据平台，将内部数据与外部数据纳入到一起，基于海量数据开展数字化应用。

当然，从理论上来说，这的确是一条直接有效的路径。然而，遗憾的是，在现行的传统信息化架构下，这一路径很难实现。

众所周知，大数据应用的意义不在于掌握了庞大的数据信息，而在于对数据的专业化处理。从数据应用的过程来说，其主要涉及到三个层次：数据采集、数据存储和数据计算。我们需要先经由不同渠道将数据采集进来，基于存储技术将这些数据快速、安全、分类、有序地存储起来，再基于计算技术对这些数据进行加工、处理，将数据转化为有用信息。数据采集是大数据应用的基础，而数据计算则是大数据应用的关键。然而，传统信息化架构存在的弊端，导致数据应用在这三个层次上均无法有效落地。

1、传统信息化架构形成了大量信息孤岛，使数据采集和数据转换成为难题。

在传统的信息化架构下，企业的IT体系由一系列套装软件系统构成，比如ERP系统、CRM系统、SRM系统、HR系统等等，这些系统在应用中呈现烟囱式的架构。每一个系统都有一整套完整的结构，包括用户管理、权限管理、表单管理、流程管理、报表管理等等，这些系统彼此独立，形成了大量数据孤岛。即使企业想尽办法，采取设置接口、搭建服务总线等方式来解决数据互通问题，但无论怎样努力，也无法改变烟囱式架构的根本。大量财务数据和业务数据重复、凌乱地散落于企业的各类信息系统平台中，企业很难将它们全面地汇聚起来加以有效的挖掘应用。

2、传统信息化架构难以满足对海量数据的存储、处理和分析需求。

按存储形式分类，企业内外部数据可分为结构化数据和非结构化数据。结构化数据是由二维表结构来逻辑表达和实现的数据，为数据库；非结构化数据为不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、各类报表、图片和咅频、视频信息等。根据Gartner的预计，企业中高达80%的数据都是非结构化数据。这类对计算机的数据处理能力和读写速度要求更高，且数据量每年都呈指数级增长。这就对系统的数据存储和数据管理能力提出了更高的性能要求。

然而，在传统的烟囱式的信息化架构下，由于每个系统都是独立、完整的存在，拥有完整结构，这就造成了大量重复建设，也为数据存储和数据管理带来了很大麻烦。多年来积累的数据缺乏标准的体系梳理，缺乏有效的数据管理机制，数据结构混乱，数据质量低下，数据基础不完备，缺乏完善的数据管控机制，使得数据平台屡屡沦为废墟无人问津。

企业必须打破传统的信息化架构，遵从连接、共享的互联网时代要义，重构新一代企业信息化架构，才有可能将内外部数据结合起来，将结构化数据和非结构化数据进行有效整合，开展真正可落地的大数据应用。

中台思维与数据中台

新一代企业信息化架构的核心是什么？我们认为是中台思维。

中台概念来源于阿里，其产生的核心思想是“共享”和“复用”。中台概念与前台和后台相对应。前台即面向客户的市场、销售和服务部门或系统，后台是技术支持、研发、财务、人力资源、内部审计等二线支撑部门或系统。而中台则是指介于前台和后台之间的一个综合能力平台，可以有效地连接前后台，具备了对于前台业务变化及创新的快速响应能力。中台打破了烟囱式的企业传统IT架构，在前后台之间增加了一层系统，使新一代企业IT架构从一系列套装软件系统的方式变为各种服务支撑下的一系列前端应用系统。中台的提出和落地，将企业信息化架构由不同平台下分散的烟囱式系统集群变革为部署在同一平台下基于服务的应用系统集群。

数据中台是中台的核心平台之一，简单来说就是数据仓库，是将传统数据仓库扩展到企业级所有数据的更大领域，对这些数据进行数据采集、数据建模、数据服务，并提供给前端开展不同维度的数据应用。

”数据中台“重构了企业数据系统的架构，将其分为三个层级：

底层

底层是数据收集层，就是数据湖，来自ERP、SRM等各个信息化系统中的业务数据、财务数据、大数据，结构化和非结构化数据直接汇入这层数据湖中，实现统一、集中的数据收集。

核心层

中间的核心层是数据存储与计算层，核心是通过数据建模，形成服务化的数据应用。数据模型可以分为基础模型、融合模型和挖掘模型。基础模型一般是关系建模，主要实现数据的标准化；融合模型一般是维度建模，主要实现跨越数据的整合，整合的形式可以是汇总、关联、解析；挖掘模型是偏应用的模型，作为企业的知识沉淀在中台内，可在数据应用端调取进行复用。

上层

上层是业务应用层，聚焦于对数据的应用和展现，核心层的数据模型可以共享到这个层级中并实现复用，赋能企业业务发展。数据应用通过将数据融入企业具体的业务经营场景中，基于丰富的数据模型开展场景化应用，用数据解决具体的业务问题，具体应用包括产销协同分析、投资分析、产品定价、商品推荐、客户画像等，数据展现聚焦于以多样化的形式展现数据分析应用的结果，这些形式包括管理驾驶舱、即席分析、自助报告、数据大屏、移动APP等，系统可以根据不同用户在不同场景下的需求调整合适的展现方式。

数据中台架构下的大数据应用

有了数据中台，数据在信息化体系中不再是分散、凌乱、重复的存在，系统可以对数据进行实时的分类、整理、加工，使其成为清晰有序、有条理、有脉络的有用信息。这些数据可以进一步分享给业务应用系统以开展数据应用和实现数据变现，结果将通过前端展现系统以多样化、可视化的形式展现出来。

1、数据中台彻底消除企业的信息孤岛问题

将企业的内部和外部数据、结构化和非结构化数据实时地汇集到一起，这就从源头上解决了大数据应用中的数据捕获难题。为大数据应用的开展奠定了充分的数据基础。

2、数据中台将推动数据的深入挖掘和应用

数据中台为支持前台和客户需求而生。为了能够快速为前台提供更多更快的“炮弹”，数据中台必然需要更敏捷、更灵活、更智能。数据中台上部署了一系列趋势性的新技术，如内存多维数据库、分布式计算、数据可视化、智能数据分析、机器学习等。内存多维数据库实现了数据时效性的革命性突破，分布式计算大大提升了数据计算的速度，数据可视化大大降低了决策的难度，智能数据分析让数据的价值获得更充分的挖掘，机器学习令系统具备了自助分析的能力。总之，依托中台中所部署的新技术，企业将实现实时、多维、智能、自动的数据应用，这将赋予企业数据应用前所未有的用户体验。

3、依托数据中台，数据应用迈向轻量级应用

在数据中台上，经加工整理后的有用数据将直接输出到具体业务场景的应用端，如输出用于电商企业的在线商品推荐，银行的实时信贷审批，金融服务公司的盘中对冲基金交易分析，制造企业的实时资产利用研究等等应用中，形成以分析-决策-行动为闭环的应用链条。数据将真正与业务场景融为一体，一个个轻量级的应用将直接帮助企业解决业务问题。

在数字化转型的大潮中，大数据将随着数据中台的落地而迎来真正的发展机遇。基于中台架构，大数据将与业务数据、财务数据结合在一起，循着轻量级、场景化、实时性、自动化、智能化的方向，共同赋能企业业务发展。