数字化和数据平台——企业数字化转型的技术架构升级
数字化和数据平台(Digital and Data Platform,缩写为DDP),是BCG基于全球领先的数字化转型实践,总结出来的企业数字化技术架构参考模型。
企业数字化转型在信息技术应用上具有这样的特点:
- 面向企业内外的用户,以用户体验为中心,不断创新数字化产品;
- 整合企业内外部数据,用数据分析形成业务洞察;
- 大量的业务流程实现了智能化、自动化;
- 业务能力表现为模块化、可被调用的服务,在企业内外被快速整合,支持平台型组织和平台商业模式的转型;
- 在数字环境下对核心系统进行升级换代。
数字化转型的技术架构要求
当今大多数企业信息技术架构的敏捷化程度不够,不能满足数字化转型的要求:传统竖井式建设的信息系统修改困难、集成混乱;数据被割裂深锁在各个系统内,不能被自由利用;企业缺乏自有的技术开发能力,无法快速响应业务需求。因此,企业迫切需要建设下一代信息技术架构。
DDP就是因这样的趋势,被BCG的架构专家们提出来的。它的主要特点是:
1
模块化
对企业业务应用系统传统的“巨石式”单体架构进行解耦,形成可以独立创建、修改、互换、互连的更小的业务应用模块,每个业务应用模块代表一项业务能力,称为“微服务”。
2
平台化
业务应用模块之间进行连接的方式称为应用程序接口(API),API不仅用于连接企业内部的业务能力,还可以将业务能力打包开放给企业外部,使企业业务平台化。
3
分层级
为了形成整合的用户界面、业务能力及服务、应用系统以及数据视图,将数据从传统系统中解放出来,DDP横向整合,分为基础设施层、核心业务系统层、数据层、数字化应用层。
4
新技术能力
DDP具备新一代的技术能力,包括软件开发和测试相结合,使开发人员可以面向生产环境持续集成和部署,建立提高软件应用发布效率的DevOps体系。此外,新一代架构暴露在互联网环境下,必须提升系统和数据的网络安全防护。
5
需要组织变革支持
实施DDP需要推进一系列运营模式和技术管理的组织变革。业务运营上要提升平台管理和服务治理的能力,全面融合业务和IT组织。IT组织内,要发展工程能力,重塑人员技能,还要改变传统的IT供应商外包及合作模式。
什么是DDP?
DDP模型共包含六层,分别是数字化应用层 、数据与分析层、业务核心系统层 、云基础设施层、集成与API层、网络安全层。
1
数字化应用层
这一层是面向用户使用的数字化界面,并且支持用户交互提供服务。它的职责首先是实现全渠道接入以及用户的全旅程无缝体验,例如统一身份认证,统一流程编排等;其次是基于微服务框架,提供细粒度的服务组件,例如在电商应用环境下的用户管理、订单管理、商品管理等组件;再者提供数字化通用技术组件, 来支持业务组件运作,例如处理身份的人脸识别、文字转化的语音识别、支持智能交互的自然语言处理、支持智能决策的知识图谱等。
2
数据与分析层
这一层也称作大数据平台或者数据分析平台,面向业务应用提供数据服务,主要职责有:1)对来自不同渠道(例如数字化营销的私域和公域以及后端核心业务系统等)的各种数据,包括结构化和非结构化数据,做统一接入与整合、存储与处理;2)建立数据治理机制,保证数据应用的质量;3)分析与服务,借助各类分析模型、算法和机器学习能力从数据中提炼洞察,基于这些洞察提供智能服务,例如个性化推荐、精准营销、定价决策、风险预警等。这些服务以API方式被其他应用接入。
3
业务核心系统层
这一层和上述持续变化、敏捷的数字化应用层相对应。我们将支持企业内较为稳定、不常变化、处理内部管控信息记录及业务流程的信息系统称为“稳态系统”,没有必要或者短期内难以解耦为微服务化,这类系统归属于核心业务系统层,亦即从传统企业信息化时代继承过来的“遗留系统”。上述两层从概念上接近国内流行说的“业务中台”和“数据中台”,那么本层可以认为是“业务后台 ”,比如大家熟悉的企业级解决方案——ERP系统、HR系统、CRM系统,以及各类业务执行系统(例如生产企业的MES系统、银行证券的核心交易系统、保险行业的保单和理赔系统等)。
4
云基础设施层
基础设施是支持企业信息系统运行的各类计算、存储和网络资源。传统基础设施的形式是物理的机房或数据中心,目前的主流形式则是由云供应商以云服务的方式提供。企业上云最简单的形式是应用系统运行在云上的虚拟机,而更纯粹的上云方式则是应用系统的开发和管理都采用云平台。云提升了企业在基础设施上支出的弹性,企业应用系统部署可以在私有云、混合云和公有云等多种模式中选择。
5
集成与API层
企业的各个服务、系统和层级之间需要实现互联互通,集成技术和API起到粘合剂的作用。对内实现各个层级以及每层内各个组件间的信息流集成;对外实现和各个生态合作伙伴间的系统信息流集成。集成形式上,包括传统的消息集成(MQ)和企业服务集成(ESB),以及数字化时代主流的API集成。
6
网络安全层
数字化时代,安全风险已经渗透在上述各个层面,例如身份认证、访问控制、应用安全、数据安全、主机安全、网络安全和物理安全等,在各个层级上都需要建立完善的安全机制。
核心系统的现代化
传统的企业信息化进程中,形成了若干支持内部业务流程、记录管控及合规相关信息的核心业务系统,其中最有代表性的是广为人知、实现跨职能集成的ERP系统。由于技术架构的限制,这类核心系统在业务操作中存在大量手工处理、用户操作界面不友好、交易操作和数据分析分离而无法实现实时分析和决策支持、二次开发成本高、集成困难等问题。
企业实施DDP架构可以改变传统核心系统的这些不足,切实推动从以流程管控为核心的信息化转向以用户体验为核心的数字化。传统核心系统向下一代架构转化的要点是“换核、解耦、上云”。
要点一
换核
传统核心系统的技术正在更新换代,例如市场上最主流的ERP系统SAP推出了采用新一代数据库和开发技术的版本—S/4 HANA,不少使用旧版本SAP ERP的企业正在向S/4 HANA升级,从而构建新一代数字化内核;稳态性质的业务建议保留在核心系统内,形成精简的核心。
要点二
解耦
对于支持用户前端持续变化的业务,或者跨系统共用的业务能力,需要从核心系统中以模块化的方式分离出来,这个过程称为“解耦”,使企业应用架构形成“简内核、松耦合”的形态。
要点三
上云
企业应用系统的开发环境、开发工具和运行时环境从ERP系统内转移到云平台上,通过整合的调度中心来访问所有服务,在平台上实现应用集成、数据分析以及AI扩展。
下图是BCG Platinion基于DPP模型,规划并实施“下一代ERP”的方法:
数据民主化
在传统企业信息技术应用中,由于技术和架构的限制,数据都被锁定在各个信息孤岛里。在数字化转型的环境里,数据从遗留系统中解放出来,成为企业级资产,在企业内各个团队或部门可以根据需要,自主访问被授权的数据,彻底释放数据资产的商业价值。
DDP的数据层集成了企业所有内外部数据,并将使用权“民主化”。企业分割的数据源,无论是存在于内部核心系统、实时交易系统,还是外部数据源,例如社交媒体、气象数据等大数据,都可以通过自动化的方式被集中整合到“数据湖”里,面向实际业务应用或分析的场景,对数据进行预处理(如数据虚拟化、数据集市等),然后快速、简便、智能地生成需要的数据服务。数据层还可以接入业务事件中持续产生的流式数据,支持实时的业务响应。
数据可得性和数据质量决定了数据应用的价值,有价值的数据是企业的资产。因此,企业需要建立良好的数据管理和数据治理体系。DDP的数据层还包括了主数据管理能力和数据治理工具。
API管理
API通过支持平台和生态系统业务模型以及敏捷的业务流程,在数字化转型和创新方面发挥着关键作用。微服务和API是组织构建平台和开发生态系统的两个技术基础。
随着DDP架构实施,组织内API的数量,不仅在IT部门增长非常迅速,在业务线内也不断蔓延,对公共和私有API以及API主导的连接性的需求日益增长,推动了组织对API管理方案的需求。
DDP需要具有这样一些API管理能力:
1
API网关
位于API前面的组件,是定义的后端API和微服务(包括内部和外部)的单一入口点。它充当保护器,加强安全性并确保可扩展性和高可用性。API网关接收所有API请求,确定需要哪些服务,并将它们组合成统一、无缝的用户体验。
2
开发者门户
是API及其应用相关方之间的桥梁,用于定位、推广和治理使用API的开发人员社区。它还提供了其他有用的特性,如运行时管理、API分析,并给出了API价值的估计。
3
API生命周期
成熟的工具可以支持软件和API的开发生命周期,通过促进团队协作和任务自动化,及时、高质量地交付。API生命周期的过程,可以与DevOps管道的各个阶段形成映射关系。
实施考量因素
DDP是企业数字化转型在技术方面的抓手,实施DDP不仅是一个技术课题,更需要配套的组织、流程和人员技能变革。BCG在全球多个DDP规划和实施项目中,总结出了六大关键成功因素:
因素一
数字化转型的治理机制
数字化转型不只是IT部门的职责,业务人员和IT人员充分融合来创造数字化产品的敏捷方法,是实施DDP的基本工作方式,组织内大规模敏捷推进需要建立新的业务/IT治理模式。
因素二
用释放数据价值的动力
来启动架构转型
今天,大多数企业的信息技术应用都不是白纸一张,实施DPP需要寻找立竿见影的切入点。我们发现将数据从遗留系统释放出来通常是企业最迫切的需求,数据层整合是DDP取得速赢的首选。
因素三
业务场景驱动平台建设
DDP服务于用户场景,企业需要根据用户旅程设计业务场景,例如数字化供应链、智能制造、实时智能推荐等,从业务场景对数字化平台的微服务能力提出要求。
因素四
打破组织壁垒
DDP需要建立平台和数字化产品的产品管理和运营体系,按照端到端的业务流程或者无缝重构用户旅程的要求,打破企业内的组织壁垒。
因素五
培养人员新技能
改变IT运作模式
DDP更新了企业信息技术的技术栈,平台化对企业技术开发能力提出了更高的要求,DDP需要诸如企业架构师、技术和数据架构师、数据科学家、DevOps工程师、全栈工程师等技术角色。企业应通过重新培训,甚至招聘新人来获得这些能力。同时,实施DDP还需要企业全面评估套装软件的定制、IT外包模式、代码管理、开源化等策略。
因素六
明确成功的衡量标准
推进数字化转型需要采取小步快跑的敏捷方式,企业要建立起一套衡量标准来评估DDP架构转型的进度、成熟度,以及带来的业务价值,从而保证敏捷迭代的有效性。
为了帮助企业实现DDP架构转型,BCG建立了一支多学科团队,包括行业专家、数字化战略专家、架构专家、数据科学家、网络安全专家、敏捷教练等,帮助企业解决架构转型中各方面遇到的难题。