驱动企业转变到数据化管理不得不知道的事（一）
关键词：数据化管理、大数据、高性能计算、人工智能、数据分析
从敏捷的初创企业到大型企业，从金融、电信到政府，各行各业的组织都在积极地采用和实施大数据的实践，以获得和维持更优化的服务、更持久的商业优势。
向数据文化过渡并非易事，特别是在具有众多业务系统和众多数据来源的组织中更是如此。
有的组织拥有复杂的业务体系和复杂的业务软件体系，数据源不一样、数据架构不同、数据库厂家不同，使得实际上数据的统一十分的繁复。这在分布式组织和大型的、庞大的应用程序群等场合更是如此！这造成组织的数据统计的结果都很难一致，更别提深度的数据分析了。任何一个新的业务所需的许多数据可能来自于不同的业务系统和不同的数据源，这些更改往往带来一系列复杂的计算和统计过程，这将进一步阻碍并影响组织向数据管理的转变。
尽管很多的初创组织通常都没有上述遗留的技术债务，但是，他们在数据统一和计算效率上仍然存在着许多的问题。当然，他们有机会能够快速应用新技术，以更现代、更灵活的方式解决问题，更为方便的转变到数据管理体系。
随着市场的快速发展，基于大数据、云计算、边缘计算资源和数据计算等实践的结合，统一数据，快速呈现、T+0、大幅度的数据压缩、远优于数据库和大数据的计算能力、灵活的编码和高效的编码效率、稳定简短的编码体系……,使得很多的初创组织和小型组织能够与许多数倍于其规模的组织进行面对面的竞争，并最终脱颖而出。
大型组织实际上也可以做到，当然可以做到啊，而且也应该如此做到！
如果还没有做到的话，那就要进行统一数据的过渡。成功的组织在这个过渡过程中有几个共同的特征、策略和技术，使组织能够较好的适应大数据时代。
发展数据管理要突破三个门槛：
认清大数据和高性能计算的依托分别是什么。
找到把大数据变成知识的途径。
算出大数据投资后产生的经济效益。（大数据知识发掘以后如何产生经济效益？）
如何通过数据驱动业务发展
数据多，就一定能推驱动业务发展吗？有了数据分析团队，就一定能找出问题来吗？
一、数据驱动业务的数据化管理误区
1、拥有大量的数据，不一定就能驱动业务发展
数据多并不意味着一定能良好的驱动业务发展，这是因为，存在很多因素导致数据并不能很好地应用于业务中，这包括但不限于：
数据质量差，数据脏
一方面，很多公司在采集数据时，会采集到很多脏数据，比如IT行业的日志数据、监控的指标数据、物联网传感器网的数据；互联网行业的模拟器刷量、羊毛党刷量等等。如果没有好的方法识别和剔除，很难将这部分数据过滤掉。另外一方面，在采集数据时，没有做到标准化、规范化上报。那么在做数据挖掘分析时，就很难得到有效信息。
而数据的准确性和稳定性是数据科学管理的基础，如果无法满足这两点，在业务决策上就会存在很多问题。
数据与业务关联性不大
只有跟业务有足够强的关联性的数据才价值。
比如，在IT运维行业，各种指标、日志、流量、性能等参数多达几百甚至几千。但是在日常分析时，能经常被用到的也就那么几个，其他的或者访问非常少，或者会随着时间推移，慢慢被弃用。
反而，大量的有用数据却被沉默在这些海量的数据中，得不到利用。
数据采集易、使用难
很多传统企业（像运营商、保险公司、能源、银行等）和政府行业对在这块的困惑就特别多。他们掌握着大量数据，但不知道该怎么用。笔者曾经在IT运维行业工作，每天各种指标的采集积攒的数据量巨大，由于存储空间限制，大量的数据被无法存储，只能存储15天或者30天的数据，因而其实这些数据是无法被使用的。
所以，盲目地为采集而采集数据，其实根本没有多大意义。
润乾信息做了很多年数据分析，积累了很多经验，有一整套自己的数据计算体系、数据分析系统、数据清洗、数据压缩、数据展示等，在数据应用方面能很好的帮助业内的大数据平台、数据采集等伙伴。
2、建立数据分析团队不一定能找出问题
如果对业务不了解，只能给出机械的分析结果，并不能有效地指导业务发展。
做分析的目的是为了引导一个正确的、有效的、可实施的结果。但是不懂业务的数据分析经常性的问题是：通过数据分析得到这些趋势！而这些趋势是否有用是否真实的反映业务的实际状况，则不得而知！原因在于分析师一般会基于报表维度的数据给出分析结果。
由于各个部门业务不同，他们对数据的需求也不同。不同的业务系统的数据又放置于不同的数据库，甚至数据结构也不一致，分析团队也可能不清楚具体业务部门在整个业务运营中做了什么样的活动。
比如在IT运维行业，很多的事故都是由于某些事件发生带来的结果，如果不能把事件和各类告警信息进行关联分析，而只是分析告警信号，在实际的运维中也很难给出具体的处理方式。运维的目标“监、管、治”其实是很难实现的。甚至是不可能的。
而在互联网和电商等行业的运营中，可以简单的看到某些数据发生的变化，比如营收突变。但是是什么事件带来的呢？真正的用户行为是什么样的？在哪些时段、在哪些场景下、什么样的营销手段会触发这些数据的变化？这些变化还可能与行业格局、行业趋势、业务现状、竞争对手、销售政策、主要威胁、相似手段、可借鉴措施、数据波动……等等都有关联。
数据分析团队要有能力把各类数据综合分析，把事件、关联数据、非关联数据、结构化数据、半结构化数据，甚至企业的各类文本进行综合计算和分析后才能给出。
所以，建立一个良好的数据平台，能灵活的处理各类不同数据源、异构数据库、从脏数据源中提取有用的数据、快速的清洗、整理、上载和存储就十分的必要，真正的帮助数据分析与业务的结合，给出具有指导性的建议和预测。
3、漂亮的分析报表展现不是给出最优的解决方案的必要条件，更不是充分条件
近来报表软件、商业智能、OLAP、数据分析等概念非常火热，作为关键基础环节的报表软件在市场上也是层出不穷，让人眼花缭乱，国内外的加起来细数一下，大概有二三十种之多。这些产品看起来实现的功能都差不多，那么，应当怎样选一款满足自己需求的报表软件?在选型过程中不被厂商的宣传和演示牵着鼻子走？
“销盟”经过与众多的用户和集成商沟通后发现，许多用户在选择报表软件时会有许多认知误区。
最常见的误区就是报表中间件和报表平台分不清楚，在演示过程中被平台类产品丰富的功能吸引，但其实需求却是要在项目中嵌入使用的报表工具。一方面可能为多余的功能买单，另一方面还会带来难以集成的问题，多余的功能也如鸡肋一般，很难发挥作用。
看似重要的美观性其实跟报表本身和报表工具的直接关系不大。图表是用来直观的展示数据，方便管理者在纷杂的数据中快速判断出业务数据的分布、趋势、占比、同比、环比等变化规律，支持管理者决策。
图表类型的数量及是否支持钻取、联动等功能是评估报表工具的重要指标之一。美观性对于报表当然很重要，但由于有众多开源图形技术，这方面的比拼就已经不再是报表工具的重点了。分析师给出漂亮的报表图形的展现并不能实质性的帮助驱动业务本身。
与其花时间精力去追求报表的抓人眼球的漂亮的那些华而不实的东西，不如回到“专而精”的业务分析本身，与其用美观性衡量报表跟图表，不如衡量报表工具对第三方图表的集成性更有效。
销盟的专家们认为，分析结果需要的是一个有针对性的业务的最优解决方案，而不是简单的漂亮图表。要想得到这样的结果，必须关注以下几个问题：
多数据源、分析维度足够才能支撑结论
分析维度有很多，各个行业、各个部门需求都不一样。比如，在业务性能管理领域，目前来看，所有的分析,基本上就是从端口的流量比对这一个维度来分析的，这样的结果最多是给到一个某环节的网元有性能问题这样一个结论。但是事实上，还有自定义事件、流量中包含的业务数据等等，如果只是基于某一维度去分析，就没有足够的参数去做限定，那么也很难去支撑并决策分析结果，更谈不上IT驱动业务了。
报表展示也应该与时俱进，支持多样性数据源，信息化应用越来越广泛了，ERP、CRM、OA、BPM等系统各种上马，企业数据越来越大，报表也通常需要取到多个数据库多个数据表的数据。所以最直接也是效果最好的方法，就是报表工具直接支持多数据源关联，而不是先ETL做数据仓库等工作之后再取数。
数据质量本身和解析数据的实时性、速度（效率）会严重干扰分析结果
分析结果能否有效地反映业务发展情况，并给出有效优化策略的关键因素便是数据质量、解析数据的实时性和速度。
这些方面不过关，那么基于数据给出的分析结果便会大打折扣。比如在日志管理领域，大量的废数据、脏数据；在互联网行业，很多app，都或多或少有过被刷量的情况；在物联网行业，传感器的数据更是脏数据多多；在目前的呼叫中心行业，要求双录（录音和录屏），也存在大量的无用数据……。这种数据不仅给公司造成财务上的浪费(投资很多无用的存储空间)，浪费大量的人力去筛选，同时也会影响正常数据，造成数据分析的困难。
报表展示的性能与容量
决定报表工具生死的往往是性能和容量指标，而这是决定分析结果的生死的重要指标。随着大数据时代的到来，选择报表工具时，性能指标越来越被用户所关注。网络，报表层等都可能成为性能瓶颈。而一款好的报表工具应该尽量绕开可以避免的瓶颈，如报表层就有很大的优化空间。
对于报表内常用的多数据源对齐，排名等采用更高性能的Hash算法。报表提供缓存机制，包括模板缓存、结果缓存、分页缓存等多种方式，提升报表服务器性能。提供集群缓存同步机制，实现负载均衡的服务器之间跳转访问时的缓存自动同步。
集成性和开放性
有些报表工具（特别是国外的产品）功能很强大，独立使用时十分的顺溜，但在国内跟各个业务系统集成的整体氛围下就水土不服，缺失集成性。
方便易用的集成性要求报表展示能对应用程序提供友好全面的接口，方便用户与各业务系统无缝对接。能够适应各种环境，能以类库方式完全集成到应用系统中。这样不仅可以提高报表获取数据时与应用系统数据交互的性能，还可以利用服务器的负载均衡等能力提升用户体验。
灵活的开放性才能适应用户更多特殊的需求，不管是集成商还是终端用户都可以通过丰富的API接口，全面地对报表应用进行各种操作，以需要的方式灵活地使用报表。满足用户各种个性化需求的自定义。
如需了解相关详细内容，可直接与联盟秘书处联系。
分享是一种美德，转载请注明来源和出处！
“相关文章阅读”
从天山上来的润乾，从一阳指到六脉神剑，实现报表到计算的转身（上）
从天山上来的润乾，从一阳指到六脉神剑，实现报表到计算的转身（中）