创新时代：游走在数据天空的“黑天鹅”
关键词：数据计算、数据共享交换、数据治理、数据可视化
直到17世纪，欧洲人认为天鹅都是白色的。但随着在澳大利亚的发现第一只黑天鹅后，这个不可动摇的信念崩溃了。
黑天鹅的存在寓意着不可预测的重大稀有事件，它在意料之外，却又改变着一切。人类总是过度相信经验，而不知道一只黑天鹅的出现就足以颠覆一切。
黑天鹅事件（Black swan event)是指非常难以预测，且不寻常的事件，通常会引起市场连锁负面反应甚至颠覆。
“黑天鹅”事件是指满足以下三个特点的事件：
1、它具有意外性
2、它产生重大影响
3、虽然它具有意外性，但人的本性促使我们在事后为它的发生编造理由，并且或多或少认为它是可解释和可预测的。
黑天鹅存在于各个领域，无论金融市场、商业、经济还是个人生活，都逃不过它的控制。
2016三大黑天鹅事件因为三大黑天鹅事件，也被称为黑天鹅元年！
1、英国退出欧盟。全球金融市场反应迅速且剧烈，英镑兑美元汇率闪电崩盘，跌幅超过1000个基点，触及1985年以来的最低水平，英国首相卡梅伦辞职。
2、特朗普赢得美国大选。出乎了主流媒体和分析人士的预计，对金融市场造成了剧烈冲击。投票当日黄金价格一度暴涨超过50美元，随后由于投机性买盘消退，转头一路暴跌。
3、意大利修宪公投失败。意大利总理伦齐在公投结束后提出辞职，这是继英国退欧之后，欧洲飞出的第二只“黑天鹅”。全球市场震荡。欧元兑美元下跌1.3%至最低1.0505；欧元兑日元则下跌1.5%至119.38。
2010年的电影《黑天鹅》，讲述了一个有关芭蕾舞的超自然惊悚故事。女主角是一个资深芭蕾舞演员，她发现自己被困在了与另一个舞者的竞争状态中。随着一场重大演出的日渐临近，许多的麻烦也随之加剧。并且她不确定竞争对手是一个超自然的幻象，亦或只是她自己出现了错觉。
黑天鹅中提到一个概念，叫做“叙述谬误”。
人们总是试图找到一个逻辑来解释一种现象；然而，对同一个现象，会有上百个完全不同的解释。
但是，很可能让人感到非常遗憾的是，正确的解释可能一个也没有！
创新工作常常是一类黑天鹅事件
笔者在从事数据计算领域时，对此体会颇深。
对于数据计算的理解基本就是从IT基础架构来理解的。传统的数据架构和数据中心已经形成有几十年的时间了。但是，因为这些传统的架构，也恰恰带来了数据计算领域的很多的问题，包括多源异构的处理困难，混合运算的效率、编码的效率低下、信息孤岛的难以驾驭、数据展现（报表）的缓慢等等，如何处理好数据共享、计算效率、代码效率三者的关系一直是一个数据计算领域的头疼问题！
这些年，笔者写了不少文章是关于这方面的，其中在写“数据计算的利器”时就发现：用传统观点理解数据计算的创新是错误的！
现实中，人们总认为专家水平高，而往往是学者把企业往沟里面带；企业决策者往往根据一些专家的建议，按照他们固有的理论和知识，组织一帮程序员从头利用开源或者Java/Sql等语言写一段代码来实现他们眼前的需求。但是随著需求的任何微小的改变，又得从头开始梳理这些代码，费时费力不说，往往还造成新的信息孤岛。
不少专家追求新的技术，数据仓库来了就立即上数据仓库；大数据来了，又忙不迭的上大数据平台；虚拟化来了，不上虚拟化都感到没脸混下去；云计算来了，赶紧向云迁移，否则都无法参加各种会议；数据可视化风头一起，立即搞几块大屏立在单位门厅，否则怎么算是弄潮儿呢？新理论新方法新展示固然重要，而现实中的好办法往往简单、甚至是看似笨拙的，但他必须是灵活开放的，必须是能满足未来发展的，必须是能帮助决策者对业务有预警和预测的，而不是靠堆人的模式实现的。
简单的堆人实现的逻辑，其实就是针对某一事件的定制开发而已，而这种定制开发的本身是不满足业务的未来发展的，也是不能实现良好的数据共享的，新的信息孤岛也会在这一次次的二次开发中不断的形成和堆砌！
老旧的观念，这种观念包括对数据架构的理解、算法的运用等，往往是无法突破数据共享、计算效率的提高、代码效率的提高这样一个互为牵制的三角关系的！然而，新的问题所处的技术条件是新的，需求是新的。如何在数据计算领域进行创新？难点在于善于抓住条件、用对地方、把握好细节，而不是理论有多深奥。
创新工作恰恰就是这样一类突破老旧观念的黑天鹅！
幸存者偏差（Survivorship bias）
幸存者偏差意思是指，当取得资讯的渠道，仅来自于幸存者时（因为死人不会说话），此资讯可能会存在与实际情况不同的偏差。此规律也适用于金融和商业领域。某企业的数据创新的成功往往被视为“传奇”，它的做法被争相效仿。而其实也许只是因为偶然原因幸存下来了而已。
但是，这种做法确实是现实中最为流行的做法，从各类招标公告中就可以方便的理解这一点，他们几乎就是某一成功案例的翻版，没有自己的业务特点，也是造成很多的中标案例成为摆设的根本原因。在数据中心和数据计算领域更是如此，新的信息孤岛也在新项目的完成后再次形成！
在日常生活中，最明显的例子就是“我亲戚吃这个药好了”或者“我一个朋友去找了这个老中医”等等。不管你的亲戚和朋友和你关系如何好，如何值得信任和尊重，在客观规律面前他们都是等同的。疾病和医药不会因为你的喜好而照顾或者偏袒你的亲朋。
很多人开始认识到这一点！但是一旦进入到工作，进入到一个看似繁复的数据计算领域的时候，他们又忘了！他们又去找朋友介绍的那个老中医和朋友用过的药了！
让死人说话是刑侦专家们常常挂在嘴上的词，《法医秦明》中的秦明是一个会让死人说话的高手！双盲实验设计和详细全面客观的数据纪录都是应对“幸存者偏差”的良方。所谓“兼听则明”就是这个道理，抛掉对个案的迷信，全面系统的了解才能克服这个偏差。
笔者以为，在传统的数据计算领域时普遍存在一种“幸存者偏差”的，这种传统的数据架构是建立在应用于数据绑定的逻辑基础上的，这实际上是传承于过去的IT架构而自然形成的，由于这种强耦合的逻辑，从而造成今天的各种形态的信息孤岛。随着应用系统和需求的越来越多、越来越复杂，这种信息的孤岛也越来越严重。数据仓库、大数据平台、数据湖、云计算的其中一个目的也是为了解决这一问题，但由于需求的变化等原因，新的需求、新的决策、新的预警等商业行为，随时需要新的数据源的支持，来自不同领域的新的数据源具有不同的形态、不同的结构等等，不同的地方实在是太多，如何实时的把这些迥异的数据进行混合运算、把不同应用软件的数据共享给其他应用，这些都对传统的数据结构和数据计算带来了新的挑战---松耦合。
然而，由于“幸存者偏差”的存在造成：有需求的人往往不懂，懂的人往往不懂需求、也不善于表达、甚至因为是新的东西而不愿意去学习，以至于故意去隐瞒。这种普遍性的认识错误不仅存在于普通人，而且存在于一些大名鼎鼎的学者、专家身上！说到这里，这一切又与我国科技界的畸形和病态有关：科技界出名的专家学者往往不是靠做技术上来的，他们中很多人对新的思维和技术往往会首先排斥，仅仅是为了维护所谓的团队等，而一线做技术的人因为很难获得资源因而也难以出名。这些错误的人聚在一起互相吹捧，会让错误越来越不靠谱。
所以，数据架构的创新，是一条艰难的路！
企业的智能转型，首先是企业家考虑的事情，其次才是技术的落地支撑
这些年笔者从事智慧城市、智慧医疗、智慧教育、智慧金融、企业智能制造等领域，跟许多的CEO和CXO交流，谈到企业转型时，我一直提倡一个新的视角：在互联网时代、人工智能时代，企业转型首先要从企业转型升级的层面看，而不是从技术的层面看。
转型升级是企业的战略问题，技术只是战术问题。只有战略层面的思维确定后，才能考虑战术层面的事情。但是，实际上，很多的企业却首先把战术层面的事情放在首位，把企业转型的规划等问题放给了技术层面，由他们提出方案，在做最后的所谓决策。
出于“幸存者偏差”的原因，技术层面给出的建议，常常是无法满足战略需求的。只有确定了转型升级的战略，战略才能为技术的应用奠定基础、提供平台、制定目标。否则技术就不能落地、就难以创造经济价值、就成为企业的成本中心。
事实上，真正用好的技术往往都不难，难的是把技术用在合适的地方。在数据成为金矿的今天更是如此，如何在大数据时代充分理解数据、利用数据，如何做到通过数据洞悉业务和市场的本质，如何快速的预警和预测、如何跨数据源进行综合业务整治等等——这不是一张或若干张简单报表可以完成的，也不是一块炫目的大屏就能解决的，这需要企业领导者去创造，这就是转型升级。转型升级是业务重心的改变、业务流程的改变、市场地位的改变、组织结构的改变、工作方式的改变、管理水平的提升。明确了这些战略的思维后，才需要用技术去支撑它。
重点是：转型升级，首先是企业家考虑企业战略的事情，其次才是技术的落地支撑！这个次序颠倒了，智能就难以推进。如果说每次的IT投入有进展的话，其实也只是包装成“智能化”的自动化或信息化，而不是真正的智能升级。所有的这些，在今天来看，都离不开数据这个基础，如何利用好数据，在海量的饱含垃圾的数据中，从不同的应用系统的数据，从不同的结构的数据，从来自于结构化、半结构化、非结构化的数据中，获得T+0的业务决策资讯等等，而这些内容恰恰是很多的专家不关心或者不在KPI的考核中的，给企业家的建议也就是从目前的技术和团队的智慧给出的改良型的建议，这就是国内多数企业家遇到的困惑。
但是转型需要改革！改革的过程涉及到人的动力、运营改善、能力提升、组织变革等多个方面。数据时代，新的数据技术的应用恰恰是支撑后面这些过程的。
笔者在参与的很多的投标项目时，经常发现有些人在技术线路不清晰的情况下，就谈所谓的“关键技术”。也经常发现有些人在业务需求不明白的情况下，就大谈数据仓库、大数据、数据湖等。
这个逻辑是错误的：你怎么还没有想清楚要去打哪里，就说要采用什么“交通工具”了呢？
在笔者看来，数据计算就是一种“交通工具”！这一“交通工具”因为企业追求“转型升级”才需要。企业不能把“交通工具”本身当做目的，目的是追求企业的竞争力。
但是，很多聪明人看不到这个逻辑。
企业转型面临拐点，需要创新的“黑天鹅”
基于数据的业务预测，有人说还未看到真正实践型的、可操作的指导意见。这种说法其实就是“幸存者偏差”的思想。回归商业的本源，追求质量效率和响应能力。这就是正路。
每个企业有自己的问题和路径，没有通用作法。
大数据、人工智能时代的业务和技术创新要有大的视野，要从企业的需求、社会的需求、国家的需求来看问题。前面谈到的从数据出发，数据与转型升级的关系，其实就是企业高层为技术应用创造需求。
如果企业的眼光仅仅局限于技术，局限于现有架构，就只能做改进和模仿的工作，虽然这种工作也是必要的。
但企业转型面临一个真正的拐点、需要创新来支撑。
我们要重点防止的是：用过去的习惯性认知---这种认知很可能是一种偏见，一种“幸存者偏差”---来制约今天真正的创新。
现在很多的企业招标---这里不谈那些不便浮出水面的那些水面下的冰山的事情---都会首先倾向于大公司，但是其实这是一种谬误，事实上，很多大公司的业务都是外包给一系列的专业的小公司来完成的。
听说过足彩预测的骗局的故事吗？这是一个典型的“幸存者偏差”的案例。
某年的世界杯，小组赛已经结束。这时你收到了一封电子邮件，信中称他发现了一种预测足球比赛结果的科学方法，准确率达到100％！！！为了让你相信他，他决定免费提供1/8决赛的预测结果。然后他预测第一场比赛将是A队胜。
你删了这封邮件，因为你知道可以根据双方的实力、状态等因素猜测比赛结果，但是想要场场都猜对是不可能的。
第一场比赛的结果是A队胜，但你知道这很可能是巧合，乱猜也有50％的可能性猜对。
然后你收到了第二封邮件，又对了。第三封、第四封……全部都说对了。如果是随机乱猜，全部说对的概率仅有1/256，你怀疑此人真的发现了能预测比赛结果的方法。
过后，他又发来一封邮件，要你向他的支付宝转1千，然后才告诉你下一场比赛的预测结果。犹豫片刻，你把钱交了，得到预测结果却和比赛结果不一致，而你再也没有收到他的邮件。
事实上，这只是一个低成本的骗局。只要买一份含500万个电子邮件的名单，给其中的一半发邮件预测A胜，另一半预测B胜。根据比赛结果，再把预测成真的那一半分成两半，分别预测C和D胜。依此类推，最终总有人获得场场准确的预测结果。
如果收到的邮件，恰巧是全部预测都是对的，如果你相信了，那么，此时，幸存者偏差就出现了。你就是那个幸存者，你不知道他是用如此简单粗暴的方法把你筛选出来，你认为他的的确确找到了那个方法，想着你可以凭借这个机会大攒一笔，那你就错得离谱了。
前文提到的招标的大公司倾向性，其实就是这个故事的另一个侧面的体现。由于大家都有这样的想法，所以大公司做了很多的案例，他呈现给你的只是浮在水面上的冰山一角，而那些不成功的、不便告诉你的外包等沉在水面下，是你看不到的！你得到只是一种偏见！
现实中，“幸存者偏差”明显更偏好于我们面临的重大人生选择、工作决策。这些情况，如果被幸存者偏差（或其变种）蒙蔽了双眼，抱憾终身也并不为过。
在大数据时代，这种偏见已经越演越烈了。动不动就上的大数据平台、数据湖等已经成为了那些“交通工具”，尽管还不知道目的地，但已经选好了“交通工具”。
在大数据时代，我们需要在确定企业转型升级的目的（战略）后，从数据的角度着手，在做好数据共享、数据治理的前提下，再考虑数据的整体架构和数据的呈现模式。
那些动不动就谈特定技术的发展趋势、谈国外先进企业怎么做的，都是模仿思维的痕迹，甚至是对企业业务好不相干的技术探讨。
真正的创新是面向需求、面试市场，而不是看别人怎么做。有了自己独立的思想，才会有真正的创新。
面对发展的拐点，企业的转型升级创新必须开始“玩真的”了。
数据计算领域一定会产生必须面对的一只“黑天鹅”，它将带来大数据、人工智能时代的巨大的变化。这只“黑天鹅”带给企业管理者的一定是能透视企业业务的全局，能从多源异构的数据中实时的反映业务的实质，帮助企业管理者回归全局，而不是仅仅在易得性的数据，开启上帝视角。
🔥🔥🔥注意啦，现在.......
IT圈最有料的“ICT销售和大客户联盟”（微信ID：ICT-League）