生存挑战：传统IT运维如秋后的蚂蚱，何去何从？（上） / 开普饭

关键词：IT运维、Devops、Bizdevops、AIops、自动运维、智能运维

运维屌丝逆袭的时代

大数据、物联网、人工智能等概念之间相互交叉，相互促进着。现在大家都知道，物联网会产生海量数据、机器学习会把这些数据加以分析产生更好的效果。

云计算时代给运维屌丝有了逆袭的机会，原来运维人员不受重视，经常被誉为“修电脑的”，多数处于IT分工的底层。但是，今天不同了，在云时代，开发和运维的一体化转变，使得运维人员变得尤为重要，在历史上从来没有这么重要过。

不过，思维的改变十分的重要，否则，屌丝还将是屌丝！运维人员需了解一些开发运维DevOps新趋势，来应对飞速的变化。

作为云时代的运维人员，需要了解一些运维新名词和术语，更会有越来越多的先进内容，它们包括：

新名词：

Scrum, Agile, Kanban---敏捷性、灵活性、看板

TDD、BDD、DDD---测试驱动设计、行为驱动设计、域驱动设计

CI, CD, Cloud---持续概念、持续部署、云

DevTestSecFinChatOps---开发一体化、测试运维、安全运维、财务金融运维等

新术语：

DevOps---是一种开发、测试、运营、维护部门之间沟通、协作与整合的软件过程、方法与系统。

微服务 Micro Service: ---个单纯的小型的有意义的功能。

容器 Container---容器是用来存储和组织其他对象的对象。

Docker---一个开源的应用容器引擎

运维分为两大圈子，它们可以被称为“传统运维圈”和“互联网运维圈”。

传统运维圈的从业人员，其知识体系普遍比较高逼格。不论其学历背景还是再教育背景通常比较高大上，相关商业产品的培训认证体系也相对完善。他们通常玩过大型机、VMax、Z/os、Oracle、ITSM、PMP、ISO、PCI、加密产品、数据库等等一系列高逼格的产品。

互联网运维圈的从业人员，更像是屌丝，来历千差万别，既有大神，也有小白。他们通常LAMP/LNMP基础扎实，写得一手好脚本，练得一身全栈功夫。很多大神往往不是通过各种培训出来的，都是在各种磨练中跌打滚爬出来的。

但是云时代的到来，互联网产业的迅猛发展，互联网运维圈的人员显得更加适应于这个时代的需求，他们的薪酬也普遍高于传统运维从业人员。

哈哈，屌丝在这一阶段实现了完美的逆袭！

在2016年，有一些值得运维人关注的动态：

Apache虽然依然是全球范围内使用数量第一的Web服务器；但是Nginx的热度持续升高，据调查报告显示，繁忙站点更倾向于选择Nginx，这一现象在中国尤其显著值得关注。
Google公布了Web开发新协议QUIC（Quick UDP Internet Connections），该协议使用UDP作为底层传输协议，旨在通过各种方式减少网络延迟。此外，Google已将Chrome特性在非安全站点上禁用，同时新的特性将只支持HTTPS。Chrome和Firefox所给出的数据都表明，现在全世界范围内超过一半的网页采用了HTTPS。
自动化配置管理工具常见的是Ansible、Chef、Puppet、SaltStack。其中Puppet已问世十一年，相对而言更为成熟也有广泛的平台支持；同时，Puppet连续多年做出品全球范围的DevOps年度报告。而Ansible虽然是最年轻的项目，但是它具有清晰的可读语义并且受关注度持续上涨。截止2016年12月末，Ansible在GitHub上已经拥有20397颗star，远远超出Chef（4583颗）、SaltStack（7195颗）、Puppet（4281颗）。Ansible作为后起之秀，执行SSH无须agent，对云设施支持度好，已经引起了广泛关注。
以往运维人常用的语言有shell、perl、python、ruby；但是运维开发增大了多样性，在一些公司运维开发工作需要使用如go、Node.js等。随着DevOps、SRE的概念推广和一线互联网公司的实践落地，业界已经形成一种认识---运维工作人员需要学习掌握开发能力。

全球IT运维行业发展的预测

Gartner最近发布了“影响基础设施及运维的10大技术趋势”，引起了广泛的讨论和传播。DavidCappuccio是Gartner的副总裁兼著名分析师，他是Gartner基础设施团队的研究主管，负责企业数据中心战略及趋势等方面的研究工作。文章中阐述了“随着企业组织竭力融合IT技术和运维技术，推动数字化业务创新，基础设施及运维（I&O）领导人应专注于支持这些项目的10大技术趋势。”

影响I&O的这10大技术趋势分为三个方面：战略层面、战术层面和组织层面。这些趋势与社会和商业的诸多方面相关联，将直接影响IT部门在未来五年如何为业务部门提供服务。IT领导人要了解这些趋势是怎样出现的，它们对IT运维又会带来什么样的的连锁效应。

战略层面

第1个趋势：逐渐消失的数据中心

由于大多数计算能力改由IaaS提供商提供，企业和供应商需要专注于管理和充分利用混合起来的本地架构、异地异构、云架构和非云架构。

第2个趋势：互连架构（InterconnectFabrics）

确保具有软件定义、动态和分布式的特点，能够动态地监控、管理和分配工作负载，并通过API迅速提供LAN和WAN服务，这为应用场景打开了广阔的天地。

第3个趋势：容器、微服务和应用程序流

容器（比如Docker）和微服务是云开发的新型应用平台。微服务可以独立部署和管理；一旦实施（可能实施在容器里面），它们与底层操作系统几乎没有什么直接的联系。

战术层面

第4个趋势：业务驱动的IT

多达29%的IT支出来自业务部门，而不是来自传统IT，这个数字在未来几年还会增加。业务驱动的IT主要旨在为精通技术的业务人员提供这样一种手段：迅速落实新想法，同时尽可能轻松地适应或进入新市场。业务驱动的IT对企业有实实在在的价值，IT的角色应该是与业务部门重要的利益相关者建立起关系。

第5个趋势：数据中心即服务

IT需要创建一种数据中心即服务（DCaaS）模式，IT的角色是以合适的步伐、合适的价格，从合适的提供商那里提供合适的服务。IT成了服务的代理人，而不仅仅是硬件的提供者。

IT可根据业务需求来划分应用程序组合，支持DCaaS，决定如何提供该服务---是通过传统的本地提供，还是通过IaaS、PaaS或SaaS来提供。基于业务需求，一些服务可能保留在本地，而其他服务将迁移到远端，从而提高IT的敏捷性，同时减少占地面积。

第6个趋势：搁置容量（StrandedCapacity）

本地数据和云端都能找到搁置容量，也就是已付费但没有实际使用的容量。IT不仅仅关注正常运行时间和可用性，还要关注容量、利用率和密度。解决这个问题，就可以延长数据中心的使用寿命，减少提供商的运营支出。

第7个趋势：物联网

随着大量设备不断或定期将数据流传送到全球各地的企业、政府部门和机构，物联网将改变数据中心的设计和管理方式，需要物联网架构师，负责关注物联网和数据中心的长远战略。

组织层面

第8个趋势：远程设备管理

对建有远程站点/办事处的企业组织来说，一个日益流行的趋势是，需要集中管理远程资产。由于企业专注于为区域或远程站点提供微型数据中心支持，加上边缘计算环境日益需要满足针对特定地理位置的计算需求（比如物联网），这种需求显得更重要了。

业务部门迅速采用物联网解决方案已带来了一种新型的资产：连接传感器。这种传感器可能需要更新固件或定期更换电池，这就需要资产跟踪和管理系统在细节和控制性方面达到一个新的水平。

第9个趋势：微型和边缘计算环境

微型和边缘计算执行需要较近的边缘服务器作出高速响应的实时应用程序。通信延迟缩短到几毫秒，而不是几百毫秒。它将用户设备上的一些计算密集型处理任务卸载到边缘服务器，使应用程序处理不再依赖设备的能力。

第10个趋势：IT领域的新角色

随着IT逐渐发展、涌现新的趋势，基础设施及运维方面将需要一些新的岗位。

首先是IT云代理人，负责监控和管理多个云服务提供商。

其次是物联网架构师，负责了解多个物联网系统对数据中心的潜在影响。该架构师还将与业务部门合作，确保其闭环物联网解决方案与集中式物联网架构兼容，或确保使用通用的协议和数据结构。

再就是整合专家（整合团队），负责确保整合新的项目，比如云计算、边缘计算和物联网等项目。

中国IT运维行业发展前景分析

以银行为例，银行云计算时代将促进 IT 运维服务进一步发展。

据数据统计，2016 年我银行 IT 运维市场规模为 347.5 亿元，预计到 2020 年市场规模将达到 569.3 亿，2016-2020 年 CAGR 为13.1%，对比硬件和软件 7.6%和 10.1%的增速，IT 服务在未来几年将有更多的投入增量。

银行系统云迁移在前期将为以数据中心为代表的基础硬件整合以及软件系统上云带来更多市场空间。从长期来看，在完成巨大规模体量的硬件和系统迁移后，派生的运维服务将成为银行 IT 投入的主体。

从种类占比来看，IT 服务所占银行 IT 总投入的比重呈持续上升状态，未来五年将从 38%提升至 42%。而未来银行业信息科技十三五规划的逐步落实，尤其是云迁移和银行私有云的大规模投入，将派生更多的运维服务空间。基于已有市场空间，结合政策对银行系统上云的加持，认为 IT 服务比重将有望突破 50%。

可以预测，2020 年银行业的IT 运维市场规模将达到 569.3 亿：

另外，银行业IT 服务占比正不断提高：

传统的银行 IT 运维模式以人力巡检、定期更新维护为主，不同于以小型机为主要计算资源的封闭时代，云计算所带来的开源和规模化使银行数据中心规模急剧扩展，而其所需要的运维人力成本也相应提升。

银行系统云化对 IT 运维的挑战主要体现在三点：

1、银行系统云化的大潮将促使传统 IT运维手段的更新换代，从过去巡检为主的运维手段转为平台化的统一运维管理，对于运维系统的设计建设将是服务厂商新的投入点。

2、面对云计算数据中心数以万计的硬件设备，确保每台机器的信息安全是一项艰巨任务，其中涉及的对监控系统的设计以及人力的投入将大大增加整体运营工作的复杂度。

3、传统层面的运维人员接触的都是硬件，而在云计算时代，运维人员需要能够自动化地部署应用程序和所有支持的软件和软件包并完成系统更新和硬件维护等一系列的操作。这就在技术层面对运维人员有了新的要求。

其他行业的IT运维的市场可以依此类推，但各有一定的差异。基本上来说，IT运维市场的未来发展趋势可以用四个方面来表述：智能化、自动化、可视化、业务关联化、态势感知和用户行为分析。

趋势一：智能化

云计算的迅猛发展给 IT 基础架构提供了更多的选择，云架构和传统架构逐渐融合。这在一定程度上提高了运维服务的要求，运维服务需要从单纯的人工模式走向自动化、智能化,更需要解放人们的双手和大脑，这也是数据中心从小规模走向大规模的必然要求。

随着 IT软件系统越来越复杂和多样化，传统 IT 运维软件“救火式”的被动故障处理能力已经严重影响了企业业务的发展，只有智能化的运维方式才能维持企业 IT 环境的安全、稳定。智能化运维软件的主要功能则是通过预测分析模型，自主定位问题，从而形成高度智能化的运维体系。

这里的智能化包括很多人说的根源定位等

趋势二：自动化

为了整合有限的 IT 资源和人力，以快速响应业务用户需求，来满足云计算时代的业务变革需求是实现 IT运维软件自动化必不可少的步骤。自动化技术能帮助 IT人员解决很多繁琐的日常维护，可以使故障处理流程变得规范、迅速、高效，为企业的业务变革提供良好的技术手段和基础。

趋势三：可视化

传统的数据已经逐渐向云端演进，无论是从基础环境监控方面来看，还是从业务优化管理上来说， IT运维管理都将面临着一系列的挑战，特别是以业务管理为核心，那么如何让 IT运维软件适应目前灵活性较强的平台运行状况，这些问题都集中反映出来 IT 服务保障的新需求---可视化。运维软件的可视化可以做到屏蔽运维提供的服务，并向用户提供一种高效、透明化的优质服务。运维的自动化最终要实现可视化，复杂的运维工作流必须通过可视化来表达。

趋势四：业务关联化

运维的根本目的是业务的稳定，而不是仅仅关注基础设施和应用软件的稳定性。现代的IT技术已经可以从流量的获取和识别基础上，清晰的知道系统中跑的是什么业务，它与各个网元的关系，各个网元的稳定性和性能会对业务产生什么样的影响，或者，反过来，当某一业务发生性能下降时，基于业务拓扑和网络拓扑能及时的发现可能对其他什么业务产生影响。然后，自动的进行故障定位和排查，或者，自动的调整业务拓扑，将业务恢复到正常的状态，等等

趋势五：态势感知

能够引起基础设施和业务态势发生变化的运维要素进行获取、理解、显示以及最近发展趋势的顺延性预测，进而进行决策与行动。

趋势六；用户行为分析

能够对系统内所有的终端用户的操作行为，包括：键盘、鼠标、屏幕等行为进行记录、分析和管控，确保系统的正常运行。

包括，基本的安全策略和审计等等。

中国特色：IOE架构和开源系统架构（去IOE）

企业的IT环境，总有一个系统架构层次，所有的运维大体都围绕着这个系统架构上的每个网元及整体进行。

运维体系架构从某种角度可以划分为如下两种：

商业封闭式系统架构（IOE架构）
开源系统架构（去IOE架构）

通常将围绕商业封闭式系统架构（IOE架构）的运维视作传统运维，将围绕开源系统架构的运维视作互联网运维。

商业封闭式系统架构（IOE架构）即以使用IOE（IBM、Oracle、EMC）产品软硬件为主要元素的系统架构。IOE架构以纵向扩展为特点，通过增加CPU、内存、扩展柜、冗余设备等方式来提高处理能力及稳定性。该架构的处理能力主要取决于单台（套）设备（系统）的较大扩展能力，很难通过增加设备（系统）数量来增加处理能力，换句话说该架构很难通过扩大集群规模的方式来解决问题。

随着纵向扩展的规模增大，它的实施技术难度、管理复杂度以及隐患风险都会成比例大幅上升。

基于IOE架构的典型企业如：金融业、电信业、能源业、交通运输业。

IOE型系统架构的服务器多使用小型机、大型机；数据库系统往往会使用Oracle；存储则多使用知名品牌的中高端存储阵列、带库等设备。服务器与存储之间多使用SAN存储网络。服务器、存储等硬件本身往往就是双冗余的，线路连线也都是双冗余的，而且设备性能指标往往非常好，例如：一台普通中端的Power 7系列服务器可以轻松划分出若干个系统分区或者一二十个虚拟机系统。

开源系统架构是以使用廉价PC服务器、开源产品技术为主要元素的系统架构，以横向扩展、分布式部署为特点。常通过向集群中增加单机设备资源解决存储空间、性能以及稳定性问题，其集群规模可以小到两三台PC服务器，也可以大到上万台。对于数据库，可以通过分布式集群方式解决数据库扩展性的问题。另外非结构化数据库及分布式文件系统在处理非结构化数据的存储与使用方面也很灵活方便。

基于开源系统架构的典型企业如：以BAT为代表的众多互联网企业。

开源系统架构中使用了CDN和反向代理以提高网站性能。例如：服务器可能部署在北京，对于北京及周边用户来说访问是较快的，而对于远离北京的用户访问则感觉较慢，因为数据传输时间比较长。对于这种情况，常常使用CDN解决，CDN将数据内容缓存到运营商（或自建CDN）的机房，用户访问时先从最近的CDN机房获取数据，这样大大减少了网络访问的路径。对于反向代理，当用户请求到达时首先访问反向代理，反向代理服务器将(如：Varnish)缓存的数据返回给用户，如果没有缓存，才会从源站服务器获取，这减少了获取数据的成本。

当然对于海量访问请求，或庞大集群架构，则就需要分多层，综合运用上述负载均衡以及代理（反代理），同时可能需要引入Zookeeper等功能以协调（服务）任务调度。

典型IOE架构图典型开源系统架构图

从上述架构简析中，我们便会感知到两种运维体系的巨大差异。对于上述基于IOE架构的传统运维体系，对比基于开源架构的互联网运维体系，形成了当前两大运维阵营。

而基于开源架构的互联网运维聪Gartner的报告中也可以看到是一个趋势，传统的运维企业还能走多远呢？

（未完待续）

分享是一种美德，转载请注明来源和出处！