支付宝架构师眼中的高并发架构——3

面向服务

n  SOA面向服务架构设计

n  微服务更细粒度服务化,一系列的独立的服务共同组成系统

使用服务化思维,将核心业务或者通用的业务功能抽离成服务独立部署,对外提供接口的方式提供功能。

最理想化的设计是可以把一个复杂的系统抽离成多个服务,共同组成系统的业务,优点:松耦合,高可用性,高伸缩性,易维护。

通过面向服务化设计,独立服务器部署,均衡负载,数据库集群,可以让服务支撑更高的并发

n  服务例子:

n  用户行为跟踪记录统计

n  说明:

n  通过上报应用模块,操作事件,事件对象,等数据,记录用户的操作行为

n  比如:记录用户在某个商品模块,点击了某一件商品,或者浏览了某一件商品

n  背景:

n  由于服务需要记录用户的各种操作行为,并且可以重复上报,准备接入服务的业务又是核心业务的用户行为跟踪,所以请求量很大,高峰期会产生大量并发请求。

n  架构:

n  nodejs WEB应用服务器均衡负载

n  redis主从集群

n  mysql主

n  nodejs+express+ejs+redis+mysql

n  服务端采用nodejs,nodejs是单进程(PM2根据cpu核数开启多个工作进程),采用事件驱动机制,适合I/O密集型业务,处理高并发能力强

n  业务设计:

n  并发量大,所以不能直接入库,采用:异步同步数据,消息队列

n  请求接口上报数据,接口将上报数据push到redis的list队列中

n  nodejs写入库脚本,循环pop redis list数据,将数据存储入库,并进行相关统计Update,无数据时sleep几秒

n  因为数据量会比较大,上报的数据表按天命名存储

n  接口:

n  上报数据接口

n  统计查询接口

n  上线跟进:

n  服务业务基本正常

n  每天的上报表有上千万的数据

冗余,自动化

当高并发业务所在的服务器出现宕机的时候,需要有备用服务器进行快速的替代,在应用服务器压力大的时候可以快速添加机器到集群中,所以我们就需要有备用机器可以随时待命。 最理想的方式是可以通过自动化监控服务器资源消耗来进行报警,自动切换降级方案,自动的进行服务器替换和添加操作等,通过自动化可以减少人工的操作的成本,而且可以快速操作,避免人为操作上面的失误。

n  冗余

n  数据库备份

n  备用服务器

n  自动化

n  自动化监控

n  自动化报警

n  自动化降级

通过GitLab事件,我们应该反思,做了备份数据并不代表就万无一失了,我们需要保证高可用性,首先备份是否正常进行,备份数据是否可用,需要我们进行定期的检查,或者自动化监控, 还有包括如何避免人为上的操作失误问题。(不过事件中gitlab的开放性姿态,积极的处理方式还是值得学习的)

总结

高并发架构是一个不断衍变的过程,冰洞三尺非一日之寒,长城筑成非一日之功 。打好基础架构方便以后的拓展,这点很重要。

转自:https://mp.weixin.qq.com/s/g0hUrgVZZ8iv3cDCxDZxpw

(0)

相关推荐

  • 银行大数据平台架构设计及应用

    [摘要]本文介绍了银行如何借鉴国内外同业的先进经验,同时结合行内实际业务需求,采用大数据平台和配套产品,进行混搭大数据技术架构设计及平台落地. [作者]社区ID kappyy,在某省农信社负责大数据平 ...

  • 生存挑战:传统IT运维如秋后的蚂蚱,何去何从?(上)

    关键词:IT运维.Devops.Bizdevops.AIops.自动运维.智能运维 运维屌丝逆袭的时代 大数据.物联网.人工智能等概念之间相互交叉,相互促进着.现在大家都知道,物联网会产生海量数据.机 ...

  • 何谓架构?

    前言:在这个知识分享的爆炸时代,鉴于java生态的完整和繁荣,各种框架.中间件和工具包供我们使用.连新培训出来的人都知道ssm,微服务.集群.多线程.队列.高并发等技术,技术的间隔性正变得越来越小,仿 ...

  • 支付宝架构师眼中的高并发架构——1

    链接: 前言 高并发经常会发生在有大活跃用户量,用户高聚集的业务场景中,如:秒杀活动,定时领取红包等. 为了让业务可以流畅的运行并且给用户一个好的交互体验,我们需要根据业务场景预估达到的并发量等因素, ...

  • 十几位资深架构师,整理了最新架构师学习体系

    原创懂点代码的程序员2019-12-04 06:36:00 不管是开发.测试.运维,每个技术人员心里都有一个成为技术大牛的梦,毕竟"梦想总是要有的,万一实现了呢"!正是对技术梦的追 ...

  • 38张史上最全的系统架构师技能图谱(高清)

    球迷Long导语 系统架构并不神秘,但也不必陷入到某一个技术领域不可自拔,范围太广,需要结合自身工作需要有针对性的掌握才好. 今天给大家分享38张 史上最全系统架构师技能图谱 文末有38张技能图谱下载 ...

  • 38张史上最全的系统架构师技能图谱(高清)(内附下载链接)

    史上最全系统架构师技能图谱 文末有38张技能图谱下载方式 架构师图谱 Java架构师图谱 微服务架构秘籍 一致性图谱 互联网大流量的方法 安全秘籍 阿里巴巴常用小框架 架构方法论图谱 设计模式秘籍图谱 ...

  • 究竟啥才是互联网架构“高并发”

    高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计保证系统能够同时并行处理很多请求. 一.什么是高并发 高并发(High Concurren ...

  • (精华)2020年10月5日 高并发高可用 分层架构(微服务技术中台)

    首先先上张技术中台架构图 概念 中台概念出现之前,在信息化模式上,前端为支撑业务的应用端,后端为各个应用系统,为前端用户,如:客户.供应商.伙伴.社会,提供服务,但随着市场.用户需求.业务的多变性,底 ...

  • 海量订购关系+8亿高并发访问,咪咕阅读的架构演进之路

    「 技术领导者 」的订阅首选 小欧有话说: 2016年10月28日,EGO杭州分会带领会员走进咪咕数媒,特别邀请到咪咕技术支撑部的多位技术专家,分享快速扩张背后,咪咕的技术探索与演进.其中,咪咕数媒技 ...

  • 架构师系列:如何建设一个高可用的系统

    本文讨论 2 个主题:什么是高可用系统?如何建设? 高可用 什么是高可用系统 符合下述 2 个特征就是高可用系统 单位时间内,系统不可用的时间短 例如:一年内,系统不可用的时间不超过5分钟 若发生系统 ...

  • 服务端高并发分布式架构演进之路

    服务端高并发分布式架构演进之路