MQ选型,究竟要考虑哪些因素?

架构选型,是架构师的必备能力,要构建满足企业需求的架构,自然需要匹配的组件。
成熟系统的构建,最不能缺少的一环就是消息队列。消息队列的概念看似好懂,但落实到复杂问题的解决,则非常考验内功。比如:
(1)如何评估一个消息队列是否适合当前业务?

(2)消息队列的模式选推还是拉?

(3)如何确保消息不丢失?

(4)Kafka、RocketMQ、Pulsar 的原理有何区别?

任何脱离业务的方案选型都是耍流氓,选消息队列也一样,适合自己的才最好。
所以,精通消息队列选型的本质,就是掌握不同消息队列产品的特点。只有从根本上掌握了各个消息队列的优势、特性和适用场景才能让你对系统完备程度的理解更上一层楼。
消息队列,各有什么优缺点?
上图出自国内领先的第三方支付企业拉卡拉,拉卡拉很多系统的业务逻辑和具体的消息系统之间存在耦合,在选型消息队列的过程中,拉卡拉着重比较了 Kafka、RocketMQ 和 Pulsar,最后决定使用 Pulsar。
简单来说,云原生的分布式消息流平台 Pulsar 在性能、兼容方面都有明显优势,大获全胜。
Pulsar 有什么架构优势?
Kafka 的计算与存储不分家,当 topic 数量较多时,它的存储机制必然会导致性能下降。而 Pulsar 采用计算与存储分离的架构,保持性能的同时,更利于长时间存储消息。
Pulsar 官方 Broker 架构图
目前,Pulsar 已经被腾讯、智联招聘、涂鸦智能、中国移动、中国电信、360、达达集团(京东到家)、苏宁、平安证券、华为等各个领域的巨头广泛实践,有全面赶超 Kafka 的态势。
(0)

相关推荐

  • 为什么说 Pulsar 是云原生的消息平台?

    企业中的不同的应用系统共同支撑起了业务的运行,在企业的发展过程中,总会有应用系统需要以设计时未曾想过的方式集成在一起.在过去二十年的实践当中,消息传递技术通过使用消息同步两个系统,同时又能够解耦消息的 ...

  • 再见,Kafka!再见,RocketMQ!

    在开源的业界已经有这么多消息队列中间件了,Pulsar 作为一个新势力到底有什么优点呢? Pulsar 自从出身就不断的再和其他的消息队列(Kafka,RocketMQ 等等)做比较. 但是 Puls ...

  • CTO问我Pulsar替代Kafka的实际意义是什么

    最近一年,Pulsar可谓出尽了风头.社区中一直在鼓吹Pulsar就是用来取代Apache Kafka的主宰地位的.Pulsar提供了一套兼容Kafka的API,让大数据工程师很丝滑不费力的从Kafk ...

  • Redis、Kafka 和 Pulsar 消息队列对比

    刘德恩 云时代架构 一.最基础的队列 最基础的消息队列其实就是一个双端队列,我们可以用双向链表来实现,如下图所示: push_front:添加元素到队首: pop_tail:从队尾取出元素. 有了这样 ...

  • Kafka存储系统在Twitter的应用分析

    当开发者通过API消费Twitter的公共数据时,他们需要获得可靠性.速度和稳定性方面的保证.因此,在不久前,我们推出了Account Activity Replay API帮助开发者们提升他们系统的 ...

  • CTO 观点:如何为企业选择合适的消息系统?

    我是 Big Data Institute 的常务董事,技术评估是我的一项主要工作.我们帮助企业根据业务需求选择并落地最合适的技术.我们不与供应商合作,因此客户尤为看中我们能够客观地评估不同的技术. ...

  • Kafka、RocketMQ、Pulsar全方位对比

    消息队列也通常称为消息中间件,提到消息队列,大部分互联网人或多或少都听过该名词.对于后端工程师而言,更是日常开发中必备的一项技能. 图片来自 Pexels 随着大数据时代的到来,Apache 旗下的 ...

  • 架构师的选择,Pulsar还是Kafka?

    介绍 最近,我一直在研究Pulsar及其与Kafka的比较. 快速搜索将显示两个最著名的开源消息传递系统之间存在当前的'战争'. 作为Kafka的用户,我确实对Kafka的某些问题感到困惑,并且我对P ...

  • 物联网关键技术:消息队列

    消息队列MQ连接物联网与后端系统(业务应用.数据分析) 大量的设备接入物联网平台后,会产生各种类型的事件和数据,对接到后端的各种服务,包括计算和存储.消息队列可以起到异步通信.应用解藕.削峰平谷的作用 ...

  • Kafka淘汰倒计时!这个新一代消息中间件,腾讯、华为都用疯了?

    提起成熟的消息队列,毋庸置疑,大多数人的第一反应一定是 Kafka. Kafka 作为一款明星级产品,能够彻底满足海量数据场景下高吞吐.高并发需求,在短短几年内,已经被阿里.腾讯.百度.字节跳动.Ne ...