發布-訂閱模式又稱為觀察者模式（網上也有很多說這兩種模式區別，個人覺得區別不大），在發布-訂閱模式中，主要是兩大塊。就是發布和訂閱，那么發布（publish）和訂閱(subscribe)之前的關聯點就是主題(topic).
舉個生活的例子，午餐定外賣，燕姐（broker）在外賣群里發布了兩個可以點的餐館，都城和輝記（這個可以稱為主題），小明(Consumer)點了輝記的，文哥(Consumer)點了都城的（這個可以稱為訂閱），都城餐館（procer）和輝記餐館（procer）做好了飯菜就回給外賣小哥送過來（消息協議），飯菜到了燕姐那里之后，那么小明和文哥就能去燕姐那里去拿（pull），也可以燕姐送過來（push）。這就是我們生活中最常見的發布-訂閱模式。
從上文中可以得到，外賣群是一個載體(MQ)，承載消息的存儲和傳送，從這里可以引出消息隊列的這個概念，下面，繼續說下消息隊列。
MQ (Message Queue) 又稱消息隊列. 隊列我們都知道，那什么是消息呢？消息指的是同一臺機器的進程之間，或不同機器之間傳輸的數據。最簡單的說，我們一個Rpc 請求，所帶的數據就是一個消息。這就是傳統的通信模式。但是這種模式有很多缺陷，例如當網絡不好的時候，這種調用可能會丟失。
隊列提供了一種一步通信協議，這意味著消息的發送者和接收者不需要同時于消息保持聯系，發送者的消息會存儲在隊列中，直到接收者拿到它。 一般我們把消息的發送者稱為生產者，消息的接收者稱為消費者。由于生產者和消費者之間是不透明的，他們靠中間的紐帶-隊列來聯系，那么在隊列中，是消費者占主動還是生產者占主動呢，其實根據不同的獲取消息的方式可以分為 pull or push 著兩種。按字面上的理解，就是pull 是消費者需要自己控制去隊列拉取消息，而push則是生產者占主動位置，將產生的消息push 給消費者，而這種push 可以點對點，也可以是一對多，而這種一對多的模式就是我們常說的廣播模式
在分布式系統中，消息中間件是非常重要的組件，主要解決應用耦合，異步消息，流量削峰等問題。
常用的消息隊列中間件有 activeMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ
(可參考 買粉絲s://mp.weixin.qq.買粉絲/s/ad7jibTb5nTzh3nDQYKFeg ? 覺得這篇文章寫得很不錯也很詳細)
這次我主要寫的是kafka 這個消息中間件，kafka 是采用pull 這種模式來消費信息的，生產者將消息放入隊列中，而消費者可以通過epull 方法獲取消息來消費，下面還是先說下kafka 的幾個關鍵概念吧
Kafka是最初由Linkedin公司開發，是一個分布式、分區的、多副本的、多訂閱者，基于zookeeper協調的分布式日志系統（也可以當做MQ系統），常見可以用于web/nginx日志、訪問日志，消息服務等等，Linkedin于2010年貢獻給了Apache基金會并成為頂級開源項目
主要應用場景是：日志收集系統和消息系統。
Kafka主要設計目標如下：
同時支持離線數據處理和實時數據處理。
一個典型的kafka集群中包含若干procer，若干broker，若干買粉絲nsumer，以及一個Zookeeper集群。Kafka通過Zookeeper管理集群配置，選舉leader，以及在買粉絲nsumer group發生變化時進行rebalance。procer使用push模式將消息發布到broker，買粉絲nsumer使用pull模式從broker訂閱并消費消息。
Topic & Partition
一個topic可以認為一個一類消息，每個topic將被分成多個partition，每個partition在存儲層面是append log文件。
在Kafka文件存儲中，同一個topic下有多個不同partition，每個partition為一個目錄，partiton命名規則為topic名稱+有序序號，第一個partiton序號從0開始，序號最大值為partitions數量減1
每個partion（目錄）相當于一個巨型文件被平均分配到多個大小相等segment（段）數據文件中。但每個段segment file消息數量不一定相等，這種特性方便old segment file快速被刪除。
每個partiton只需要支持順序讀寫就行了，segment文件生命周期由服務端配置參數決定。
這樣做的好處就是能快速刪除無用文件，有效提高磁盤利用率。
segment file組成：由2大部分組成，分別為index file和data file，此2個文件一一對應，成對出現，后綴".index"和“.log”分別表示為segment索引文件、數據文件.
segment文件命名規則：partion全局的第一個segment從0開始，后續每個segment文件名為上一個segment文件最后一條消息的offset值。數值最大為64位long大小，19位數字字符長度，沒有數字用0填充。
同一Topic的一條消息只能被同一個Consumer Group內的一個Consumer消費，但多個Consumer Group可同時消費這一消息。
這是Kafka用來實現一個Topic消息的廣播（發給所有的Consumer）和單播（發給某一個Consumer）的手段。一個Topic可以對應多個Consumer Group。如果需要實現廣播，只要每個Consumer有一個獨立的Group就可以了。要實現單播只要所有的Consumer在同一個Group里。用Consumer Group還可以將Consumer進行自由的分組而不需要多次發送消息到不同的Topic。
參考：
買粉絲://買粉絲.linkedkeeper.買粉絲/detail/blog.action?bid=1016&hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
kafaka和rabbitmq的最主要區別在于數據的可靠性和吞吐量上；在實際場景中，需要按需求取舍。rabbitmq在金融場景中經常使用，具有較高的嚴謹性，數據丟失的可能性更小，同時具備更高的實時性，基于存儲的可靠性的要求存儲可以采用內存或者硬盤。而kafka優勢主要體現在吞吐量上，雖然可以通過策略實現數據不丟失，但從嚴謹性角度來講，大不如rabbitmq；而且由于kafka保證每條消息最少送達一次，有較小的概率會出現數據重復發送的情況。
請采納，謝謝！
《Kafka權威指南》（Neha Narkhede）電子書網盤下載免費在線閱讀
鏈接：買粉絲s://pan..買粉絲/s/17wJr53y7UtHbj-H7Y2H-4w 提取碼：1234
書名：Kafka權威指南
作者：Neha Narkhede
譯者：薛命燈
豆瓣評分：8.5
出版社：人民郵電出版社
出版年份：2017-12-26
頁數：214
內容簡介：
每個應用程序都會產生數據，包括日志消息、度量指標、用戶活動記錄、響應消息等。如何移動數據，幾乎變得與數據本身一樣重要。如果你是架構師、開發者或者產品工程師，同時也是Apache Kafka新手，那么這本實踐指南將會幫助你成為流式平臺上處理實時數據的專家。
本書由出身于LinkedIn的Kafka核心作者和一線技術人員共同執筆，詳細介紹了如何部署Kafka集群、開發可靠的基于事件驅動的微服務，以及基于Kafka平臺構建可伸縮的流式應用程序。通過詳盡示例，你將會了解到Kafka的設計原則、可靠性保證、關鍵API，以及復制協議、控制器和存儲層等架構細節。
● 了解發布和訂閱消息模型以及該模型如何被應用在大數據生態系統中
● 學習使用Kafka生產者和消費者來生成消息和讀取消息
● 了解Kafka保證可靠性數據傳遞的模式和場景需求
● 使用Kafka構建數據管道和應用程序的最佳實踐
● 在生產環境中管理Kafka，包括監控、調優和維護
● 了解Kafka的關鍵度量指標
● 探索Kafka如何成為流式處理利器
作者簡介：
Neha Narkhede， Confluent聯合創始人、CTO，曾在LinkedIn主導基于Kafka和Apache Samza構建流式基礎設施，是Kafka作者之一。
Gwen Shapira， Confluent系統架構師，幫助客戶構建基于Kafka的系統，在可伸縮數據架構方面擁有十余年經驗；曾任Cloudera公司解決方案架構師。另著有《Hadoop應用架構》。
Todd Palino， LinkedIn主任級SRE，負責部署管理大型的Kafka、Zookeeper和Samza集群。
【譯者簡介】
薛命燈，畢業于廈門大學軟件學院，十余年軟件開發和架構經驗，InfoQ高級社區編輯。譯有《硅谷革命》《生產微服務》等書。買粉絲買粉絲CodeDeep。