文章插圖
什么是KafkaKafka基于Scala和Java語(yǔ)言開(kāi)發(fā) ， 設(shè)計(jì)中大量使用了批量處理和異步的思想 ， 最高可以每秒處理百萬(wàn)級(jí)別的消息 ， 是用于構(gòu)建實(shí)時(shí)數(shù)據(jù)管道和流的應(yīng)用程序 。
Kafka的應(yīng)用場(chǎng)景Kafka是一個(gè)分布式流式處理平臺(tái) 。流平臺(tái)具有三個(gè)關(guān)鍵功能：
消息隊(duì)列：發(fā)布和訂閱消息流 ， 這個(gè)功能類似于消息隊(duì)列 ， 這也是Kafka被歸類為消息隊(duì)列的原因 。容錯(cuò)的持久方式存儲(chǔ)記錄消息流：Kafka會(huì)把消息持久化到磁盤 ， 有效避免消息丟失的風(fēng)險(xiǎn) 。流式處理平臺(tái)：在消息發(fā)布的時(shí)候進(jìn)行處理 ， Kafka提供了一個(gè)完整的流式處理類庫(kù) 。Kafka主要有兩大應(yīng)用場(chǎng)景：
消息隊(duì)列：建立實(shí)時(shí)流數(shù)據(jù)管道 ， 可靠地在系統(tǒng)或應(yīng)用程序之間獲取數(shù)據(jù) 。數(shù)據(jù)處理：構(gòu)建實(shí)時(shí)的流數(shù)據(jù)處理程序來(lái)轉(zhuǎn)換或處理數(shù)據(jù)流 。注： Kafka在2.8預(yù)覽版中 ， 采用Raft元數(shù)據(jù)模式 ， 取消了對(duì)Zookeeper的依賴 。
Kafka的版本里程碑版本號(hào)備注0.8引入了副本機(jī)制 ， 成為了一個(gè)真正意義上完備的分布式高可靠消息隊(duì)列解決方案0.8.2新版本 Producer API ， 即需要指定 Broker 地址的 Producer0.9增加了基礎(chǔ)的安全認(rèn)證 / 權(quán)限 ， Java 重寫了新版本消費(fèi)者 API0.10引入了 Kafka Streams0.11提供冪等性 Producer API 以及事務(wù)（Transaction） API ， 對(duì) Kafka 消息格式做了重構(gòu) 。1.0Kafka Streams 的各種改進(jìn)2.0Kafka Streams 的各種改進(jìn)Kafka的優(yōu)勢(shì)高吞吐、低延時(shí)：這是 Kafka 顯著的特點(diǎn) ， Kafka 能夠達(dá)到百萬(wàn)級(jí)的消息吞吐量 ， 延遲可達(dá)毫秒級(jí) 。持久化存儲(chǔ)：Kafka 的消息最終持久化保存在磁盤之上 ， 提供了順序讀寫以保證性能 ， 并且通過(guò) Kafka 的副本機(jī)制提高了數(shù)據(jù)可靠性 。分布式可擴(kuò)展：Kafka的數(shù)據(jù)是分布式存儲(chǔ)在不同broker節(jié)點(diǎn)的 ， 以topic組織數(shù)據(jù)并且按Partition進(jìn)行分布式存儲(chǔ) ， 整體的擴(kuò)展性都非常好 。高容錯(cuò)性：集群中任意一個(gè) broker 節(jié)點(diǎn)宕機(jī) ， Kafka 仍能對(duì)外提供服務(wù) 。Kafka基本結(jié)構(gòu)Kafka具有四個(gè)核心API：
Producer API： 發(fā)布消息到1個(gè)或多個(gè)topic（主題）中 。Consumer API：來(lái)訂閱一個(gè)或多個(gè)topic ， 并處理產(chǎn)生的消息 。Streams API：充當(dāng)一個(gè)流處理器 ， 從1個(gè)或多個(gè)topic消費(fèi)輸入流 ， 并生產(chǎn)一個(gè)輸出流到1個(gè)或多個(gè)輸出topic ， 有效地將輸入流轉(zhuǎn)換到輸出流 。Connector API：可構(gòu)建或運(yùn)行可重用的生產(chǎn)者或消費(fèi)者 ， 將topic連接到現(xiàn)有的應(yīng)用程序或數(shù)據(jù)系統(tǒng) 。例如 ， 連接到關(guān)系數(shù)據(jù)庫(kù)的連接器可以捕獲表的每個(gè)變更 。Kafka的關(guān)鍵術(shù)語(yǔ)Producer：消息和數(shù)據(jù)的生產(chǎn)者 ， 向Kafka的一個(gè)Topic發(fā)布消息的進(jìn)程/代碼/服務(wù) 。Consumer：消息和數(shù)據(jù)的消費(fèi)者 ， 訂閱數(shù)據(jù)（Topic）并且處理發(fā)布的消息的進(jìn)程/代碼/服務(wù) 。Consumer Group：對(duì)于同一個(gè)Topic ， 會(huì)廣播給不同的Group 。在一個(gè)Group中 ， 一條消息只能被消費(fèi)組中一個(gè)的Consumer消費(fèi) 。Consumer Group中不能有比Partition數(shù)量更多的消費(fèi)者 ， 否則多出的消費(fèi)者一直處于空等待 ， 不會(huì)收到消息 。
Topic：每條發(fā)布到Kafka集群的消息都有一個(gè)類別 ， 這個(gè)類別被稱為Topic 。作用是對(duì)數(shù)據(jù)進(jìn)行區(qū)分、隔離 。Broker：Kafka集群中的每個(gè)Kafka節(jié)點(diǎn) 。保存Topic的一個(gè)或多個(gè)Partition 。Partition：物理概念 ， Kafka下數(shù)據(jù)儲(chǔ)存的基本單元 。一個(gè)Topic數(shù)據(jù) ， 會(huì)被分散存儲(chǔ)到多個(gè)Partition ， 每一個(gè)Partition都是一個(gè)順序的、不可變的消息隊(duì)列 ， 并且可以持續(xù)的添加消息 。注：

以上關(guān)于本文的內(nèi)容，僅作參考！溫馨提示：如遇健康、疾病相關(guān)的問(wèn)題，請(qǐng)您及時(shí)就醫(yī)或請(qǐng)專業(yè)人士給予相關(guān)指導(dǎo)!

「愛(ài)刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容，希望對(duì)您有所幫助：

• 交互過(guò)程及區(qū)別介紹 socket服務(wù)端和客戶端的區(qū)別
• 送33朵玫瑰代表什么（生生世世的愛(ài) 33朵玫瑰代表什么意思）
• 做空：最危險(xiǎn)的交易 做空是什么意思啊
• 設(shè)置ip地址的詳細(xì)教程 win10如何手動(dòng)設(shè)置ip地址
• 簡(jiǎn)介后備式ups工作原理和優(yōu)勢(shì) 后備式ups的性能特點(diǎn)有哪些
• 分析這4個(gè)本質(zhì)區(qū)別 筆記本睡眠和休眠的區(qū)別
• 網(wǎng)絡(luò)協(xié)議基礎(chǔ)知識(shí)應(yīng)用 常見(jiàn)的網(wǎng)絡(luò)協(xié)議有哪三種
• 純干貨——史上最全的快捷鍵 刷新快捷鍵
• 八種適合糖友吃的低糖水果 低糖水果
• 我國(guó)最長(zhǎng)的十大河流是哪些？ 中國(guó)最長(zhǎng)的河流