Logstash簡介
Logstash是一個功能強大的數據收集、處理、輸出工具,支持從各種渠道收集數據,并輸出到指定位置或其他應用,比如ElasticSearch 。本文將介紹如何安裝Logstash , 并演示如何通過LogStash將示例數據處理后輸出到ElasticSearch 。
下載和安裝Logstash
首先,下載Logstash時需要注意版本與ElasticSearch版本一致 。下載后解壓即可完成安裝 。在使用Logstash將數據導入ElasticSearch時 , 實質上是在ElasticSearch中創(chuàng)建索引,需要使用模板進行創(chuàng)建 。默認模板創(chuàng)建一個主分區(qū)和一個副本分區(qū),需要分布在不同的ElasticSearch節(jié)點上 , 因此ES集群至少包含2個工作節(jié)點 。
數據準備
我們將以下電影信息(CSV文件)導入到ElasticSearch 。每行代表一部電影信息,包含ID、電影名稱和題材 。電影名稱中包含了上映年份,題材使用分隔符”|”包含多種題材:
“`
movieId, title, genres
1, Toy Story (1995), Adventure|Animation|Children|Comedy|Fantasy
2, Jumanji (1995), Adventure|Children|Fantasy
3, Grumpier Old Men (1995), Comedy|Romance
4, Waiting to Exhale (1995), Comedy|Drama|Romance
5, Father of the Bride Part II (1995), Comedy
“`
編寫配置文件–輸入部分
Logstash通常使用`logstash -f `命令 , 關鍵在于編寫配置文件 。配置文件分為輸入(input)、過濾器(filter)和輸出(output)三部分 。輸入相關配置請參考圖示 。
編寫配置文件–過濾器部分
【實戰(zhàn)ElasticSearch–Logstash數據導入與處理】在過濾器部分實現(xiàn)數據處理邏輯,通過一系列過濾器將每行數據處理成所需樣式 。具體配置請參考圖示 。
編寫配置文件–輸出部分
這部分將經過過濾器處理的數據輸出到ElasticSearch,即在ES中創(chuàng)建相應的索引信息 。相關配置請參考圖示 。
執(zhí)行導入操作
在命令行啟動,切換到Logstash解壓目錄下的bin子目錄,執(zhí)行`logstash -f `(注意路徑可能變化),等待命令執(zhí)行完畢(會打印處理結果) 。
查看導入數據
通過Kibana查看剛剛通過Logstash導入到ElasticSearch的數據(即創(chuàng)建的索引) 。步驟如下:
1. 進入Kibana首頁 , 點擊左側工具欄中的“管理”打開管理頁面 。
2. 在管理頁面頂部,點擊“索引管理”進入索引管理頁面 。
3. 在索引管理頁面,可以查看通過Logstash創(chuàng)建的movies索引 。
通過以上步驟,你可以學習如何使用Logstash將數據導入并處理,以及通過ElasticSearch進行索引管理 。
以上關于本文的內容,僅作參考!溫馨提示:如遇健康、疾病相關的問題,請您及時就醫(yī)或請專業(yè)人士給予相關指導!
「愛刨根生活網」www.malaban59.cn小編還為您精選了以下內容,希望對您有所幫助:- 氨芐西林是什么 氨芐西林
- 05年老筆記本安裝Windows7實戰(zhàn)經驗分享
- 電腦小白實戰(zhàn)攻略:手機發(fā)郵件附件指南
- StataMP如何設置觀測識別問題的變量名稱為test
- PS實戰(zhàn)教程:掌握黑白命令,打造高品質灰度圖像
- UG旋轉命令實戰(zhàn)教程:從杯子到完整容器
- 火線精英2實戰(zhàn)訓練模式詳解 實戰(zhàn)訓練模式玩法技巧分享
- 解決WAMP更換PHP版本出現(xiàn)Call to undefined function curl_init錯誤的方法分享
- 造價轉行指南:從基礎到實戰(zhàn)
- StataMP 17設置范圍間隔的方法
