麋鹿堆棧是一套用於實(shí)時(shí)日誌數(shù)據(jù)處理的工具，由Elasticsearch，Logstash，Kibana和Beats組成。 1。 Elasticsearch商店和搜索有效的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，非常適合時(shí)間序列日誌。 2. LogStash使用輸入，過(guò)濾器和輸出插件從各種來(lái)源收集，解析和轉(zhuǎn)換原始數(shù)據(jù)。 3. Kibana可以通過(guò)儀表板，圖表和過(guò)濾器進(jìn)行可視化和探索，而無(wú)需複雜的查詢(xún)。 4。節(jié)拍是輕巧的托運(yùn)人，例如FileBeat和MetricBeat，將數(shù)據(jù)轉(zhuǎn)發(fā)到Elasticsearch或LogStash。他們一起簡(jiǎn)化了數(shù)據(jù)攝入，處理，分析和可視化。

麋鹿堆棧是一套流行的工具套件，用於實(shí)時(shí)搜索，分析和可視化日誌數(shù)據(jù)。它由三個(gè)核心組成部分組成：Elasticsearch，Logstash和Kibana。每個(gè)人在處理過(guò)程中起著獨(dú)特的作用，並了解大量數(shù)據(jù)。

Elasticsearch - 搜索和分析引擎

Elasticsearch是麋鹿堆棧的核心，在存儲(chǔ)和搜索數(shù)據(jù)方面。這是建立在Apache Lucene之上的分佈式，寧?kù)o的搜索引擎。它的主要工作是以結(jié)構(gòu)化??的方式存儲(chǔ)數(shù)據(jù)，並允許在該數(shù)據(jù)上進(jìn)行快速，強(qiáng)大的搜索。

• 它做得很好：

  • 索引和檢索大量結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)
  • 支持全文搜索，過(guò)濾，聚合等
  • 通過(guò)在多個(gè)節(jié)點(diǎn)上分配數(shù)據(jù)來(lái)水平縮放

• 要知道的要點(diǎn)：

  • 數(shù)據(jù)存儲(chǔ)為JSON文檔
  • 您可以定義映射（如模式）來(lái)控製字段的索引方式
  • 適用於日誌，指標(biāo)和痕蹟?shù)葧r(shí)間序列數(shù)據(jù)的理想選擇

如果您要處理應(yīng)用程序日誌或服務(wù)器事件，則Elasticsearch可以使它們有效地查詢(xún)，即使您使用TTABYTES數(shù)據(jù)。

LogStash - 數(shù)據(jù)處理管道

LogStash在達(dá)到彈性搜索之前處理數(shù)據(jù)的攝入和轉(zhuǎn)換。將其視為準(zhǔn)備原始數(shù)據(jù)以進(jìn)行有效存儲(chǔ)和查詢(xún)的中間層。

• 主要職責(zé)：

  • 從各種來(lái)源（文件，數(shù)據(jù)庫(kù)，API等）收集數(shù)據(jù)
  • 解析和將數(shù)據(jù)轉(zhuǎn)換為一致的格式
  • 將處理的數(shù)據(jù)發(fā)送到一個(gè)或多個(gè)目的地（通常是Elasticsearch）

• 它的工作原理：

  • 輸入插件從來(lái)源汲取數(shù)據(jù)（例如，文件，syslog，beats）
  • 過(guò)濾器插件修改或豐富數(shù)據(jù)（例如，用於解析日誌，重命名字段的突變）
  • 輸出插件將數(shù)據(jù)推到其他地方（例如，Elasticsearch，kafka）

例如，如果您具有來(lái)自多個(gè)服務(wù)器的不同格式的日誌，則LogStash可以將它們標(biāo)準(zhǔn)化 - 淘汰時(shí)間戳，IP地址，錯(cuò)誤代碼 - 並以統(tǒng)一的結(jié)構(gòu)將其發(fā)送到Elasticsearch。

要注意的一件事：雖然功能強(qiáng)大，但LogStash可能是資源密集的。如果您的需求很簡(jiǎn)單，則可以考慮FileBeat或MetricBeat。

Kibana - 可視化和探索界面

一旦數(shù)據(jù)進(jìn)入Elasticsearch，Kibana就可以為您提供一種用戶(hù)友好的方式來(lái)探索，可視化和監(jiān)視它。這是堆棧的儀表板部分。

• Kibana提供的：

  • 交互式儀表板顯示趨勢(shì)，模式和異常
  • 強(qiáng)大的搜索和過(guò)濾功能，用於挖掘特定日誌
  • 可自定義的可視化量，例如圖表，直方圖，地圖和表格

• 常見(jiàn)用例包括：

  • 隨著時(shí)間的推移監(jiān)視系統(tǒng)性能
  • 調(diào)查日誌中的錯(cuò)誤或異?；顒?dòng)
  • 通過(guò)保存的儀表板分享見(jiàn)解

您無(wú)需每次編寫(xiě)複雜的查詢(xún) - 您可以使用點(diǎn)擊工具構(gòu)建可視化，儘管知道某些查詢(xún)語(yǔ)法有助於解鎖高級(jí)功能。

獎(jiǎng)勵(lì)組件：節(jié)拍 - 輕質(zhì)數(shù)據(jù)托運(yùn)人

儘管從技術(shù)上講不是原始麋鹿首字母縮寫(xiě)詞的一部分，但通常會(huì)包括節(jié)拍，因?yàn)樗鼈兪箶?shù)據(jù)收集更加容易。它們是輕巧的托運(yùn)人，旨在將特定類(lèi)型的數(shù)據(jù)直接發(fā)送給Elasticsearch或通過(guò)LogStash。

• 節(jié)拍類(lèi)型包括：
  • FileBeat - 用於收集日誌文件
  • 公制 - 用於系統(tǒng)指標(biāo)（CPU，內(nèi)存，磁盤(pán)使用等）
  • 數(shù)據(jù)包 - 用於網(wǎng)絡(luò)流量分析
  • 審計(jì) - 用於監(jiān)視與安全相關(guān)的事件

Beats在數(shù)據(jù)啟動(dòng)的機(jī)器上運(yùn)行並有效地轉(zhuǎn)發(fā)數(shù)據(jù)。它們易於安裝和配置，使它們成為發(fā)送日誌的首選選擇，而無(wú)需在每個(gè)主機(jī)上運(yùn)行LogStash的開(kāi)銷(xiāo)。

因此每個(gè)組件都有自己的工作：

• Elasticsearch存儲(chǔ)並蒐索數(shù)據(jù)
• logstash轉(zhuǎn)換並豐富了它
• Kibana讓您可視化並探索它
• 首先， Beats有助於將數(shù)據(jù)輸入系統(tǒng)

基本上，這就是麋鹿堆棧一起工作的方式。

以上是每個(gè)組件在麋鹿堆棧中的作用是什麼？的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！