麋鹿堆棧是一套用于實時日志數(shù)據(jù)處理的工具，由Elasticsearch，Logstash，Kibana和Beats組成。 1。Elasticsearch商店和搜索有效的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，非常適合時間序列日志。 2. LogStash使用輸入，過濾器和輸出插件從各種來源收集，解析和轉(zhuǎn)換原始數(shù)據(jù)。 3. Kibana可以通過儀表板，圖表和過濾器進行可視化和探索，而無需復(fù)雜的查詢。 4。節(jié)拍是輕巧的托運人，例如FileBeat和MetricBeat，將數(shù)據(jù)轉(zhuǎn)發(fā)到Elasticsearch或LogStash。他們一起簡化了數(shù)據(jù)攝入，處理，分析和可視化。

麋鹿堆棧是一套流行的工具套件，用于實時搜索，分析和可視化日志數(shù)據(jù)。它由三個核心組成部分組成：Elasticsearch，Logstash和Kibana。每個人在處理過程中起著獨特的作用，并了解大量數(shù)據(jù)。

Elasticsearch - 搜索和分析引擎

Elasticsearch是麋鹿堆棧的核心，在存儲和搜索數(shù)據(jù)方面。這是建立在Apache Lucene之上的分布式，寧靜的搜索引擎。它的主要工作是以結(jié)構(gòu)化的方式存儲數(shù)據(jù)，并允許在該數(shù)據(jù)上進行快速，強大的搜索。

• 它做得很好：

  • 索引和檢索大量結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)
  • 支持全文搜索，過濾，聚合等
  • 通過在多個節(jié)點上分配數(shù)據(jù)來水平縮放

• 要知道的要點：

  • 數(shù)據(jù)存儲為JSON文檔
  • 您可以定義映射（如模式）來控制字段的索引方式
  • 適用于日志，指標(biāo)和痕跡等時間序列數(shù)據(jù)的理想選擇

如果您要處理應(yīng)用程序日志或服務(wù)器事件，則Elasticsearch可以使它們有效地查詢，即使您使用TTABYTES數(shù)據(jù)。

LogStash - 數(shù)據(jù)處理管道

LogStash在達到彈性搜索之前處理數(shù)據(jù)的攝入和轉(zhuǎn)換。將其視為準(zhǔn)備原始數(shù)據(jù)以進行有效存儲和查詢的中間層。

• 主要職責(zé)：

  • 從各種來源（文件，數(shù)據(jù)庫，API等）收集數(shù)據(jù)
  • 解析和將數(shù)據(jù)轉(zhuǎn)換為一致的格式
  • 將處理的數(shù)據(jù)發(fā)送到一個或多個目的地（通常是Elasticsearch）

• 它的工作原理：

  • 輸入插件從來源汲取數(shù)據(jù)（例如，文件，syslog，beats）
  • 過濾器插件修改或豐富數(shù)據(jù)（例如，用于解析日志，重命名字段的突變）
  • 輸出插件將數(shù)據(jù)推到其他地方（例如，Elasticsearch，kafka）

例如，如果您具有來自多個服務(wù)器的不同格式的日志，則LogStash可以將它們標(biāo)準(zhǔn)化 - 淘汰時間戳，IP地址，錯誤代碼 - 并以統(tǒng)一的結(jié)構(gòu)將其發(fā)送到Elasticsearch。

要注意的一件事：雖然功能強大，但LogStash可能是資源密集的。如果您的需求很簡單，則可以考慮FileBeat或MetricBeat。

Kibana - 可視化和探索界面

一旦數(shù)據(jù)進入Elasticsearch，Kibana就可以為您提供一種用戶友好的方式來探索，可視化和監(jiān)視它。這是堆棧的儀表板部分。

• Kibana提供的：

  • 交互式儀表板顯示趨勢，模式和異常
  • 強大的搜索和過濾功能，用于挖掘特定日志
  • 可自定義的可視化量，例如圖表，直方圖，地圖和表格

• 常見用例包括：

  • 隨著時間的推移監(jiān)視系統(tǒng)性能
  • 調(diào)查日志中的錯誤或異常活動
  • 通過保存的儀表板分享見解

您無需每次編寫復(fù)雜的查詢 - 您可以使用點擊工具構(gòu)建可視化，盡管知道某些查詢語法有助于解鎖高級功能。

獎勵組件：節(jié)拍 - 輕質(zhì)數(shù)據(jù)托運人

盡管從技術(shù)上講不是原始麋鹿首字母縮寫詞的一部分，但通常會包括節(jié)拍，因為它們使數(shù)據(jù)收集更加容易。它們是輕巧的托運人，旨在將特定類型的數(shù)據(jù)直接發(fā)送給Elasticsearch或通過LogStash。

• 節(jié)拍類型包括：
  • FileBeat - 用于收集日志文件
  • 公制 - 用于系統(tǒng)指標(biāo)（CPU，內(nèi)存，磁盤使用等）
  • 數(shù)據(jù)包 - 用于網(wǎng)絡(luò)流量分析
  • 審計 - 用于監(jiān)視與安全相關(guān)的事件

Beats在數(shù)據(jù)啟動的機器上運行并有效地轉(zhuǎn)發(fā)數(shù)據(jù)。它們易于安裝和配置，使它們成為發(fā)送日志的首選選擇，而無需在每個主機上運行LogStash的開銷。

因此每個組件都有自己的工作：

• Elasticsearch存儲并搜索數(shù)據(jù)
• logstash轉(zhuǎn)換并豐富了它
• Kibana讓您可視化并探索它
• 首先， Beats有助于將數(shù)據(jù)輸入系統(tǒng)

基本上，這就是麋鹿堆棧一起工作的方式。

以上是每個組件在麋鹿堆棧中的作用是什么？的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！