FPs

Articles with the elasticsearch tag

ElasticSearch 用於日誌記錄

EdgeofSanity

  • 原文地址
    • http://edgeofsanity.net/article/2012/12/26/elasticsearch-for-logging.html
  • 已獲得原文作者翻譯許可,本文遵循原文許可協議。
  • 原文發表時間:2012-12-26

在我工作中,我們在Web 前端搜索上使用ElasticSearch。性能至關重要,對我們而言,大多數的數據是靜態的。
我們每天更新搜索索引,不過用舊的索引跑幾個星期也沒問題。這個集羣大部分的流量是搜索;這是一個“重讀”的集羣。一開始的時候我們有一些性能上的小問題,
不過我們通過和ElasticSearch 的Shay Bannon 密切合作解決了這些問題。現在我們的前端集羣非常可靠,靈活,和快速。

我目前的工作是部署一個符合規範,同時也非常有用的中心化的日誌基礎服務。這個日誌基礎服務的目標是儘可能的實現Splunk 的功能。我之前寫的一篇關於日誌記錄的文章解釋了我們爲什麼決定不用Splunk

評估了一些選擇之後,我決定使用ElasticSearch 作爲這個系統的後端存儲。這個集羣的類型和我們之前部署的用於大量搜索的集羣非常不同

譯文
EveryCloud 貢獻的一篇俄語譯文

索引設計

兩個流行的開源日誌分發系統是Graylog2LogStash。在寫這篇文章的時候,穩定版本的Graylog2 只支持從單一的索引讀/寫。正如送之前文章中指出的,Graylog2 存在很多嚴重的問題。0.10.0 版的Graylog2 將包含聯合多個索引的能力。然而,我已經在LogStash 的索引上有了一些經驗,因爲之前它是唯一的選擇。

爲了儘可能得充分利用ElasticSearch 用來做日誌記錄,你需要使用多個索引。當你滾動更新索引的時候有非常多種方式,不過LogStash 默認的每天滾動更新的方式是最合理的。這樣,你會看到下列內容:

  • logstash-2012.12.19
  • logstash-2012.12.20
  • logstash-2012.12.21
  • logstash-THE_WORLD_HAS_ENDED

你可以跟蹤每個索引中有多少個文本。在百萬或者千萬個文本之後滾動更新,或者其他你隨意設定的數值之後,但是這樣你會給你自己以後帶來更多的工作內容。在某些少見的情況下其他的索引方式可能會更高效,但是對於大多數用戶來說,一天一個索引是最簡單的,也能最有效的利用你的資源。

Continue ->