FPs

Articles with the elasticsearch tag

ElasticSearch 用于日志记录

EdgeofSanity

  • 原文地址
    • http://edgeofsanity.net/article/2012/12/26/elasticsearch-for-logging.html
  • 已获得原文作者翻译许可,本文遵循原文许可协议。
  • 原文发表时间:2012-12-26

在我工作中,我们在Web 前端搜索上使用ElasticSearch。性能至关重要,对我们而言,大多数的数据是静态的。
我们每天更新搜索索引,不过用旧的索引跑几个星期也没问题。这个集群大部分的流量是搜索;这是一个“重读”的集群。一开始的时候我们有一些性能上的小问题,
不过我们通过和ElasticSearch 的Shay Bannon 密切合作解决了这些问题。现在我们的前端集群非常可靠,灵活,和快速。

我目前的工作是部署一个符合规范,同时也非常有用的中心化的日志基础服务。这个日志基础服务的目标是尽可能的实现Splunk 的功能。我之前写的一篇关于日志记录的文章解释了我们为什么决定不用Splunk

评估了一些选择之后,我决定使用ElasticSearch 作为这个系统的后端存储。这个集群的类型和我们之前部署的用于大量搜索的集群非常不同

译文
EveryCloud 贡献的一篇俄语译文

索引设计

两个流行的开源日志分发系统是Graylog2LogStash。在写这篇文章的时候,稳定版本的Graylog2 只支持从单一的索引读/写。正如送之前文章中指出的,Graylog2 存在很多严重的问题。0.10.0 版的Graylog2 将包含联合多个索引的能力。然而,我已经在LogStash 的索引上有了一些经验,因为之前它是唯一的选择。

为了尽可能得充分利用ElasticSearch 用来做日志记录,你需要使用多个索引。当你滚动更新索引的时候有非常多种方式,不过LogStash 默认的每天滚动更新的方式是最合理的。这样,你会看到下列内容:

  • logstash-2012.12.19
  • logstash-2012.12.20
  • logstash-2012.12.21
  • logstash-THE_WORLD_HAS_ENDED

你可以跟踪每个索引中有多少个文本。在百万或者千万个文本之后滚动更新,或者其他你随意设定的数值之后,但是这样你会给你自己以后带来更多的工作内容。在某些少见的情况下其他的索引方式可能会更高效,但是对于大多数用户来说,一天一个索引是最简单的,也能最有效的利用你的资源。

Continue ->