日志分析工具 Top 10 介绍 - 让企业做出数据驱动型决策_fluentd + graylog

我们生活在一个要保留所有数据、记录所有信息的时代。无论是 web 服务器运行时间、JavaScript 错误、数据库查询、CDN 流量、Nginx 错误等等，命名过的你都可以把它记录下来。拥有集中化的日志当然很棒，但你还需要能够对它们进行有效地分析。

日志分析工具

随着越来越多的企业搬向云端，log analytics、log analysis 以及日志管理工具和服务变得愈发重要。DevOps工程师、系统管理员、站点可靠性工程师和web开发人员都可以使用日志来做出更好的数据驱动决策。市面上已有很多不同的日志分析工具，接下来我们来了解一下最流行的那 10 个工具。它们都提供了自己独特的搜索、实时追踪查询等功能。列出的这些工具更多的是日志管理服务，但与查看原始数据相比，它们还提供了更加有效的分析日志的方法。注意：以下顺序不分先后，并包含免费及付费工具。
“将所有日志、指标以及机器事件汇集到一个中心。对分布式环境中正在发生的事情有一个清晰的概述，并在短时间内在大海般的日志中捞出绣花针般的有用信息。” - logmatic

1. Loggly

Loggly 是一家成立于 2009 年的基于云的日志管理和分析服务提供商。他们主要关注于日志管理工作的简易化，致力于 DevOps、SysOps 和工程师不再为日志管理而担忧。他们的部分客户包括 EA、Autodesk、SendGrid、Atlassian、Sony Pictures 以及 Citrix 等等。

Loggly 功能介绍

Loggly 同时有免费和收费计划。Loggly 的分析功能包括根据他们的 dynamic field explorer 对你的日志进行鸟瞰视图查看。你只需要点击几下就可以消除噪音。他们还能提供强大的全文搜索、范围以及布尔等多种查询。你还可以使用他们的 rich views and graphs 轻松地发现你日志中的各种趋向。如果你看到了一个尖刺，你可以迅速追溯到相关日志中的时间点。

2. Logentries

Logentries 成立于 2010 年，它也是一个基于云的日志管理和智能服务，此外，其背后还有一个强大的社区。它主要专注于消除当今分布式环境中管理应用程序和系统的复杂性，并为你的团队和业务提供有价值的日志数据支持。他们的一些客户包括 Discovery Channel、Macy’s、LogMeIn 以及 Parallels。

Logentries 功能介绍

Logentries 同时有免费和收费计划。其部分功能整合了实时跟踪搜索、自定义标签以及上下文视图。通过聚合的实时跟踪检索，你可以进行日志的实时过滤，从而在 web 应用程序和系统事件发生的时候可以有一个更深入的了解。你还可以对重要事件进行自定义标签，以便你的团队可以在之后的时间里查看这些事件。

3. GoAccess

GoAccess 是一款基于终端的快速日志分析器。它的核心理念是在不使用浏览器的情况下快速分析并实时查看 web 服务器的统计数据。它是开源的，在 GitHub 上已有 2900 多颗星并有 200 多个 fork。

GoAccess 功能介绍

由于它是开源的，所以得到了众多人士的钟爱，也正是因为它是开源的，所以它的使用完全免费。它是一款面向使用终端和 SSH 并想快速访问自己数据的用户的工具。你可以轻松地使用它通过生成实时的 HTML、JSON 或 CSV 报告。这里是一个在线 demo。

其他功能还包括增量处理日志、选择日志格式、实时统计信息和预定义的自定义日志格式字符串。

4. logz.io

logz.io 以 ELK 作为服务，提供实时、可操作的日志数据分析。ELK 是一个简单但健壮的日志分析平台，是收费的。他们的客户包括有 Netflix、Facebook、LinkedIn、Cisco 和微软。logz.io 很可能是 Splunk 最有力的竞争者之一了。

logz.io 功能介绍

logz.io 同时有免费和收费计划。对生产问题的故障排除可能是日志分析最常见的使用场景了。他们的接口由 Kibana 提供支持，允许你在数百万条记录中进行检索，以调查并查明潜在的问题。你可以按服务器、应用程序或者任意自定义参数来筛选结果，直到找到问题的根源。如果你正在寻找一个 Splunk 的替代品，logz.io 可以是一个不错的尝试。

5. Graylog

Graylog 是一个开源的日志管理平台，能够检索、分析及报警。他们的客户包括 BCBS、eBay、SAP、Cisco、LinkedIn 以及 Twilio。它在 GitHub 上已有超过 2000 个星以及 300 多个 fork。

Graylog 功能介绍

Graylog 开源所以使用完全免费。当然，他们还有一个收费的企业版。REST API 和灵活的处理引擎，使得它易于解析和充实来自任何数据源的日志。你能够在 TB 级数据中进行检索，甚至可以保存搜索查询以便稍后与你的同事们共享。其强大的向下钻取分析和图表使你可以轻松地查明日志中的问题。

6. Splunk

Splunk 是日志和应用程序管理领域的一个知名品牌。他们在 2003 年起就开始了数据分析和监控方面的研究。他们为很多大型的企业级客户提供了很出色解决方案。

Splunk 功能介绍

Splunk 同时有免费和收费计划。他们的免费计划，Splunk light，可以让你每天最多能处理 500MB 的数据。他们的收费计划取决于你要处理的数据量。Splunk 提供了一个很出色的方式来收集、存储、索引、检索、关联、可视化、分析并报告任何机器生成的数据，以更快、可重复并更经济的方式识别和解决生产中的操作和安全问题。他们提供了强大的向下钻取功能，让你轻松使用点对点查询快速拿到结果。他们的仪表盘和趋势图也提供了一个很出色的办法来定位和猜测可能的趋势。

Logmatic.io

Logmatic.io 是一个日志分析工具，专门用于帮助改进软件和业务性能。发起人在实时大数据软件领域有十多年的经验。他们主要专注于分析“机器数据”。

Logmatic 功能介绍

Logmatic.io 只有每月 49 美元起的付费计划。他们的一些功能包括有创建自定义解析规则的能力，也就是允许软件自动识别样板。可以支持 Apache、Nginx、syslogs、JSON 等。你可以使用类似于 AND、OR 和通配符之类的复杂查询。他们提供了各式各样的图标来定位趋势。

8. Logstash

Logstash 是一款事件及日志管理的开源工具。你可以使用它进行收集日志、分析日志、保存日志以备后用。这款工具往往配合 Elasticsearch 和 Kibana 一起使用。将它们结合使用可以成为日志分析工具的强大组合。它们都可以在 GitHub 上找到：

• elastic / logstash
• elastic / elasticsearch
• elastic / kibana

Logstash 功能介绍

由于开源所以 Logstash 完全免费使用。当然，他们也有一些需要额外功能的付费 license。你可以结合使用 elasticsearch、kibana 和 logstash。kibana 能让你更轻松地浏览 logstash 带来的日志数据，而 elasticsearch 则为你提供了强大的实时搜索和分析功能。

9. Sumo Logic

Sumo Logic 专注于统一和度量的机器学习，以发现对应用需求和客户商机的实时洞察。这个成立于 2010 年的工具的云-本地服务在每天分析超过 100 千兆字节的数据。

Sumo Logic 功能介绍

Sumo Logic 同时有免费和收费计划。它提供了一个叫做机器学习的独特功能。它能使你更快地分析 PB 级的数据并且从中发现一些处理范式。这一工具使用先进的分析方法，通过索引和过滤来帮助理解海量数据。其直观的仪表盘让你通过设置客户预定义的度量过滤器来发现异常。

10. Papertrail

Papertrail 更多是一个日志管理服务，但它也提供了一些很棒的功能使你分析起日志来更快！其客户包括 GitHub、Instacart、Product Hunt 以及 DNSimple。

Papertrail 功能介绍

Papertrail 同时有免费和收费计划。其功能包括直观d基于 web 的日志查看器和强大的命令行工具。他们使用了 REST API 和 S3 的长期存储。如果你是一名开发者的话，你将会很喜欢 Papertrail 做的事情！你可以执行实时跟踪搜索、按时间搜索、简要搜索、保存搜索，甚至可以对日志进行不同的着色。其甚至有一个 OS X 仪表板小插件和你最喜欢的诸如 Slack 和 Zendesk 等工具进行集成。

Fluentd

Fluentd 是又一个开源数据分析工具，它可以让你统一来自多个源头的日志，以便更好、更容易地分析它们。Fluentd 的客户包括 Microsoft、Amazon AWS 以及 Atlassian。

Fluentd 功能介绍

Fluentd 允许你分离多个数据源，如访问日志、应用程序日志、系统日志等，然后将它们统一到一个日志层中。然后你可以将这些日志进行过滤、缓冲并将其路由到适当的系统 (比如 Hadoop、Elasticsearch、AWS 等等)。Fluentd 的用户还可以使用 300 多个插件到他们连接多个数据源的应用中。而它只需要占用 30-40MB 小的内存即可做到这些。

总结

有很多日志分析工具可以帮助您更好地理解日志数据并以更有效的方式对其进行分析。这有助于简化 DevOps 工作流程，并在下次出现问题时为你节省时间。尤其是你最不想做的事情就是花几个小时在无组织的日志数据中寻找你需要的东西。
原文链接：Top 10+ Log Analysis Tools - Making Data-Driven Decisions。