详解日志采集工具--Logstash、Filebeat、Fluentd、Logagent对比
|
Logagent 是 Sematext 提供的传输器材，它用来将日记传输到 Logsene(一个基于 SaaS 平台的 Elasticsearch API)，由于 Logsene 会袒露 Elasticsearch API，以是 Logagent 可以很轻易将数据推送到 Elasticsearch 。  上风 可以获取 /var/log 下的全部信息，理会各类名目(Elasticsearch，Solr，MongoDB，Apache HTTPD等等)，它可以袒护敏感的数据信息，譬喻，小我私人验证信息(PII)，出生年代日，名誉卡号码，等等。它还可以基于 IP 做 GeoIP 富厚地理位置信息(譬喻，access logs)。同样，它轻量又快速，可以将其置入任何日记块中。在新的 2.0 版本中，它以第三方 node.js 模块化方法增进了支持对输入输出的处理赏罚插件。重要的是 Logagent 有当地缓冲，以是不像 Logstash ，在数据传输目标地不行用时会丢失日记。 劣势 尽量 Logagent 有些较量故意思的成果(譬喻，吸取 Heroku 或 CloudFoundry 日记)，可是它并没有 Logstash 机动。 典范应用场景 Logagent 作为一个可以做全部工作的传输器材是值得选择的(提取、理会、缓冲和传输)。 logtail 阿里云日记处事的出产者，今朝在阿里团体内部呆板上运行，颠末3年多时刻的检验，今朝为阿里公有云用户提供日记网络处事。  回收C++说话实现，对不变性、资源节制、打点等下过很大的工夫，机能精采。对比于logstash、fluentd的社区支持，logtail成果较为单一，专注日记网络成果。 上风 logtail占用呆板cpu、内存资源起码，团结阿里云日记处事的E2E体验精采。 劣势 logtail今朝对特定日记范例理会的支持较弱，后续必要把这一块补起来。 rsyslog 绝大大都 Linux 宣布版本默认的 syslog 保卫历程，rsyslog 可以做的不只仅是将日记从 syslog socket 读取并写入 /var/log/messages 。它可以提取文件、理会、缓冲(磁盘和内存)以及将它们传输到多个目标地，包罗 Elasticsearch 。可以以后处找到如那里理赏罚 Apache 以及体系日记。 上风 rsyslog 是经测试过的最快的传输器材。假如只是将它作为一个简朴的 router/shipper 行使，险些全部的呆板城市受带宽的限定，可是它很是擅优点理理会多个法则。它基于语法的模块(mmnormalize)无论法则数量怎样增进，它的处理赏罚速率始终是线性增添的。这也就意味着，假如当法则在 20-30 条时，如理会 Cisco 日记时，它的机能可以大大高出基于正则式理会的 grok ，到达 100 倍(虽然，这也取决于 grok 的实现以及 liblognorm 的版本)。 它同时也是我们能找到的最轻的理会器，虽然这也取决于我们设置的缓冲。 劣势 rsyslog 的设置事变必要更大的价钱(这里有一些例子)，这让两件工作很是坚苦： 文档难以搜刮和阅读，出格是那些对术语较量生疏的开拓者。 5.x 以上的版本名目不太一样(它扩展了 syslogd 的设置名目，同时也如故支持旧的名目)，尽量新的名目可以兼容旧名目，可是新的特征(譬喻，Elasticsearch 的输出)只在新的设置下才有用，然后旧的插件(譬喻，Postgres 输出)只在旧名目下支持。 尽量在设置不变的环境下，rsyslog 是靠得住的(它自身也提供多种设置方法，最终都可以得到沟通的功效)，它照旧存在一些 bug 。 典范应用场景 rsyslog 得当那些很是轻的应用(应用，小VM，Docker容器)。假如必要在另一个传输器材(譬喻，Logstash)中举办处理赏罚，可以直接通过 TCP 转发 JSON ，可能毗连 Kafka/Redis 缓冲。 rsyslog 还得当我们对机能有着很是严酷的要求时，出格是在有多个理会法则时。那么这就值得为之投入更多的时刻研究它的设置。 【编辑保举】
点赞 0 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
