上一部门：http://my.oschina.net/u/2391658/blog/711016

第二部门首要网络清算的内容首要有日记网络体系、动静体系、漫衍式处事、集群打点、RPC、基本办法、搜刮引擎、Iaas和监控打点等大数据开源器材。

?

日记网络体系

一、Facebook?Scribe

孝顺者：Facebook

简介：Scribe是Facebook开源的日记网络体系，在Facebook内部已经获得大量的应用。它可以或许从各类日记源上网络日记，存储到一此中央存储体系（可所以NFS，漫衍式文件体系等）上，以便于举办齐集统计说明处理赏罚。它为日记的“漫衍式网络，同一处理赏罚”提供了一个可扩展的，高容错的方案。傍边央存储体系的收集可能呆板呈现妨碍时，scribe会将日记转存到当地可能另一个位置，傍边央存储体系规复后，scribe会将转存的日记从头传输给中央存储体系。其凡是与Hadoop团结行使，scribe用于向HDFS中push日记，而Hadoop通过MapReduce功课举办按期处理赏罚。

Scribe的体系架构

代码托管：https://github.com/facebook/scribe

二、Cloudera Flume

孝顺者：Cloudera

简介：Flume是Cloudera提供的一个高可用的，高靠得住的，漫衍式的海量日记收罗、聚合和传输的体系，Flume支持在日记体系中定制种种数据发送方，用于网络数据；同时，Flume提供对数据举办简朴处理赏罚，并写到各类数据接管方（可定制）的手段。

Flume提供了从console（节制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日记体系，支持TCP和UDP等2种模式），exec（呼吁执行）等数据源上网络数据的手段。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。因为Flume-ng颠末重大重构，与Flume-og有很大差异，行使时请留意区分。

Cloudera Flume构架：

官网：http://flume.apache.org/

三、logstash

简介：logstash 是一个应用措施日记、变乱的传输、处理赏罚、打点和搜刮的平台。你可以用它来同一对应用措施日记举办网络打点，提供 Web 接口用于查询和统计。他可以对你的日记举办网络、说明，并将其存储供往后行使（如，搜刮），您可以行使它。说到搜刮，logstash带有一个web界面，搜刮和展示全部日记。

官网：http://www.logstash.net/

四、kibana

简介：Kibana 是一个为 Logstash 和 ElasticSearch 提供的日记说明的 Web 接口。可行使它对日记举办高效的搜刮、可视化、说明等各类操纵。kibana 也是一个开源和免费的器材，他可以辅佐您汇总、说明和搜刮重要数据日记并提供友爱的web界面。他可觉得 Logstash 和 ElasticSearch 提供的日记说明的 Web 界面。

主页：?http://kibana.org/

代码托管：?https://github.com/rashidkpc/Kibana/downloads

动静体系

一、StormMQ

简介：MQMessageQueue动静行列产物 StormMQ，是一种处事措施。

官网：http://stormmq.com/

二、ZeroMQ

简介：这是个相同于Socket的一系列接口，他跟Socket的区别是：平凡的socket是端到端的（1:1的相关），而ZMQ却是可以N：M 的相关，人们对BSD套接字的相识较多的是点对点的毗连，点对点毗连必要显式地成立毗连、烧毁毗连、选择协议（TCP/UDP）和处理赏罚错误等，而ZMQ屏障了这些细节，让你的收集编程更为简朴。ZMQ用于node与node间的通讯，node可所以主机可能是历程。

引用官方的说法： “ZMQ(以下ZeroMQ简称ZMQ)是一个简朴好用的传输层，像框架一样的一个socket library，他使得Socket编程越发简朴、简捷和机能更高。是一个动静处理赏罚行列库，可在多个线程、内核和主机盒之间弹性伸缩。ZMQ的明晰方针是“成为尺度收集协议栈的一部门，之后进入Linux内核”。此刻还未看到它们的乐成。可是，它无疑是极具远景的、而且是人们越发必要的“传统”BSD套接字之上的一 层封装。ZMQ让编写高机能收集应用措施极为简朴和风趣。”

官网：http://zeromq.org/

三、RabbitMQ

简介：RabbitMQ是一个受接待的动静署理，凡是用于应用措施之间可能措施的差异组件之间通过动静来举办集成。本文简朴先容了怎样行使 RabbitMQ，假定你已经设置好了rabbitmq处事器。

RabbitMQ是用Erlang，对付首要的编程说话都有驱动可能客户端。我们这里要用的是Java，以是先要得到Java客户端。

像RabbitMQ这样的动静署理可用来模仿差异的场景，譬喻点对点的动静分发可能订阅/推送。我们的措施足够简朴，有两个根基的组件，一个出产者用于发活跃静，尚有一个斲丧者用来行使发生的动静。

官网：https://www.rabbitmq.com/

四、Apache?ActiveMQ

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!