加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

发布时间:2021-02-26 19:22:27 所属栏目:大数据 来源:网络整理
导读:上一部门:http://my.oschina.net/u/2391658/blog/711016 第二部门首要网络清算的内容首要有日记网络体系、动静体系、漫衍式处事、集群打点、RPC、基本办法、搜刮引擎、Iaas和监控打点等大数据开源器材。 ? 日记网络体系 一、Facebook?Scribe 孝顺者 :Faceb

简介:ActiveMQ 是Apache出品,最风行的,手段强劲的开源动静总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4类型的 JMS Provider实现,尽量JMS类型出台已经是好久的工作了,可是JMS在当今的J2EE应用中间如故饰演着非凡的职位。

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

特征:

⒈ 多种说话和协议编写客户端。说话: Java,C,C++,C#,Ruby,Perl,Python,PHP。应用协议: OpenWire,Stomp REST,WS Notification,XMPP,AMQP

⒉ 完全支持JMS1.1和J2EE 1.4类型 (耐久化,XA动静,事宜)

⒊ 对Spring的支持,ActiveMQ可以很轻易内嵌到行使Spring的体系内里去,并且也支持Spring2.0的特征

⒋ 通过了常见J2EE处事器(如 Geronimo,JBoss 4,GlassFish,WebLogic)的测试,个中通过JCA 1.5 resource adaptors的设置,可以让ActiveMQ可以自动的陈设到任何兼容J2EE 1.4 贸易处事器上

⒌ 支持多种传送协议:in-VM,TCP,SSL,NIO,UDP,JGroups,JXTA

⒍ 支持通过JDBC和journal提供高速的动静耐久化

⒎ 从计划上担保了高机能的集群,客户端-处事器,点对点

⒏ 支持Ajax

⒐ 支持与Axis的整合

⒑ 可以很轻易得挪用内嵌JMS provider,举办测试

官网:http://activemq.apache.org/

五、Jafka

孝顺者:LinkedIn

简介:Jafka 是一个开源的、高机能的、跨说话漫衍式动静体系,行使GitHub托管。Jafka 最早是由Apache孵化的Kafka(由LinkedIn捐助给Apache)克隆而来。因为是一个开放式的数据传输协议,因此除了Java开拓说话受到支持,Python、Ruby、C、C++等其他说话也可以或许很好的获得支持。

特征:

1、动静耐久化很是快,处事端存储动静的开销为O(1),而且基于文件体系,可以或许耐久化TB级的动静而不丧失机能。

2、吞吐量取决于收集带宽。

3、完全的漫衍式体系,broker、producer、consumer都原生自动支持漫衍式。自动实现伟大平衡。

4、内核很是小,整个体系(包罗处事端和客户端)只有一个272KB的jar包,内部机制也不伟大,得当举办内嵌可能二次开拓 。整个处事端加上依靠组件共3.5MB。

5、动静名目以及通讯机制很是简朴,得当举办跨说话开拓。今朝自带的Python3.x的客户端支持发送动静和吸取动静。

官网:http://kafka.apache.org/

六、Apache?Kafka

孝顺者:LinkedIn

简介:Apache Kafka是由Apache软件基金会开拓的一个开源动静体系项目,由Scala写成。Kafka最初是由LinkedIn开拓,并于2011年头开源。2012年10月从Apache Incubator结业。该项目标方针是为处理赏罚及时数据提供一个同一、高通量、低守候的平台。

Kafka是一个漫衍式的、分区的、多复本的日记提交处事。它通过一种唯一无二的计划提供了一个动静体系的成果。

Kafka集群可以在一个指定的时刻内保持全部宣布上来的动静,不管这些动静有没有被斲丧。打个例如,假如这个时刻配置为两天,那么在动静宣布的两天以内,这条动静都是可以被斲丧的,可是在两天后,这条动静就会被体系扬弃以开释空间。Kafka的机能不会受数据量的巨细影响,因此保持大量的数据不是一个题目。

官网:http://kafka.apache.org/

漫衍式处事

一、ZooKeeper

孝顺者:Google

简介:ZooKeeper是一个漫衍式的,开放源码的漫衍式应用措施和谐处事,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为漫衍式应用提供同等性处事的软件,提供的成果包罗:设置维护、名字处事、漫衍式同步、组处事等。

ZooKeeper是以Fast Paxos算法为基本的,paxos算法存在活锁的题目,即当有多个proposer交织提交时,有也许相互排出导致没有一个proposer能提交乐成,而Fast Paxos作了一些优化,通过推举发生一个leader,只有leader才气提交propose,详细算法可见Fast Paxos。因此,要想弄懂ZooKeeper起首得对Fast Paxos有所相识。

架构:

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

官网:http://zookeeper.apache.org/

?

RPC

(Remote Procedure Call Protocol)——长途进程挪用协议

一、Apache?Avro

简介:Apache Avro是Hadoop下的一个子项目。它自己既是一个序列化框架,同时也实现了RPC的成果。Avro官网描写Avro的特征和成果如下:

  • 富厚的数据布局范例;
  • 快速可压缩的二进制数据情势;
  • 存储耐久数据的文件容器;
  • 提供长途进程挪用RPC;
  • 简朴的动态说话团结成果。

对比于Apache Thrift 和Google的Protocol Buffers,Apache Avro具有以下特点:

  • 支持动态模式。Avro不必要天生代码,这有利于搭建通用的数据处理赏罚体系,同时停止了代码入侵。
  • 数据无须加标签。读取数据前,Avro可以或许获取模式界说,这使得Avro在数据编码时只必要保存更少的范例信息,有利于镌汰序列化后的数据巨细。

官网:http://avro.apache.org/

二、Facebook Thrift

孝顺者:Facebook

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读