加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

发布时间:2021-02-26 19:22:27 所属栏目:大数据 来源:网络整理
导读:上一部门:http://my.oschina.net/u/2391658/blog/711016 第二部门首要网络清算的内容首要有日记网络体系、动静体系、漫衍式处事、集群打点、RPC、基本办法、搜刮引擎、Iaas和监控打点等大数据开源器材。 ? 日记网络体系 一、Facebook?Scribe 孝顺者 :Faceb

简介:Nagios是一款开源的免费收集监督器材,能有用监控Windows、Linux和Unix的主机状态,互换机路由器等收集配置,打印机等。在体系或处事状态非常时发出邮件或短信报警第一时刻关照网站运维职员,在状态规复后发出正常的邮件或短信关照。

Nagios可运行在Linux/Unix平台之上,同时提供一个可选的基于赏识器的WEB界面以利便体系打点职员查察收集状态,各类体系题目,以及日记等等。

官网:http://www.nagios.org/

二、Ganglia

简介:Ganglia是UC Berkeley提倡的一个开源集群监督项目,计划用于丈量数以千计的节点。Ganglia的焦点包括gmond、gmetad以及一个Web前端。首要是用来监控体系机能,如:cpu 、mem、硬盘操作率, I/O负载、收集流量环境等,通过曲线很轻易见到每个节点的事变状态,对公道调解、分派体系资源,进步体系整体机能起到重要浸染。

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

官网:http://ganglia.sourceforge.net/

三、Apache?Ambari

简介:Apache Ambari是一种基于Web的器材,支持Apache Hadoop集群的供给、打点和监控。Ambari今朝已支持大大都Hadoop组件,包罗HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的齐集打点。也是5个顶级hadoop打点器材之一。

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

Ambari首要取得了以下后果:

  • 通过一步一步的安装领导简化了集群供给。
  • 预先设置好要害的运维指标(metrics),可以直接查察Hadoop Core(HDFS和MapReduce)及相干项目(如HBase、Hive和HCatalog)是否康健。
  • 支持功课与使命执行的可视化与说明,可以或许更好地查察依靠和机能。
  • 通过一个完备的RESTful API把监控信息袒暴露来,集成了现有的运维器材。
  • 用户界面很是直观,用户可以轻松有用地查察信息并节制集群。

Ambari行使Ganglia网络怀抱指标,用Nagios支持体系报警,当必要引起打点员的存眷时(好比,节点停机或磁盘剩余空间不敷等题目),体系将向其发送邮件。

另外,Ambari可以或许安装安详的(基于Kerberos)Hadoop集群,以此实现了对Hadoop 安详的支持,提供了基于脚色的用户认证、授权和审计成果,并为用户打点集成了LDAP和Active Directory。

官网:http://ambari.apache.org/

?

基本办法

一、LevelDB

孝顺者:Jeff Dean和Sanjay Ghemawat

简介:Leveldb是一个google实现的很是高效的kv数据库,今朝的版本1.2可以或许支持billion级此外数据量了。 在这个数目级别下尚有着很是高的机能,首要归功于它的精采的计划。出格是LMS算法。LevelDB 是单历程的处事,机能很是之高,在一台4核Q6600的CPU呆板上,每秒钟写数据高出40w,而随机读的机能每秒钟高出10w。

Leveldb框架:

81个开源大数据处理赏罚器材汇总(下),包罗日记网络体系/集群打点/

官网:http://code.google.com/p/leveldb/

二、SSTable

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读