简介：GFS的C++开源版本，Kosmos distributed file system (KFS)是一个专门为数据麋集型应用（搜刮引擎，数据发掘等）而计划的存储体系，相同于Google的GFS和Hadoop的HDFS漫衍式文件体系。 KFS行使C++实现，支持的客户端包罗C++，Java和Python。KFS体系由三部门构成，别离是metaserver、chunkserver和client library。

官网：http://code.google.com/p/kosmosfs/

五、HDFS

简介：Hadoop漫衍式文件体系(HDFS)被计划成得当运行在通用硬件(commodity hardware)上的漫衍式文件体系。它和现有的漫衍式文件体系有许多配合点。但同时，它和其他的漫衍式文件体系的区别也是很明明的。HDFS是一个高度容错性的体系，得当陈设在便宜的呆板上。HDFS能提供高吞吐量的数据会见，很是得当大局限数据集上的应用。HDFS放宽了一部门POSIX束缚，来实现流式读取文件体系数据的目标。HDFS在最开始是作为Apache Nutch搜刮引擎项目标基本架构而开拓的。HDFS是Apache Hadoop Core项目标一部门。

官网：http://hadoop.apache.org/

资源打点

一、Twitter?Mesos

开拓者：Twitter研发职员John Oskasson

简介：Apache Mesos是由加州大学伯克利分校的AMPLab起首开拓的一款开源聚集打点软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构，因为其开源性子越来越受到一些大型云计较公司的青睐，譬喻Twitter、Facebook等。

参考文章：Mesos渐入主流,Twitter模式有望“无穷复制”-CSDN.NET

官网：http://mesos.apache.org/

二、Hadoop Yarn

Hadoop 新 MapReduce 框架 Yarn。为从基础上办理旧 MapReduce 框架的机能瓶颈，促进 Hadoop 框架的更久远成长，从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，产生了基础的变革。新的 Hadoop MapReduce 框架定名为 MapReduceV2 可能叫 Yarn，其架构图如下图所示：

Yarn 框架相对付老的 MapReduce 框架什么上风呢？我们可以看到：

1、这个计划大大减小了 JobTracker（也就是此刻的 ResourceManager）的资源耗损，而且让监测每一个 Job 子使命 (tasks) 状态的措施漫衍式化了，更安详、更美妙。

2、在新的 Yarn 中，ApplicationMaster 是一个可改观的部门，用户可以对差异的编程模子写本身的 AppMst，让更多范例的编程模子可以或许跑在 Hadoop 集群中，可以参考 hadoop Yarn 官方设置模板中的 mapred-site.xml 设置。

3、对付资源的暗示以内存为单元 ( 在今朝版本的 Yarn 中，没有思量 cpu 的占用 )，比之前以剩余 slot 数量更公道。

4、老的框架中，JobTracker 一个很大的承担就是监控 job 下的 tasks 的运行状况，此刻，这个部门就扔给 ApplicationMaster 做了，而 ResourceManager 中有一个模块叫做 ApplicationsMasters( 留意不是 ApplicationMaster)，它是监测 ApplicationMaster 的行状况，假如出题目，会将其在其他呆板上重启。

5、Container 是 Yarn 为了未来作资源断绝而提出的一个框架。这一点应该小心了 Mesos 的事变，今朝是一个框架，仅仅提供 java 假造机内存的断绝,hadoop 团队的计划思绪应该后续能支持更多的资源调治和节制,既然资源暗示成内存量，那就没有了之前的 map slot/reduce slot 分隔造成集群资源闲置的忧伤环境。

官网：http://hadoop.apache.org/

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!