加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

学Hadoop你必须要知道的

发布时间:2019-08-06 23:57:00 所属栏目:教程 来源:大数据三十四号
导读:文章目次: 一、理论常识 1.Hadoop的整体印象 2.Hadoop的上风 3.Hadoop可以做什么 4.Hadoop布局 4.1 Hadoop存储--HDFS 4.2 Hadoop计较--MapReduce 4.3 Hadoop资源打点--YARN 5.Hadoop生态 二、Hadoop现实操纵 本文内容诸多小心,在小心处会暗示出处,可在出

当 MapReduce 成长到 2.x 时就不行使 JobTracker 来作为本身的资源打点框架,而选择行使 YARN。这里必要声名的是,假如行使 JobTracker 来作为 Hadoop 集群的资源打点框架的话,那么除了 MapReduce 使命以外,不可以或许运行其他使命。也就是说,假如我们集群的 MapReduce 使命并没有那么丰满的话,集群资源便是是白白挥霍的。以是提出了其它的一个资源打点架构 YARN(Yet Another Resource Manager)。这里必要留意,YARN 不是 JobTracker 的简朴进级,而是“大换血”。同时 Hadoop 2.X 也包括了此架构。Apache Hadoop 2.X 项目包括以下模块。

  • Hadoop Common:为 Hadoop 其他模块提供支持的基本模块。
  • HDFS:Hadoop:漫衍式文件体系。
  • YARN:使命分派和集群资源打点框架。
  • MapReduce:并行和可扩展的用于处理赏罚大数据的模式。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读