Hadoop之完全漫衍式集群

设置yarn-env.sh

[kocdaniel@hadoop102 hadoop]$ vim yarn-env.sh 
export JAVA_HOME=/opt/module/jdk1.8.0_144 

设置yarn-site.xml

[kocdaniel@hadoop102 hadoop]$ vi yarn-site.xml 
# 增进如下设置 
<!-- Reducer获取数据的方法 --> 
<property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
</property> 
 
<!-- 指定YARN的ResourceManager的地点 --> 
<property> 
        <name>yarn.resourcemanager.hostname</name> 
        <value>hadoop103</value> 
</property> 

• MapReduce设置文件

设置mapred-env.sh

[kocdaniel@hadoop102 hadoop]$ vim mapred-env.sh 
export JAVA_HOME=/opt/module/jdk1.8.0_144 

设置mapred-site.xml

# 假如是第一次设置的话，必要先将mapred-site.xml.template重定名为mapred-site.xml 
[kocdaniel@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml 
[kocdaniel@hadoop102 hadoop]$ vim mapred-site.xml 
# 在文件中增进如下设置 
<!-- 指定MR运行在Yarn上 --> 
<property> 
        <name>mapreduce.framework.name</name> 
        <value>yarn</value> 
</property> 

3.将设置好的文件操作集群分发剧本同步到hadoop103和hadoop104节点

[kocdaniel@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/ 

• 最亏得同步完成之后搜查一下同步功效，停止错误

单点启动

1.假如是第一次启动，必要名目化namenode，不然跳过此步

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop namenode -format 

• 名目化必要留意的题目：

1. 只有第一次启动必要名目化，往后不要老是名目化，不然会呈现namenode和datanode的集群id纷歧致的环境，导致datanode启动失败
2. 正确的名目化姿势：

• 在执行第一次名目化时会在hadoop安装目次下发生data文件夹，内里会天生namenode的信息
• 在启动namenode和datanode后，还会在同样的目次下发生logs的日记文件夹
• 以是在名目化之前必要先将这两个文件夹删除，然后再名目化，最后启动namenode和datanode

2.在hadoop102上启动namenode

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode 
[kocdaniel@hadoop102 hadoop-2.7.2]$ jps 
3461 NameNode 

3.在hadoop102、hadoop103以及hadoop104上别离启动DataNode

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
[kocdaniel@hadoop102 hadoop-2.7.2]$ jps 
3461 NameNode 
3608 Jps 
3561 DataNode 
[kocdaniel@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
[kocdaniel@hadoop103 hadoop-2.7.2]$ jps 
3190 DataNode 
3279 Jps 
[kocdaniel@hadoop104 hadoop-2.7.2]$ hadoop-daemon.sh start datanode 
[kocdaniel@hadoop104 hadoop-2.7.2]$ jps 
3237 Jps 
3163 DataNode 

4.会见hadoop102:50070查察功效

• 可是以上单点启动有一个题目：

每次都一个一个节点启动，假如节点数增进到1000个怎么办?

设置ssh免密登录

1.设置ssh

ssh 另一个节点的ip 就可以切换到另一台呆板，可是得输入暗码

2.免密ssh设置

免密登录道理

• 在设置namenode的主机hadoop102上天生私钥和公钥

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!