Hadoop大数据通用处理赏罚平台

4.设置YARN(yarn-site.xml)

<configuration> 
 <!-- 设置Reduce取数据的方法是shuffle(随机) --> 
 <property> 
 <name>yarn.nodemanager.aux-services</name> 
 <value>mapreduce_shuffle</value> 
 </property> 
</configuration> 

5.设置MapReduce(mapred-site.xml)

<configuration>  
 <!-- 让MapReduce使命行使YARN举办调治 -->  
 <property>  
 <name>mapreduce.framework.name</name>  
 <value>yarn</value>  
 </property>  
</configuration> 

6.设置SSH

因为在启动hdfs、yarn时都必要对用户的身份举办验证，因此可以设置SSH配置免暗码登录。

//天生秘钥 
ssh-keygen -t rsa  
//复制秘钥到本机 
ssh-copy-id 192.168.1.80 

3.3 启动HDFS

1.名目化NameNode

2.启动HDFS，将会启动NameNode、DataNode、SecondaryNameNode三个历程，可以通过jps呼吁举办查察。

*若启动时呈现错误，则可以进入logs目次查察响应的日记文件。

当HDFS启动完毕后，可以会见http://localhost:50070进入HDFS的可视化打点界面，可以在此页面中监控整个HDFS集群的状况而且举办文件的上传以及下载。

*进入HDFS监控页面下载文件时，会将哀求重定向，重定向后的地点的主机名为NameNode的主机名，因此客户端当地的host文件中必要设置NameNode主机名与IP的映射相关。

3.4 启动YARN

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!