加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

干货:怎样将Hadoop存储容量晋升4倍?

发布时间:2018-08-16 12:08:15 所属栏目:教程 来源:赵钰莹
导读:技能沙龙 | 邀您于8月25日与国美/AWS/转转三位专家配合切磋小措施电商拭魅战 在Hadoop 1.0中,HDFS的单NameNode计划带来诸多题目,包罗单点妨碍、内存受限定约集群扩展性和缺乏断绝机制(差异营业行使统一个NameNode导致营业彼此影响)等。为了办理这些题目,Ha

HTTP和HTTPS地点(dfs.namenode.http-address和dfs.namenode.https-address)是可选参数,可以设置为相同于RPC地点。

  1. <property>  
  2. <name>dfs.namenode.http-address.ns1.nn1</name>  
  3. <value>node-1.example.com:50070</value>  
  4. </property>  
  5.  
  6. <property>  
  7. <name>dfs.namenode.https-address.ns1.nn1</name>  
  8. <value>node-1.example.com:50072</value>  
  9. </property>  
  10.  
  11. <property>  
  12. <name>dfs.namenode.http-address.ns1.nn2</name>  
  13. <value>node-2.example.com:50070</value>  
  14. </property> 
  15.  
  16. <property>  
  17. <name>dfs.namenode.https-address.ns1.nn2</name>  
  18. <value>node-2.example.com:50072</value>  
  19. </property> 
  20.  
  21. <property>  
  22. <name>dfs.namenode.http-address.ns2.nn3</name>  
  23. <value>node-3.example.com:50070</value>  
  24. </property> 
  25.  
  26. <property>  
  27. <name>dfs.namenode.http-address.ns2.nn4</name>  
  28. <value>node-4.example.com:50070</value>  
  29. </property> 

3.5 其他NAMESERVICE特定密钥

通过行使NameserviceID后缀键名,可觉得每个名称处事设置以下键:

  1. dfs.namenode.keytab.file  
  2. dfs.namenode.name.dir  
  3. dfs.namenode.edits.dir  
  4. dfs.namenode.checkpoint.dir 
  5. dfs.namenode.checkpoint.edits.dir  
  6. dfs.secondary.namenode.keytab.file  
  7. dfs.namenode.backup.address 

4.集群配置

federated集群中的全部Namenode应具有沟通的clusterID,应行使以下呼吁名目化一个namenode,选择独一的clusterID,使其不与情形中的其他集群斗嘴。假如未提供clusterID,则会自动天生独一ID。

  1. [hdfs]$ $HADOOP_HOME/bin/hdfs namenode -format [-clusterId ] 

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读