加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

干货分享:Hadoop学习系列一之环境搭建

发布时间:2018-09-09 19:44:28 所属栏目:教程 来源:定西
导读:【资讯】Hadoop进修系列一:情形搭建。为了进修HBase,跑过来先把Hadoop进修下。首要是按照马先生之前直播的教程来进修的。好了,空话不多说了,开搞。 一. 安装假造机 对比VMware,Vritual Box是免费的,因此这里回收Virtual Box。起首在virtualbox官网的

  赏识器打开http://192.168.56.100:50070:

  Hadoop进修系列一:情形搭建

  可以看到Live Nodes是3,声名由node1打点的3个节点在运行中

  在namenode上行使slaves文件启动datanode

  着实可以直接在namenode上启动datanode,但要确保datanode上的hadoop路径与namenode上的同等,并且必要datanode设置了上一篇文章中提到的core-site.xml。在etc/hadoop/slaves中添加全部的datanode节点:

  node2 node3 node4

  行使下列呼吁启动整个集群:

  start-dfs.sh

  运行完成后,发明datanode也都启动了

  在namenode上免密启动datanode

  固然上面通过slaves文件已经可以启动整个集群了,可是在毗连每个datanode时都必要输入暗码,很不利便。

  到root用户的.ssh下:

  cd /root/.ssh

  天生密钥对:

  ssh-keygen -t rsa

  将密钥对拷贝到全部node中:

  ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id node3 ssh-copy-id node4

  接下来,启动和竣事hdfs时不必要再输入暗码

  hdfs的行使

  行使hadoop fs或hdfs dfs可查察辅佐

  将文件1.txt生涯到hdfs根目次下:

  hadoop fs -put ./1.txt /

  查察hdfs根目次文件:

  hadoop fs -ls /

  呼吁和linux下呼吁很像

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读