干货分享：Hadoop学习系列一之环境搭建

　　【资讯】Hadoop进修系列一：情形搭建。为了进修HBase，跑过来先把Hadoop进修下。首要是按照马先生之前直播的教程来进修的。好了，空话不多说了，开搞。

　　一. 安装假造机

　　对比VMware，Vritual Box是免费的，因此这里回收Virtual Box。起首在virtualbox官网的下载页面下载Virtual Box，并安装。安装进程没什么好说的。

　　二. 在假造机里安装CentOS

　　在CentOS官网下载最新版的CentOS 7，下载的时辰要DVD ISO，Minimal ISO文件固然较量小，但不能满意我们的需求。

　　下载完成后，打开Virtual Box，点击“新建”，输入假造机的名称(我这里输入“node1”)，范例选择“Linux”，由于这里下载的CentOS是64位版本，全部这里的版本要选择“Red Hat (64-bit)”，点击“下一步”。

　　“内存巨细”先配置1G，选择“下一步”。

　　“假造硬盘”选择“此刻建设假造硬盘”，点击“建设”。

　　”假造硬盘文件范例“默认就好，选择“下一步”。

　　”存储在物理硬盘上“选择“动态分派”，选择“下一步”。最后点击“建设”按钮，完成假造机“node1”的建设。

　　node1建设好后，如下图所示：

　　接下来安装CentOS 7体系：

　　右键单击假造机“node1”，点击“配置”-“存储”，右侧“存储介质”-“节制器：IDE”的后头，有个“添加 假造 光驱”按钮，如下图赤色方框中：

　　点击该按钮后，点“选择磁盘”，然后选择之前下载好的CentOS7的ISO镜像文件后，点“OK”。

　　然后双击启动假造机"node1"。

　　安装进程中，“软件选择”要选择“基本办法处事器”，“安装位置”点“完成”，然后点“开始安装”就可以了。

　　安装进程中必要配置root用户的暗码。

　　其它必要留意的是：假如想从Virtual Box假造机中切换到宿主机的话，按右边的“Ctrl”键即可。

　　三. 设置CentOS

　　体系安装好后，先设置下假造机的收集：

　　将node1假造机的收集中网卡毗连方法配置为“仅主机(Host-Only)收集”。cmd下ipconfig呼吁查察Virtual Box假造网卡的IP地点，如下图：

　　我这里的IP地点为192.168.56.1，子网掩码255.255.255.0

　　CentOS下配置node1的IP地点为192.168.56.100，子网掩码为255.255.255.0:

　　vim /etc/sysconfig/network-scripts/ifcfg-enp0s3 TYPE=Ethernet IPADDR=192.168.56.100 NETMASK=255.255.255.0

　　配置node1的网关：

　　vim /etc/sysconfig/network NETWORKING=yes GATEWAY=192.68.56.1

　　配置node1的hostname：

　　hostnamectl set-hostname node1

　　遏制防火墙并榨取开机启动：

　　systemctl stop firewalld systemctl disable firewalld

　　重启收集：

　　systemctl restart network

　　这个时辰主机和假造机应该可以彼此ping通了:

　　ping 192.168.56.1

　　假如呈现假造机ping不通主机，可是主机可以ping通假造机的环境，可以参考https://blog.csdn.net/u014594922/article/details/53426225

　　四. 安装java和hadoop

　　下载jdk和hadoop

　　行使xshell登岸到node1,行使xftp将jdk和hadoop复制到node1

　　安装jdk：

　　rpm -ivh jdk-8u171-linux-x64.rpm

　　安装hadoop：

　　tar -zxvf hadoop-2.9.1.tar.gz

　　设置hadoop情形变量:

　　vim /etc/profile

　　添加下面代码:

　　export PATH=$PATH:/root/hadoop-2.9.1/bin:/root/hadoop-2.9.1/sbin

　　使情形变量见效:

　　source /etc/profile

　　在hadoop中指明java路径：

　　vim /root/hadoop-2.9.1/etc/hadoop/hadoop-env.sh

　　将个中的JAVA_HOME改为/usr:

　　export JAVA_HOME=/usr

　　五. 复制假造机及设置hadoop

　　将node1关机，复制3份，行使完全复制，定名为node2、node3、node4，并依次打开，设置IP地点别离192.168.56.101，192.168.56.102，192.168.56.103，hostname别离为node2、node3、node4

　　行使“无界面启动”方法用打开四个假造机，并用xshell建设4个对应的会话

　　勾选xshell的“器材”-“发送键输入到全部会话”，可以同时向4个会话发送内容

　　切换到4个会话的hadoop目次下：

　　cd ~/hadoop-2.9.1

　　修改4个会话的文件,用于指明namenode：etc/hadoop/core-site.xml

　　<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node1:9000</value> </property> </configuration>

　　修改4个会话的hosts文件：

　　vim /etc/hosts 192.168.56.100 node1 192.168.56.101 node2 192.168.56.102 node3 192.168.56.103 node4

　　在node1会话中初始化hdfs:

　　hdfs namenode -format

　　输入y

　　在node1会话中开启namenode:

　　hadoop-daemon.sh start namenode

　　在node1会话中jps，呈现NameNode声名启动乐成：

　　jps 4483 Jps 4404 NameNode

　　在node2、node3、node4会话中开启datanode:

　　hadoop-daemon.sh start datanode

　　在node2、node3、node4会话中jps，呈现DataNode声名启动乐成：

　　jps 5314 DataNode 5391 Jps

　　通过web页面查察hadoop状态

　　node1下查察hadoop的web页面端口：

　　netstat -ntlp | grep java tcp 0 0 192.168.56.100:9000 0.0.0.0:* LISTEN 4491/java tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 4491/java

　　50070就是hadoop的web页面端口

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!