搭建大数据处理赏罚集群（Hadoop，Spark，Hbase）

搭建Hadoop集群

设置每台呆板的 /etc/hosts担保每台呆板之间可以互访。
120.94.158.190 master
120.94.158.191 secondMaster

1、建设hadoop用户
先建设hadoop组
sudo addgroup hadoop
然后再建一个hadoop用户插手到hadoop组，（前一个为组，后一个为用户）
sudo adduser -ingroup hadoop hadoop
然后输入暗码，接下来一起ENTER
完成建设
设置用户的情形变量
找到用户目次，
cd /home/hadoop
在此目次下有一个 .bashrc 文件 ，在文件末端后插手

JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
PATH=$JAVA_HOME/bin:$PATH 
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export JAVA_HOME 
export PATH 
export CLASSPATH

完成设置

2、建设用户目次
cd /home
sudo mkdir hadoop
变动用户全部者和用户所属组
sudo chown hadoop hadoop
sudo chgrp hadoop hadoop

3、设置ssh为无暗码登录

cd /home/hadoop
   ssh-keygen -t rsa

一起回车，发生一个潜匿文件夹.ssh

cd .ssh

通过ls 可以查察天生的文件

cp id_rsa.pub authorized_keys

此刻测试一下
ssh localhost
或ssh master
第一次的时辰会呈现一些信息，我们输入yes来继承，这会把该处事器加到你的已知主机的列表中。

4、复制authorized_keys到其余节点上。
为了担保master节点可以无需暗码自动登录其余节点，先在其余节点上执行
sudo hadoop
cd /home/hadoop
ssh-keygen -t rsa
一起回车。
然后回到master，复制authorized_keys到其余节点

scp authorized_keys secondMaster:/home/hadoop/.ssh/

这里会提醒要输入暗码，输入hadoop账号暗码就可以了。
窜改你的 authorized_keys文件的容许权限

chmod 644 authorized_keys

测试 ssh secondMaster
第一次必要输入暗码，之后就不必要了。

5、集群设置
hadoop-env.sh,
yarn-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/hadoop/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/hadoop/data</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>

</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
  </property>
</configuration>

设置 slaves文件
secondMaster

切换到hadoop用户

su hadoop

建设目次

mkdir tmp
   mkdir name
   mkdir data

把hadoop复制到其余节点上去。

scp -r ./hadoop secondMaster:/home/hadoop

名目化漫衍式文件体系

cd hadoop
   ./bin/hdfs namenode -format

启动hadoop

./sbin/start-dfs.sh

此时，master主机上面运行的历程有：namenode,secondarynamenode
在node1 node2 node3主机上面运行的历程有：datanode

./sbin/start-yarn.sh

此时，master主机上面运行的历程有：namenode,secondarynamenode,resourcemanager
在node1 node2 node3主机上面运行的历程有：datanode,nodemanager

http://master:50070/dfshealth.html#tab-overview
http://master:8088/cluster/nodes

设置Spark集群

1、编辑设置文件spark-env.sh，在此剧本最后一行插手以下行

export SPARK_DIST_CLASSPATH=$(/home/hadoop/hadoop-2.6.1/bin/hadoop classpath)

个中，/home/hadoop/hadoop-2.6.1是Hadoop安装目次

2、接下来编辑conf/slaves文件，
直接在插手一行

secondMaster

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!