bigdata——HBase+zookeeper+Hadoop集群构筑 之 Hadoop YARN集群
发布时间：2021-05-27 12:42:02 所属栏目：大数据 来源：网络整理
导读：最近项目观测闲下来了，偶然刻让大脑来整体之前做过的观测，为了便于基于存档，遂将其记录下来，但愿对其后者有所辅佐。 配景 为了相识Hbase集群下数据的查询以及安详性方面的机能数据，必要搭建HBase集群，简朴测试。 脚色分类 +--------------+-----------
|
副问题[/!--empirenews.page--]
最近项目观测闲下来了，偶然刻让大脑来整体之前做过的观测，为了便于基于存档，遂将其记录下来，但愿对其后者有所辅佐。 配景为了相识Hbase集群下数据的查询以及安详性方面的机能数据，必要搭建HBase集群，简朴测试。 脚色分类+--------------+-------------+---------------------+-----------------+ | mashine | Hadoop | zookeeper | Hbase | +--------------+-------------+---------------------+-----------------+ | sv004 | Master | leader | HMaster | +--------------+-------------+---------------------+-----------------+ | sv001 | Slave1 | follower | HRegionserver | +--------------+-------------+---------------------+-----------------+ | sv002 | Slave2 | follower | HRegionserver | +--------------+-------------+---------------------+-----------------+ | sv003 | Slave3 | follower | HRegionserver | +--------------+-------------+---------------------+-----------------+由于本次测试的方针是RegionServer产生妨碍的环境下，region移动对查询的机能影响，为了测试的简朴化，以是本次搭建的集群只有一个HMaster，弱点就是一旦HMaster产生妨碍的话，整个情形就无法行使了，必要从头所有启动。一样平常为了停止这种环境，都是提议至少2个HMaster，一个是active状态的，一个是standby状态的。 假造机list对好比下： 172.28.157.1 sv001 172.28.157.2 sv002 172.28.157.3 sv003 172.28.157.4 sv004 Hadoop YARN集群搭建本次行使的物件是hadoop-2.5.2.bin.gz 操纵流程
????????? tar -zxvf hadoop-2.5.2.bin.gz
export JAVA_HOME=/usr/java/jdk1.7.0_67???????????????? 按照本身假造机的现实修改 ? ? ???? 2. ?????? core-site.xml ???????????? <configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://sv004:9000</value>
</property>
</configuration>???
????? 3.????? hdfs-site.xml ???????????? <configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/project/hadoop-2.5.2/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/project/hadoop-2.5.2/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
?????? 4.?? mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>Yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>sv004:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>sv004:19888</value> </property> <property> <name>mapreduce.jobhistory.intermediate-done-dir</name> <value>/home/project/hadoop-2.5.2/tmp</value> </property> <property> <name>mapreduce.jobhistory.done-dir</name> <value>/home/project/hadoop-2.5.2/done</value> </property> </configuration>? ????? 5. yarn-site.xml ????? <configuration> <!-- Site specific YARN configuration properties --> <property> <name>Yarn.nodemanager.aux-services</name> <value>mapreduce.shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>sv004</value> </property> <property> <name>Yarn.resourcemanager.address</name> <value>sv004:18040</value> </property> <property> <name>Yarn.resourcemanager.scheduler.address</name> <value>sv004:18030</value> </property> <property> <name>Yarn.resourcemanager.resource-tracker.address</name> <value>sv004:18025</value> </property> <property> <name>Yarn.resourcemanager.admin.address</name> <value>sv004:18041</value> </property> <property> <name>Yarn.resourcemanager.webapp.address</name> <value>sv004:8088</value> </property> <property> <name>Yarn.nodemanager.local-dirs</name> <value>/home/project/hadoop-2.5.2/mynode/my</value> </property> <property> <name>Yarn.nodemanager.log-dirs</name> <value>/home/project/hadoop-2.5.2/mynode/logs</value> </property> <property> <name>Yarn.nodemanager.log.retain-seconds</name> <value>10800</value> </property> <property> <name>Yarn.nodemanager.remote-app-log-dir</name> <value>/logs</value> </property> <property> <name>Yarn.nodemanager.remote-app-log-dir-suffix</name> <value>logs</value> </property> <property> <name>Yarn.log-aggregation.retain-seconds</name> <value>-1</value> </property> <property> <name>Yarn.log-aggregation.retain-check-interval-seconds</name> <value>-1</value> </property> </configuration> ??? 6.?? slaves sv001 sv002 sv003
???????????? 无暗码登录，这个此处就不记述了，网上的帖子较量多。
???????? 追加如下信息： 172.28.157.1 sv001 172.28.157.2 sv002 172.28.157.3 sv003 172.28.157.4 sv004 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
