图解HBase--大数据平台技能栈

这种小归并一样平常速率较量快，对营业的影响也较量小。本质上，小归并就是行使短时刻的IO耗损以及带宽耗损调换后续查询的低耽误。在Minor Compaction进程中，到达TTL(记录保存时刻)的数据会被移除，可是由墓碑标志的记录不会被移除，由于墓碑标志也许存储在差异HFile中，归并也许会跨过部门墓碑标志。

大归并(Major Compation)

大归并就是将一个Region下的全部StoreFile归并成一个大的StoreFile文件。在大归并的进程中，之前删除的行和逾期的版本城市被删除。大归并一样平常一周做一次，由hbase.hregion.majorcompaction参数节制。大归并的影响一样平常较量大，只管停止统一时刻多个Region举办归并，因此HBase通过hbase.hregion.majorcompaction.jitter参数来举办节制，用于防备多个Region同时举办大归并。

详细算法：

• hbase.hregion.majorcompaction参数的值乘以一个随机分数，这个随机分数不能高出hbase.hregion.majorcompation.jitter的值(默以为0.5)。
• 通过hbase.hregion.majorcompaction参数的值加上或减去hbase.hregion.majorcompaction参数的值乘以一个随机分数的值就确定下一次大归并的时刻区间。
• 可以通过hbase.hregion.majorcompaction配置为0来禁用major compaction。

RegionServer妨碍规复

在Zookeeper中生涯着RegionServer的相干信息，在RegionServer启动的时辰，会在Zookeeper中建设对应的姑且节点。RegionServer通过Socket和Zookeeper成立session会话，RegionServer会周期性的向Zookeeper发送ping动静包，以此声名本身还处于存活状态。而Zookeeper收到ping包后，则会更新对应Session的超时时刻。

当Zookeeper高出session超时时刻还未收到RegionServer的ping包，则Zookeeper会以为该RegionServer呈现妨碍，Zookeeper会将该RegionServer对应的姑且节点删除出，并关照Master，Master收到RegionServer挂掉的信息后就会启动数据规复流程。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!