图解HBase--大数据平台技能栈

当MemStore到达hbase.hregion.memstore.flush.size巨细的时辰会将数据刷写到磁盘，天生StoreFile。跟着营业的成长，数据量会越来越大，会发生许多的小文件，对付HBase的数据读取，假如要扫描大量的小文件，会导致机能很差，因此必要将这些小文件归并成一个大一点的文件。

所谓的小归并，就是把多个小的StoreFile组合在一路，形成一个较大的StoreFile，凡是是累积到3个SotreFile后执行。通过hbase.hstore.compationThreadhold参数设置，小归并的步调如下：

• 别离读取出待归并的StoreFile文件的KeyValues，并次序地写入到位于/hbase/.tmp目次下的姑且文件中;
• 将姑且文件移动到对应的Region目次中;
• 将归并的输入文件路径和输出路径封装成KeyValues写入WAL日记，并打上compaction标志，最后逼迫执行sync;
• 将对应region数据目次下的归并的输入文件所有删除，归并完成。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!