HBase数据迁移方案介绍
发布时间：2019-08-09 02:23:13 所属栏目：编程 来源：ballwql
导读：一、媒介 HBase数据迁徙是很常见的操纵，今朝业界首要的迁徙方法首要分为以下几类： 图1.HBase数据迁徙方案 从上面图中可看出，今朝的方案首要有四类，Hadoop层有一类，HBase层有三类。下面别离先容一下。 二、Hadoop层数据迁徙 2.1 方案先容 Hadoop层的数
|
上面这些流程网上许多资料都有提到，对付我们营业来说，尚有一种场景是要同步的表是正在及时写的，固然用上面的也可以办理，但思量到我们表数据局限很大，几十个T级别，同时又有及时营业在查的环境下，直接在原表上就算只是拷贝HFile，也会影响原集群呆板机能，因为我们呆板机能IO/内存方面自己就较量差，很轻易导致呆板非常，以是我们回收的其余一种方案，流程图如下：
图5.新的snapshot迁徙方案 为什么要回收这种方案呢，首要思量的是直接对原表snapshot举办Export会影响集群机能，以是回收折中的方案，即先把老表clone成一个新表，再对新表举办迁徙，这样可以停止直接对原表操纵。 四、总结 上文把HBase数据迁徙进程中常用的一些要领作了一个或许先容，总结起来就四点： DistCp: 文件层的数据同步，也是我们常用的 CopyTable: 这个涉及对原表数据Scan，然后直接Put到方针表，服从较低 Export/Import: 相同CopyTable, Scan出数据放到文件，再把文件传输到方针集群作Import Snapshot: 较量常用 ， 应用机动，回收快照技能，服从较量高 详细应用时，要团结自身表的特征，思量数据局限、数据读写方法、及时数据&离线数据等方面，再选择行使哪种。 【编辑保举】
点赞 0 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
