MongoDB Stream是怎样实现美满数据增量迁徙的？

前面的章节演示了一个增量迁徙的样例，在投入到线上运行之前，这些代码还得继承优化：

• 写入机能，线上的数据量也许会到达亿级，在全量、增量迁徙时应回收公道的批量化处理赏罚；其它可以通过增进并发线程，添置更多的Worker，别离对差异营业库、差异表举办处理赏罚以晋升服从。增量表存在幂等性，即回放多次其最终功效照旧同等的，但必要担保表级有序，即一个表同时只有一个线程在举办增量回放。
• 容错手段，一旦watch监听使命呈现非常，要可以或许从更早的时刻点开始(行使startAtOperationTime参数)，而假如写入时产生失败，要支持重试。
• 回溯手段，做好须要的跟踪记录，好比将转换失败的ID号记录下来，旧体系的数据必要保存，以免在过后追究某个数据题目时找不着北。
• 数据转换，新旧营业的差别不会很简朴，凡是必要借助大量的转换表来完成。

同等性搜查，必要按照营业特点开拓本身的同等性搜查器材，用来证明迁徙后数据到达想要的同等性级别。

BTW，数据迁徙必然要团结营业特征、架构差别来做思量，不然照旧在耍混混。

六、小结

处事化体系中扩容、进级每每会举办数据迁徙，对付营业量大，间断敏感的体系凡是会回收滑腻迁徙的方法。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!