Kafka集群内复制成果深入分解

Kafka是一个漫衍式宣布订阅动静体系。由LinkedIn开拓并已经在2011年7月成为apache顶级项目。kafka在LinkedIn, Twitte等很多公司都获得普及行使，首要用于：日记聚合，动静行列，及时监控等。

0.8版本开始，kafka支持集群内复制，从而进步可用性和体系不变性，这篇文章首要概述kafka复制的计划。

复制

有了复制后，kafka客户端将会获得如下甜头：

• 出产者能在呈现妨碍的时辰继承宣布动静，而且能在耽误和耐久性之间选择，取决于应用。
• 斲丧者能在呈现妨碍的时辰继承及时接管正确的动静。
• 全部的漫衍式体系必需在同等性，可用性，分区容错性之间举办衡量并做出弃取(参考CAP定理)，kafka的方针是在单个数据中内心的kafka集群也支持复制。收集分区是较量少见的，因此kafka计划专注于高可用和强同等。强一请安味着全部副本数据完全同等，这简化了应用措施开拓职员的事变。

kafka是一个基于CA的体系(???)，zookeeper是一个基于CP的体系(很确定)，eureka是一个基于AP的体系(很确定)。

复制强同等

现有较量成熟的方案中，有两种保持强同等性复制的典范要领。这两种要领都必要副本中的一个被计划为leader，全部写入都必要宣布到该副本。leader认真处理赏罚全部的接入。并广播这些写到其他follower副本，而且要担保复制次序和leader的次序同等。

• 第一种要领是基于法定人数。leader守候直到大大都副本收到数据。当leader呈现妨碍，大大都follower会和谐推举出新的leader。这种要领被用于Apache Zookeeper 和Google's Spanner.
• 第二种要领是leader守候全部副本收到数据(重要声名：在kafka中这个"全部"是全部的In-Sync Replicas)。假如leader呈现妨碍，其他副本能被推举为新的leader。

kafka复制选择的是第二种要领，有两个首要缘故起因：

沟通数目的副本环境下，第二种要领能遭受更多的容错。譬喻，总计2n+1个副本，第二种要领能遭受2n个副本妨碍(只要尚有一个ISR，就能正常写入)，而第一种要领只能遭受n个副本妨碍。假如在只有两个副本的环境下，第一种要领不能容忍恣意一个副本妨碍。

第一种要领耽误性示意更好，由于只必要法定人数确认即可，以是会潜匿掉一些较量慢的副本的影响。而kafka副本被计划在沟通的数据中心的一个集群下。以是收集耽误这种变数是较量小的。

术语

为了相识kafka中的副本是怎样实现的，我们起首必要先容一些根基观念。在kafka中，动静流由topic界说，topic被切分为1个可能多个分区(partition)，复制产生在分区级别，每个分区有一个可能多个副本。

副本被匀称分派到kafka集群的差异处事器(称为broker)上。每个副本都维护磁盘上的日记。出产者宣布的动静次序追加到日记中，日记中每条动静被一个单调递增的offset标识。

offset是分区内的逻辑观念， 给定偏移量，可以在分区的每个副本中标识沟通的动静。 当斲丧者订阅某个主题时，它会跟踪每个分区中的偏移量以供行使，并行使它来向broker发出获打动静的哀求。

计划

kafka中增进副本的方针是为了更强的耐久性和高可用。kafka要担保任何乐成宣布的动静不会丢失，且能被斲丧，纵然在有一些处事器宕机的环境下。kafka复制的首要方针有：

可设置的耐久化担保：譬喻，某些数据不能容忍丢失的应用，可以选择更强的耐久性，虽然会陪伴耽误的增添。另一个发生海量应承部门数据丢失的应用，可以选择轻薄弱一点的耐久性，可是更得到更好的写入相应时刻，获得更好的吞吐量。

自动化的副本打点：kafka要简化向broker分派副本的指配进程，而且能支持集群慢慢扩容&缩容。

这样的话，有两个首要题目必要办理：

• 怎样匀称的指配分区的副本给broker?
• 对付一个给定的分区，怎样广播每条动静到其他副本?

数据复制

kafka应承客户端选择异步可能同步复制，异步复制的话，宣布的动静，当被1个副本吸取到就能确认。同步复制的话，kafka尽最大全力确保动静达到多个副本(以是有用的ISR)后才确认。当客户端实行宣布动静到一个topic的分区时，kafka必需撒播这个动静到全部副本，kafka必需抉择：

• 奈何撒播;
• 在向客户端确认前，必要几多副本吸取动静;
• 一个副本妨碍后，该怎么处理赏罚;
• 一个妨碍的副本规复后该怎么处理赏罚;

实现

保持副本同步有两种常用的计策：主备复制和基于仲裁复制。这两种环境下，一个副本被计划为leader，其他副本被称为follower，全部写哀求都由leader处理赏罚，leader撒播写哀求给follower。

在主备复制下，leader守候直到写在这个组里每个副本都完成，才向客户端发送确认。假如某个副本妨碍，leader把它从这个组移除，并继承写到剩余的副本。一个妨碍副本也被应承重新插手组，只要它规复，并追遇上leader。在用n个副本的条件下，主备复制模式能容忍n-1个副本妨碍。

在基于仲裁要领下，leader守候直到写在大大都副本上完成，副本组的巨细不会由于某些副本妨碍产生改变(譬喻某个分区有5个副本，纵然有2个副本妨碍，我们照旧以为这个副本组有5个副本)。因此假若有2n+1个副本，基于仲裁复制的话，只能容忍n个副本妨碍。假如leader呈现妨碍，必要至少n+1个副本才气推举一个新的leader。

这两种要领必要衡量：

• 基于仲裁比主备有更好的写耽误，任何副本的耽误(譬喻FGC造生长时刻的STW)将增进主备要领的写耽误，可是不会增进仲裁要领的写耽误。
• 在沟通数目副本环境下，主备要领能容忍更多妨碍。
• 在主备要领条件下，副本因子是2，也能运行精采。可是在基于仲裁要领的复制，两个副本必需一连事变保持有用状态。
• kafka选择主备复制，由于它能容忍更多副本妨碍，而且只有2个副本也能正常事变。

同步复制

kafka同步复制是典范的主备方法，每个分区有n个副本，而且能容忍n-1个副本妨碍。只有一个副本被推举为leader，其他都是follower。leader维护了一个ISR荟萃：这个副本集完全和leader保持同步状态，kafka还会把当前的leader和当前的ISR保持到zookeeper中。

每个副本生涯信息在当地日记中，而且维护了一个日记中重要的offset位置。LEO暗示日记尾部，HW是最新提交动静的offset。每个日记周期性的同步到磁盘，已经革新的偏移量之前的数据担保保存在磁盘上。

写

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!