Kafka事务流由基础到实践
|
完成后，按CTRL + D键完成动静宣布。然后切换回Kafdrop，然后单击streams-intro主题。将看到该主题的概述以及基本分区的具体分类：  我们建设了一个包括三个分区的主题。然后，我们行使两个独一的键foo和bar宣布了五笔记录。Kafka行使键将记录映射到分区，这样具有沟通键的全部记录将始终呈此刻统一分区上。很利便，也很重要，它可以使宣布者指定精确的记录次序。稍后，我们将更具体地接头键哈希和分区分派。 查察分区表，分区#0的第一个和最后一个偏移别离为0和2。分区#2的值为零和3个，而分区#1的表现为空缺。在Kafdrop收集用户界面中单击#0，会将会转到主题查察器：  可以看到在bar键下宣布的两笔记录。留意，它们与foo记录完全无关。 斲丧者和斲丧组 上面我们实例讲了，听过出产者宣布动静，将记录发送到流中。这些记录被组织成层次理解的分区。Kafka的宣布-订阅拓扑遵循机动的多到多模子，以是，可以有恣意数目的出产者和斲丧者同时与流举办交互。按照现实的办理方案，流拓扑也可以一对多，多对一。下面我们讲，怎样斲丧这些记录。 斲丧者是通过客户端库毗连到Kafka集群的历程或线程。斲丧者凡是(但不必然)是一个整体斲丧组的成员。该组由group.id属性指定。斲丧组现实上是Kafka中的负载均衡机制，认真在组内的各个斲丧者实例之间大抵均匀地举办分区分派。当组中的第一个斲丧者订阅该主题时，它将收到该主题中的全部分区。当第二个斲丧者随后插手时，它将得到约莫一半的分区，从而减轻了第一个行使者的承担。当斲丧者分开时(通过断开毗连或超时)，该进程将反向举办，别的的行使者将可用更大都量的分区。 因此，斲丧者斲丧某个主题中的记录，从Kafka及其所属的其他斲丧者分派的分区中提取了份额。就负载均衡而言，这应该很是简朴。可是，这里有一个要害点，行使记录的举动并不能将其删除。早先这好像是抵牾的，出格是假如将耗损举动与耗损接洽起来。(假若有的话，应该将斲丧者称为"阅读者"。)一个简朴的究竟是，斲丧者对主题及其分区绝对没有任何影响。主题是仅追加，只能由出产者或Kafka自己(作为压缩或破除的一部门)举办追加记录。斲丧者的只读操纵是"自制的"，因此，可以让很多人在不增进集群承担的环境下tail日记。这是事宜流和传统动静行列之间的又一区别，这是至关重要的。 斲丧者在内部维护一个偏移量，该偏移量指向分区中的下一个记录，从而在每次持续读取时都增进偏移量。斲丧者初次订阅主题时，可以选择从主题的头端或尾端开始。通过将auto.offset.reset属性配置为latest, earliest 可能none，可以节制这个举动。在后一种环境下，假如斲丧者组不存在先前的偏移量，则将触发非常。 斲丧者在当地保存其偏移状态向量。因为差异斲丧组中的斲丧者不会相互滋扰，因此也许有很多人同时阅读统一主题。斲丧者凭证本身的偏移读打动静;迟钝的或积存的斲丧者对其同组其他人也不会有影响。 为了声名这个观念，我们思量一个包括两个分区的主题为场景。两个斲丧者组-A和B-订阅了该主题。每个组具有三个实例，行使者被定名为A1，A2，A3，B1，B2和B3。下图声名白两组怎样共享主题，以及斲丧者怎样互相独立地赏识记录。  细心看上图，会发明穷乏某些对象。斲丧者A3和B1不在上图中。这是由于Kafka担保分区只能分派给其斲丧组中的一个斲丧者。因为每个组中有三个斲丧者，可是只有两个分区，因此一个斲丧者将保持空闲状态，守候其地址组中的另一个斲丧者分开。以这种方法，斲丧组不只是负载均衡机制，并且照旧用于成立高机能管道而又不捐躯安详性的相同栅栏的排他性节制，出格是在要求只能由一个线程处理赏罚记录的环境下或在任何给按时刻举办处理赏罚。 斲丧组也用于确保可用性。通过按期从主题中提取记录，斲丧者可以向集群隐式反馈集群为"康健"状态，从而将租约扩展到其分区分派上。可是，假如斲丧者未能在应承的限期内再次阅读，则将其视为有缺陷，而且将从头分派其分区，分派给该组中别的的"康健"斲丧者。该截至日期由max.poll.interval.ms在斲丧者客户端属性节制，默认环境下配置为五分钟。 用交通体系来做个类比，主题就像是高速公路，分区就是车道。记录就是等同于汽车，其搭客对应于记录值。只要保持行车蹊径，几辆车就可以安详地在统一条高速公路上行驶。共享沟通线路的汽车按次序行驶，形成行列。此刻，假设每条车道通向一个匝道，将其流量转移到某个位置。假如一个匝道会萃了，其他匝道也许仍能顺畅活动。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
