运用 Partition 实现并行办理题目

无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个成果(好简朴的样子)，一是 Producer 出产的数据存到 broker，二是 Consumer 从 broker 读取数据。那 Kafka 的快也就表此刻读写两个方面了，下面我们就聊聊 Kafka 快的缘故起因。

我们都知道 Kafka 是一个 Pub-Sub 的动静体系，无论是宣布照旧订阅，都要指定 Topic。

Topic 只是一个逻辑的观念。每个 Topic 都包括一个或多个 Partition，差异 Partition 可位于差异节点。

一方面，因为差异 Partition 可位于差异呆板，因此可以充实操作集群上风，实现呆板间的并行处理赏罚。另一方面，因为 Partition 在物理上对应一个文件夹，纵然多个 Partition 位于统一个节点，也可通过设置让统一节点上的差异 Partition 置于差异的磁盘上，从而实现磁盘间的并行处理赏罚，充实验展多磁盘的上风。

能并行处理赏罚，速率必定会有晋升，多个工人必定比一个工人干的快。

“可以并行写入差异的磁盘?那磁盘读写的速率可以节制吗?

那就先简朴扯扯磁盘/IO 的那些事

“硬盘机能的制约身分是什么?怎样按照磁盘I/O特征来举办体系计划?硬盘内部首要部件为磁盘盘片、传下手臂、读写磁头和主轴马达。现实数据都是写在盘片上，读写首要是通过传下手臂上的读写磁头来完成。现实运行时，主轴让磁盘盘片动弹，然后传下手臂可舒展让读取头在盘片长举办读写操纵。磁盘物理布局如下图所示：

因为单一盘片容量有限，一样平常硬盘都有两张以上的盘片，每个盘片有两面，都可记录信息，以是一张盘片对应着两个磁头。盘片被分为很多扇形的地区，每个地区叫一个扇区。盘片外貌上以盘片中心为圆心，差异半径的齐心圆称为磁道，差异盘片沟通半径的磁道所构成的圆柱称为柱面。磁道与柱面都是暗示差异半径的圆，在很多场所，磁道和柱面可以交流行使。磁盘盘片垂直视角如下图所示：

图片来历：commons.wikimedia.org影响磁盘的要害身分是磁盘处事时刻，即磁盘完成一个I/O哀求所耗费的时刻，它由寻道时刻、旋转耽误和数据传输时刻三部门组成。机器硬盘的持续读写机能很好，但随机读写机能很差，这首要是由于磁头移动到正确的磁道上必要时刻，随机读写时，磁头必要不断的移动，时刻都挥霍在了磁头寻址上，以是机能不高。权衡磁盘的重要首要指标是IOPS和吞吐量。在很多的开源框架如 Kafka、HBase 中，都通过追加写的方法来尽也许的将随机 I/O 转换为次序 I/O，以此来低落寻址时刻和旋转延时，从而最大限度的进步 IOPS。感乐趣的同窗可以看看 磁盘I/O那些事[1]

磁盘读写的快慢取决于你怎么行使它，也就是次序读写可能随机读写。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!