请求处理中...
请求处理中...
1 Kafka生产过程分析
大数据开发之Kafka生产过程的分析
1.1 写入方式
producer采用推(push)模式将消息发布到broker，每条消息都被追加(append)到分区(patition)中，属于顺序写磁盘(顺序写磁盘效率比随机写内存要高，保障kafka吞吐率)。
1.2 分区(Partition)
消息发送时都被发送到一个topic，其本质就是一个目录，而topic是由一些Partition Logs(分区日志)组成，其组织结构如下图所示：
我们可以看到，每个Partition中的消息都是有序的，生产的消息被不断追加到Partition log上，其中的每一个消息都被赋予了一个唯一的offset值。
1)分区的原因
(1)方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据了;
(2)可以提高并发，因为可以以Partition为单位读写了。
2)分区的原则
(1)指定了patition，则直接使用;
(2)未指定patition但指定key，通过对key的value进行hash选出一个patition;
(3)patition和key都未指定，使用轮询选出一个patition。
1.3 副本(Replication)
同一个partition可能会有多个replication(对应 server·properties 配置中的 default·replication·factor=N)。没有replication的情况下，一旦broker 宕机，其上所有 patition 的数据都不可被消费，同时producer也不能再将数据存于其上的patition。引入replication之后，同一个partition可能会有多个replication，而这时需要在这些replication之间选出一个leader，producer和consumer只与这个leader交互，其它replicationfollower从leader 中复制数据。
1.4 写入流程
producer写入消息流程如下：
1)producer先从broker-list节点找到该partition的leader
2)producer将消息发送给该leader
3)leader将消息写入本地log
4)followers从leader pull消息，写入本地log后向leader发送ACK
5)leader收到所有ISR中的replication的ACK后，增加HW(high watermark，最后commit 的offset)并向producer发送ACK
由于时间关系，小编就介绍到这里了。如果觉得有用，就请多多关注一品威客网!如果你需要app开发，网络推广，设计，文案写作，营销策划等服务，欢迎到一品威客网发布相关需求，让广大的服务商为您解决难题。
交易额: 186.79万元
无 |河南省 |洛阳市 |洛龙区
交易额: 151.77万元
无 |浙江省 |台州市 |玉环县
交易额: 128.29万元
工作室 |广东省 |深圳市 |南山区
交易额: 110.67万元
公司 |浙江省 |温州市 |瓯海区
成为一品威客服务商，百万订单等您来有奖注册中
价格是多少？怎样找到合适的人才？
￥1000 已有2人投标
￥5000 已有1人投标
￥1000 已有0人投标
￥10000 已有0人投标
￥100 已有1人投标
￥5000 已有0人投标
￥1000 已有0人投标
￥5000 已有0人投标
企业QQ
智能客服
