kafka问题收集

1. 介绍

本文记录一些kafka生产使用的一些问题。

org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed due to group rebalance

原因分析: consumer进行poll的时候耗时太久,导致发送hearbeat间隔太长,coordinator认为consumer死了,就发生了rebalance

解决方案:Kafka CommitFailedException consumer exception

Marking th......

kafka producer性能调优

1. 介绍

原文来自linkedin的一篇PPTproducer-performance-tuning-for-apache-kafka。

2. 本文的一些前提

讨论的kafka版本为0.10.0

没有broker端的再压缩

消息都有8字节的时间戳介绍信息

3. 优化目标

给定一个要发送的数据集,在满足持久性、有序性的前提下优化以下两点:

吞吐量

延迟

优化专注于优化平均性能,这样对所有的producer都有效。

4. kafka producer原理回顾

4.1 生产者的关键配置

batch.size: 基于大小的batching策略......

kafka集群间的数据同步和数据转移

1. 介绍

有时候需要跨集群之间的数据同步和数据迁移的需求。这个可以利用官方提供的工具:官方文档的6.1 Basic Kafka Operations

2. 原理说明

这个工具就是启动了一个消费者从源集群消费数据,然后交给一个生产者往目标集群发送消息。

3.使用技巧以及注意点

3.1 使用技巧

开启多个mirror maker进程:mirror ma......