1. 介绍

本文记录一些kafka生产使用的一些问题。

org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed due to group rebalance

原因分析: consumer进行poll的时候耗时太久,导致发送hearbeat间隔太长,coordinator认为consumer死了,就发生了rebalance
解决方案:Kafka CommitFailedException consumer exception

Marking the coordinator xxxx dead.

原因分析: offset提交请求、获取offset等都会产生这个日志。往往伴随consumer rebalance出现
解决方案: Kafka Consumer Marking the coordinator 2147483647 dead

kafka broker之间异常的ISR收缩,然后又马上扩展;还有偶发的YGC问题

原因分析: spark streaming使用0.8版本的consumer去消费的时候,如果这些流处理任务非常多,会给ZK带来压力(ZK上能看到一些异常日志),从而产生这些异常现象。
解决方案: spark streaming改用direct stream