kafka-python 无故停止消费

2018/09/14

kafka-python异常

环境是2副本6分区kafka主题，但是kafka-python无任何故障停止消费，导致超时触发rebalance

原因

具体原因未知，调试无任何错误日志，消费过程中就那么突然停止了。。。。。

解决方案

换成pykafka后解决。推荐使用balance多消费者（一消费者一分区）

topic.get_balanced_consumer(
            consumer_group='groupId',
            auto_commit_enable=True,
            auto_commit_interval_ms=5000,
            heartbeat_interval_ms=9000,
            managed=True
        )

topic.get_balanced_consumer(

consumer_group='groupId',

auto_commit_enable=True,

auto_commit_interval_ms=5000,

heartbeat_interval_ms=9000,

managed=True

)

kafka-python异常

原因

解决方案

Blogroll