Kafka异常重启后无法消费.doc

4
Kafka异常重启后无法消费
事故起因
，安稳了一天，结果第二天晚上又出现了新的问题，发现有些程序无法正常消费Kafka了。
这个问题在网上找了一下，发现有类似的经历，都是Kafclientld=consumer-1,groupld=console-consumer-28334]Discoveredgroupcoordinatorwxoddc2^^B^9^(^^^^7^'83647ra[2018-10-1421:20:28,860]INFO[ConsumerclientId=consumer-1,groupId=console-consumer-28334]Groupcoordinatorwxoddc2nn1:9092(id:2147483647rack[2018-10-1421:20:28,962]INFO[ConsumerclientId=consumer-1,groupId=console-consumer-28334]Discoveredgroupcoordinatorwxoddc2nn1:9092(id:2147483647ra[2018-10-1421:20:28,962]INFO[ConsumerclientId=consumer-1,groupId=console-consumer-28334](Re-)joini^^^^^^^^^^^h^H^^^^^^^^^^^^H')isl[2018-10-1421:20:29,065]INFO[ConsumerclientId=consumer-1,groupId=console-consumer-28334]Discoveredgroupcoordinatorwxoddc2nn1:9092(id:2147483647ra
日志中的wx0ddc2nn1主机就是我们的0号节点，客户端无法消费的原因是发现Coordinator在0号节点，但是0号节点认为该Coordinator无效,刚开始怀疑是负载较大，我们查询了一下_consumer_offsets这个topic的Ieader居然全部是0号节点，而且只有两个副本，另外一个副本在1号节点上。
4
第一次尝试
把一些分区的leader调整到1号节点，发现也无法正常消费。
基本说明了一个问题，消费问题与负载不相关，但是可能与这两个节点异常启动过有关。
解决问题的过程
对―consumer_offsets进行整体的分区调整，调整为3个分区，并且把leader和副本分区均匀分配在6个节点上，发出了调整指令左右，有部分节点的leader调整到其他节点了。
我们按照前面的消费组所处__consumer_offsets的分区的计算算法，找到合适的group名，譬如：tttt，它的partition为44,发的leader落在了2号节点，然后，我们启动命令行消费者：
******@wxoddc2dn4:~/-$bin/kafka-console---zookeeperzk01--topictest--max-HHHm!--groi
{"app":{"businessid":"4","source":"