目录 |
---|
Consumers
org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition.
贡献者 : m4kE
QQ : 334552710
时间 : 2016 2016-10-19 10:37:21
原因 : This server does not host this topic-partition.
场景 : 把host弄成了域名,每次下线kafka机器的时候都是先下后上。
- storm-kafka 消费 kafka 数据。
- Kafka 的节点突然下线(事先没有通知)。
- 使用的是 BrokerHosts - ZkHosts,具体细节请看 http://www.apache.wiki/pages/viewpage.action?pageId=2884700#ApacheKafka集成-ZkHosts。
解决 :
首先查看你 Topic 的详细信息,包括分区,Leader 之类的,使用下面的命令,替换成自己的参数,确定好相关的信息。之类的,使用下面的命令,替换成自己的参数,确定好相关的信息。然后重启 Storm Topology 即可!~
代码块 language bash theme Eclipse > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
- 然后修改相关的代码配置参数即可!~请看 http://www.apache.wiki/pages/viewpage.action?pageId=2884700#ApacheKafka集成-ZkHosts。默认情况下 broker-partition 映射每隔60秒刷新一次从 Zookeeper,你可以将它改变为你想要的值,通过设置 host.refreshFreqSecs。(可以试一试,结果未知)。