赞
踩
首先是问题的几个可能产生原因:
1. 提交任务的客户端节点与集群时间有没有偏差5分钟以上
2. 配置文件是不是客户端上最新的
3. zk依赖包是不是华为的,不能是开源的
4. zookeeper.server.principal 这个参数是不是 zookeeper/hadoop.hadoop.com
依次排查 1、2 没问题
在代码中进行了4的修改 没有改3的情况下 报错依旧
从华为客户端中 /opt/client/Kafka/kafka/libs/目录下拷贝出三个jar包 (不知道具体是哪个有修改 网上有说改了kafka,华为技术支持说zookeeper,保险起见都使用华为的)
kafka_2.11-1.1.0.jar
kafka-clients-1.1.0.jar
zookeeper-3.5.1.jar
- mvn install:install-file -Dfile=/Users/other/jars/kafka_2.11-1.1.0.jar -DgroupId=org.apache.kafka -DartifactId=huawei_kafka -Dversion=1.1.0 -Dpackaging=jar
-
- mvn install:install-file -Dfile=/Users/other/jars/kafka-clients-1.1.0.jar -DgroupId=org.apache.kafka -DartifactId=kafka-client -Dversion=1.1.0 -Dpackaging=jar
-
- mvn install:install-file -Dfile=/Users/other/jars/zookeeper-3.5.1.jar -DgroupId=org.apache.zookeeper -DartifactId=zookeeper -Dversion=3.5.1 -Dpackaging=jar
在pom.xml中的配置:
- <dependency>
- <groupId>org.apache.kafka</groupId>
- <artifactId>huawei_kafka</artifactId>
- <version>1.1.0</version>
- </dependency>
- <dependency>
- <groupId>org.apache.kafka</groupId>
- <artifactId>kafka-client</artifactId>
- <version>1.1.0</version>
- </dependency>
-
- <dependency>
- <groupId>org.apache.zookeeper</groupId>
- <artifactId>zookeeper</artifactId>
- <version>3.5.1</version>
- </dependency>
替换了jar包后问题解决
真的是坑啊 自定义了jar还没有提前说明 浪费了好几天时间
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。