spark streaming 读取kafka数据问题_kafka error reading field 'version': java.nio.buff

作者：运维做开发 | 2024-06-22 03:37:45

踩

kafka error reading field 'version': java.nio.bufferunderflowexception

17/02/13 15:18:05 WARN consumer.ConsumerFetcherThread: [ConsumerFetcherThread-GROUP_ID_1_], Error in fetch kafka.consumer.ConsumerFetcherThread$FetchRequest@145c6c74. Possible cause: java.nio.BufferUnderflowException

使用的CDH5.7.1的spark streaming 版本 1.6.0

kafka 0.8

最终发现CDH5.7.1 的spark streaming spark-streaming-kafka_2.10- 包是基于Kafka 0.9 打包的

kakfa 0.8和0.9内部协议有一个比较大的变化，导致这个问题。

将kafka版本升级到0.9即可。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/745221