当前位置:   article > 正文

用flume从kafka导数据到kafka_if the event header contains a topic

if the event header contains a topic

flume从kafka导数据到kafka时有坑,Kafka Source可以正常从指定的Topic中读取数据,但在Kafka Sink中配置的目标Topic不起作用,数据仍然会被写入到Source中指定的Topic中,造成死循环。

产生原因:If the event header contains a “topic” field, the event will be published to that topic overriding the topic configured here(来自flume官网)

解决方法:使用Flume拦截器,修改event header中key=topic的值为目标topic,拦截器使用Static interceptor。
## Source 拦截器

  1. agent_myAgent.sources.r1.interceptors = i1
  2. agent_myAgent.sources.r1.interceptors.i1.type = static
  3. agent_myAgent.sources.r1.interceptors.i1.key = topic
  4. agent_myAgent.sources.r1.interceptors.i1.preserveExisting = false
  5. agent_myAgent.sources.r1.interceptors.i1.value = sinkTopic

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/在线问答5/article/detail/898238
推荐阅读
相关标签
  

闽ICP备14008679号