当前位置:   article > 正文

Flume 注意事项_flume logger不打印

flume logger不打印

1、启动后log日志一直不更新

原因:后台起了多个flume进程,故日志出现异常

解决措施:

1.1第一步:查找进程

 ps -ef |grep flume

1.2第二步:关闭旧进程

kill -kill 进程号

2、 按照尚硅谷一直报错hdfs和kafka server需要指定。

将source和sink的channel放上来。

以下是解决后的配置。

  1. ## 组件
  2. a1.sources= r1
  3. a1.channels= c1
  4. a1.sinks= k1
  5. ## source1
  6. a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
  7. a1.sources.r1.batchSize = 5000
  8. a1.sources.r1.batchDurationMillis = 2000
  9. a1.sources.r1.kafka.bootstrap.servers
  10. = hadoop1:9092,hadooop2:9092,hadoop3:9092
  11. a1.sources.r1.kafka.topics=hello
  12. a1.sources.r1.channels = c1
  13. ## channel1
  14. a1.channels.c1.type = file
  15. a1.channels.c1.checkpointDir= /program/flume-1.10.0/checkpoint/behavior1
  16. a1.channels.c1.dataDirs = /program/flume-1.10.0/data/behavior1/
  17. a1.channels.c1.keep-alive = 6
  18. ## sink1
  19. a1.sinks.k1.type = hdfs
  20. a1.sinks.k1.hdfs.path = hdfs://10.1.13.73:9000/origin_data/testmall/log/hello/%Y-%m-%d/%H%M/%S
  21. a1.sinks.k1.channel= c1
  22. a1.sinks.k1.hdfs.filePrefix = loghello-
  23. a1.sinks.k1.hdfs.round = true
  24. a1.sinks.k1.hdfs.roundValue = 1
  25. a1.sinks.k1.hdfs.roundUnit = minute

3、hdfs接口配置9000报连接错误。 正常写8020接口

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/很楠不爱3/article/detail/519913
推荐阅读
  

闽ICP备14008679号