赞
踩
1、启动后log日志一直不更新
原因:后台起了多个flume进程,故日志出现异常
解决措施:
1.1第一步:查找进程
ps -ef |grep flume
1.2第二步:关闭旧进程
kill -kill 进程号
2、 按照尚硅谷一直报错hdfs和kafka server需要指定。
将source和sink的channel放上来。
以下是解决后的配置。
- ## 组件
- a1.sources= r1
- a1.channels= c1
- a1.sinks= k1
-
-
- ## source1
- a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
- a1.sources.r1.batchSize = 5000
- a1.sources.r1.batchDurationMillis = 2000
- a1.sources.r1.kafka.bootstrap.servers
- = hadoop1:9092,hadooop2:9092,hadoop3:9092
- a1.sources.r1.kafka.topics=hello
- a1.sources.r1.channels = c1
-
-
- ## channel1
- a1.channels.c1.type = file
- a1.channels.c1.checkpointDir= /program/flume-1.10.0/checkpoint/behavior1
- a1.channels.c1.dataDirs = /program/flume-1.10.0/data/behavior1/
- a1.channels.c1.keep-alive = 6
-
-
- ## sink1
- a1.sinks.k1.type = hdfs
- a1.sinks.k1.hdfs.path = hdfs://10.1.13.73:9000/origin_data/testmall/log/hello/%Y-%m-%d/%H%M/%S
- a1.sinks.k1.channel= c1
- a1.sinks.k1.hdfs.filePrefix = loghello-
- a1.sinks.k1.hdfs.round = true
- a1.sinks.k1.hdfs.roundValue = 1
- a1.sinks.k1.hdfs.roundUnit = minute
3、hdfs接口配置9000报连接错误。 正常写8020接口
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。