安装flume,并简单使用_flume excel

1、安装flume

首先解压flume安装包到CentOS7虚拟机的指定目录(基本操作)
tar -zxf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /opt

进入到/opt文件夹（刚刚安装flume的文件夹），改名
mv apache-flume-1.6.0-cdh5.14.0-bin/ flume160514

进入/flume160514/conf
复制flume-env.sh.template
cp flume-env.sh.template flume-env.sh

修改flume-env.sh的配置
vi ./flume-env.sh
增加两行配置
export JAVA_HOME=/opt/jdk8 （jdk安装目录）
export JAVA_OPTS="-Xms2000m -Xmx2000m -Dcom.sun.management.jmxremote" （给flume更多的内存和预先分配，启用远程监控通过jmx）

进入/flume160514/conf
mkdir job (建一个空白文件夹)

输入以下4个指令：
yum install -y nc
yum list telnet* -列出telnet相关的安装包
yum install telnet-server -安装telnet服务
yum install telnet.* -安装telnet客户端

下面开始测试是否安装成功：
输入命令: nc -lk 44444
然后另开一个新的虚拟机窗口：telnet localhost 44444

然后随便输入一些字符（比如这里我输入“abc”）：

然后可以看到在另一个窗口自动出现“abc”：

想要关闭时，只要关闭执行：nc -lk 44444 的一端就行了。

到这里就说明安装flume成功了！

简单使用flume

进入上面创建的/job目录中

简单使用flume1

vi netcat-flume-logger.conf （创建一个新的文件）
写入：

完成后进入/flume160514 输入命令：

./bin/flume-ng agent --name a1 --conf conf/ --conf-file conf/job/netcat-flume-logger.conf -Dflume.root.logger=INFO,console
1

然后再另开一个新的虚拟机窗口：telnet localhost 44444
输入“adf” 回车

再回到原来的窗口,可以看到：

这就是一次简单的使用。

简单使用flume2

下面再进行一次：
退出后再进入/job
vi tmp1.txt

保存退出后vi file-flume-logger.conf

保存退出后，在/flume160514 目录下：
./bin/flume-ng agent --name a2 --conf conf/ --conf-file conf/job/file-flume-logger.conf -Dflume.root.logger=INFO,console

显示：

简单使用flume3

先把这几个目录建起来：
/opt/kb07file/proData
/opt/kb07file/flumeFile/events
/opt/kb07file/flumeFile/checkpoint/events
/opt/kb07file/flumeFile/data/events

进入/job
vi ./events-flume-logger.conf

events.sources = eventsSource
events.channels = eventsChannel
events.sinks = eventsSink

events.sinks.eventsSink.type = logger

events.sources.eventsSource.type = spooldir
events.sources.eventsSource.spoolDir = /opt/kb07file/flumeFile/events
events.sources.eventsSource.deserializer = LINE
events.sources.eventsSource.deserializer.maxLineLength = 32000
events.sources.eventsSource.includePattern = events_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv

events.channels.eventsChannel.type = file
events.channels.eventsChannel.checkpointDir = /opt/kb07file/flumeFile/checkpoint/events
events.channels.eventsChannel.dataDirs = /opt/kb07file/flumeFile/data/events

events.sources.eventsSource.channels = eventsChannel
events.sinks.eventsSink.channel = eventsChannel
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

然后可以用excel创建一个名为：events.csv 的文件，在里面随便输入一些数据用作测试
把events.csv导入/opt/kb07file/proData 文件夹

在/opt/flume160514/ 下执行命令：
./bin/flume-ng agent --name events --conf conf/ --conf-file conf/job/events-flume-logger.conf -Dflume.root.logger=INFO,console

另开一个窗口，在/opt/kb07file/proData 下执行：
install events.csv /opt/kb07file/flumeFile/events/events_2020-08-16.csv

等待上一个窗口执行完成。

然后你可以看到在/opt/kb07file/flumeFile/events 多出了一个events_2020-08-16.csv.COMPLETED 文件。