flume的安装和配置_flume安装配置

原创申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址
全文共计2439字，阅读大概需要3分钟
欢迎关注我的个人公众号：不懂开发的程序猿

一、任务描述

Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。本试验就是通过学习flume工具的安装，为后面学习flume实现对数据信息的采集以便于解决实际中存在的问题打下基础。

二、任务目标

熟练flume的安装和配置，理解flume的原理和应用

三、任务环境

本次环境是：Ubuntu16.04 + jdk1.8.0_73 + hadoop-2.7.3+flume-1.7.0

四、任务分析

解压fulem的安装包，然后配置环境变量，修改flume配置文件，最后测试是否安装成功。

五、任务实施

步骤1、解压flume压缩包

在linux终端执行切换命令：【cd /simple/soft】并查看是否存在解压后flume文件，如果不存在，则需要查看/simple/soft目录下是否存在flume压缩包文件apache-flume-1.7.0-bin.tar.gz。如图1所示

图1 查看压缩包所在目录

在linux命令终端执行解压命令：【tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /simple】对flume压缩包进行解压 。如图2所示

图2 解压需要的压缩包

解压flume压缩包之后，通过执行ls命令：【ls apache-flume-1.7.0-bin/】来查看flume解压后的目录结构。如图3所示

图3 查看flume的目录结构

为了方便美观将apaceh-flume-1.7.0-bin修改为flume。如图4所示

图4 修改名字

进入flume目录下的bin目录下的内容列表。可以看到该目录下有一个执行文件flume-ng 。如图5所示

图5 查看执行文件

输入命令【vim /etc/profile】进入配置文件，配置flume的环境变量,配置完成后保存，然后输入命令【source /etc/profile】使环境变量生效。如图6所示

图6 配置环境变量

♥ 知识链接
概念
  Flume的一些核心概念：

步骤2、 配置flume

在/simple/flume/conf目录下可以看到有个配置文件模板flume-env.sh.template，首先更改该文件名，需要执行命令：mv flume-env.sh.template flume-env.sh对conf目录下的配置文件进行重命名。如图6所示

图7 重命名配置文件
  首先通过编辑命令：【vim flume-env.sh】进入配置文件中然后修改配置文件中的内容。如图8所示

图8 编辑配置文件

六、任务测试

在任意目录下输入【flume-ng version】查看flume是否安装成功。如图9

图9 检查是否安装成功