启动kafka和flume的命令_flume启动命令

测试Flume采集的数据能否同时发送到HBase和Kafka集群。

（1）启动Kafka

        进入/home/hadoop/app/kafka目录，在hadoop01节点上启动消费者，启动命令如下所示。

>>> $ bin/kafka-console-consumer.sh--bootstrap-server localhost:9092 --topic sogoulogs

（2）启动Flume聚合服务

        进入/home/hadoop/app/flume目录，在hadoop02和hadoop03节点上分别启动Flume服务，启动命令如下所示。

>>> $ bin/flume-ng agent -n agent1 -c conf -f conf/avro-file-selector-hbase-        
      kafka.properties -Dflume.root.logger=INFO,console 

（3）启动Flume采集服务

        进入/home/hadoop/app/flume目录，在hadoop01节点上启动Flume服务，启动命令如下所示。

>>> $ bin/flume-ng agent -n agent1 -c conf -f conf/taildir-file-selector-avro.properties 
      -Dflume.root.logger = INFO,consloe

（4）准备测试数据

        进入hadoop01节点所在的/home/hadoop/data/flume/logs目录，向监控日志sogou.log文件添加新数据，具体操作如下所示。

>>> $echo '00:00:11 19433525556885 [悉尼大学] 1 65 www.tommorow.edu.cn/' >> sogou.log

（5）查看数据结果

        在hbase shell中，利用scan命令查看sogoulogs表中的数据，具体操作如下所示。

>>> $ bin/hbase shell
hbase(main):014:0 > scan 'sogoulogs'

        在Kafka消费者控制台中，查看消费sogoulogs主题数据，具体操作如下所示。

>>> $ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sogoulogs

        如果在HBase数据库和Kafka消息队列中都能查看到采集的数据，说明Flume成功采集了用户行为数据并写入了Kafka和HBase集群。