logstash通过kafka通道采集日志信息_logstash kafka consumer_threads

1.修改文件/opt/app/elk/logstash-7.5.1/config.d/config1.conf，在input下添加kafka采集配置

#192.168.128.130:9103:kafka地址
#topics:主题
kafka {
 bootstrap_servers => ["192.168.128.130:9103"]
 group_id => "logstash"
 topics => ["demo"]
 consumer_threads => 1
 decorate_events => true
 add_field => {"from" => "demo"}
}

修改完配置文件后，不需要手动重启，因为之前在启动logstash时，配置了以下内容

kafka消息发送端发送消息

#进入kafka容器
docker exec -it kafka sh
 
#进入到/opt/kafka/bin目录
cd /opt/kafka/bin
 
#启动消息发送端
./kafka-console-producer.sh --broker-list localhost:9092 --topic demo

logstash控制台会输出以下内容

kibana服务中查询出es的mylog索引中会采集到kafka的信息

日志平台搭建第一章：Linux 安装elasticsearch-7.5.1_bill447的博客-CSDN博客
日志平台搭建第二章：Linux使用docker安装elasticsearch-head_bill447的博客-CSDN博客
日志平台搭建第三章：Linux安装logstash_bill447的博客-CSDN博客
日志平台搭建第四章：Linux安装kibana_bill447的博客-CSDN博客
日志平台搭建第五章：Linux安装Kafka_bill447的博客-CSDN博客
日志平台搭建第六章：logstash通过kafka通道采集日志信息_bill447的博客-CSDN博客
日志平台搭建第七章：Linux安装kafka-manager_bill447的博客-CSDN博客
日志平台搭建第八章：Linux安装filebeat_bill447的博客-CSDN博客