ELK结合Beats工具的搭建使用(Metricbeat、Filebeat、Topbeat)_topbeat filebeat_elk beats

https://www.elastic.co/cn/downloads/beats/metricbeat

解压

tar xzvf metricbeat-6.3.2-linux-x86_64.tar.gz

配置

• module: system

period: 3s

metricsets:

• cpu

• load

• memory

• network

• process

• process_summary

processors: [“.*”]

process.include_top_n:

by_cpu: 5 # include top 5 processes by CPU

by_memory: 5 # include top 5 processes by memory

model：要监控的模块

metricset：监控指标，要保证是模块能够提供的

enabled：是否使能对该模块的监控，默认true

period：每次执行取数据的时间间隔，如果系统无效，则每个周期会返回一个错误信息

hosts：从哪些主机列表中取数据（不是所有模块都需要配置，如system）

field：数据的附加信息，会在输出文档中进行分组，字典格式配置

fields: {project: “myproject”, instance-id: “574734885120952459”}

tag：为数据做标记，便于搜索

tags: [“my-service”, “hardware”, “test”]

metricbeat支持的model有:

Apache,couchbase,Docker,HAProxy,kafka,MongoDB,MySQL,Nginx,PostgreSQL,Prometheus,Redis,System,ZooKeeper

默认model是system,在后面追加docker部分即可,metricsets设置要监控的项。

System可监控的项为:

Core,cpu,diskio,filesystem,fsstat,load,memory,network,process,socket

Core:提供每个cpu的load statistics

Fsstat:所有文件系统的信息统计.

Docker可监控的项为:

Container,cpu,diskio,info,memory,network

Container:运行状态的容器信息。

启动

sudo ./metricbeat -e -c metricbeat.yml

filebeat

下载地址 ： https://www.elastic.co/cn/downloads/past-releases#filebeat
Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。

以下是filebeat的工作流程：当你开启filebeat程序的时候，它会启动一个或多个探测器（prospectors）去检测你指定的日志目录或文件，对于探测器找出的每一个日志文件，filebeat启动收割进程（harvester），每一个收割进程读取一个日志文件的新内容，并发送这些新的日志数据到处理程序（spooler），处理程序会集合这些事件，最后filebeat会发送集合的数据到你指定的地点。

(个人理解，filebeat是一个轻量级的logstash，当你需要收集信息的机器配置或资源并不是特别多时，使用filebeat来收集日志)

下载安装包

https://www.elastic.co/cn/products/beats/filebeat
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.3-linux-x86_64.tar.gz

解压

tar xzvf filebeat-6.3.2-linux-x86_64.tar.gz

配置filebeat.yml
===== Filebeat inputs ======中配置监控的log，可一个或多个

filebeat.inputs:

• type: log

Change to true to enable this input configuration.

enabled: true

paths:

• /var/log/*.log

#- c:\programdata\elasticsearch\logs\*

注意：enabled默认设置是false，使用时一定要改成true

=== Elasticsearch template setting ====配置es写入分片数

setup.template.settings:

index.number_of_shards: 3

#index.codec: best_compression

#_source.enabled: false

------- Elasticsearch output ----------配置es端口，默认localhost

output.elasticsearch:

Array of hosts to connect to.

hosts: [“localhost:9200”]

Optional protocol and basic auth credentials.

#protocol: “https”

#username: “elastic”

#password: “changeme”

--------- Logstash output ------配置输出到logstash
启动

sudo ./filebeat -e -c filebeat.yml

Topbeat

topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引。

topbeat收集的指标有：
系统统计信息

1、系统负载: 最后1分钟、最后5分钟、最后15分钟
2、CPU使用情况: user (和百分比), system, idle, IOWait等等
3、内存使用情况: 总共, 已用 (和百分比), 剩余等等
4、swap使用情况:总共, 已用 (和百分比), 剩余等等

每个进程的统计信息

1、进程名
2、进程PID
3、进程状态
4、进程ID
5、进程使用CPU情况: 用户 (和百分比), 系统, 总数 和 启动时间
6、进程使用内存情况: 虚拟内存，常驻内存(和百分比) 和 共享内存

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数软件测试工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上软件测试开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注软件测试）
[外链图片转存中…(img-QkC7UHju-1712962706423)]

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！