Gausst松鼠会

这个屌丝很懒，什么也没留下！

热门标签

容器日志采集的三种方式实战操作讲解（Filebeat）_filebeat收集容器日志

作者：Gausst松鼠会 | 2024-02-09 23:42:58

踩

filebeat收集容器日志

文章目录

一、概述

Filebeat 是一个轻量级的开源数据采集器，通常用于从不同来源收集和发送日志和事件数据。在 Kubernetes 或 Docker 环境中，Filebeat 常用于采集容器的日志。以下是通过 Filebeat 采集容器日志的三种常见方式的实战讲解：

【第一种方式】：Filebeat 与应用运行在同一容器

部署Filebeat：首先，在Kubernetes中或Docker环境中，部署 Filebeat 作为一个Sidecar容器，它将与应用容器一起运行（在同一个容器中运行）。
配置Filebeat：在Filebeat的配置文件（filebeat.yml）中，定义日志路径，以告诉 Filebeat 从哪里采集容器日志。
输出设置：配置Filebeat将采集到的日志数据发送到所需的目的地，如Elasticsearch、Logstash或Kafka。
启动Filebeat：启动Filebeat容器，它将开始采集容器的日志，并将其发送到配置的目的地。

【第二种方式】：Filebeat 与应用运行不在同一容器

部署Filebeat：同样，在Kubernetes中或Docker环境中，部署 Filebeat作为一个独立的 Sidecar 容器。
配置Filebeat：在Filebeat的配置文件中，使用Docker日志驱动来采集容器日志。
输出设置：配置Filebeat的输出，以将采集到的日志数据发送到目标。
启动Filebeat：启动Filebeat容器，它将开始采集容器的日志。

【第三种方式】通过 Kubernetes Filebeat DaemonSet

部署 Filebeat：在Kubernetes中，可以使用Filebeat DaemonSet部署Filebeat作为一个集群级别的日志采集器。
Filebeat配置：在Filebeat的配置中，设置输入插件以采集容器的日志。
Filebeat输出：配置Filebeat的输出插件，以将采集到的日志数据发送到目标，如Elasticsearch或其他存储。
启动Filebeat：启动Filebeat DaemonSet，它将在Kubernetes集群中采集容器的日志。

在这里插入图片描述
Filebeat 官方文档：https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-overview.html

以前也写过关于 filebeat 更详细的介绍和实战操作的文章，只不过 filebeat 不是部署在 k8s 上，感兴趣的小伙伴可以先查阅我之前的文章：

二、K8s 集群部署

k8s 环境安装之前写过很多文档，可以参考我以下几篇文章：

三、ElasticSearch 和 kibana 环境部署

这里可以选择以下部署方式：

通过docker-compose部署：通过 docker-compose 快速部署 Elasticsearch 和 Kibana 保姆级教程
on k8s 部署：ElasticSearch+Kibana on K8s 讲解与实战操作（版本7.17.3）

这里我选择 docker-compose 部署方式。

1）部署 docker

# 安装yum-config-manager配置工具
yum -y install yum-utils

# 建议使用阿里云yum源：（推荐）
#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安装docker-ce版本
yum install -y docker-ce
# 启动并开机启动
systemctl enable --now docker
docker --version
1
2
3
4
5
6
7
8
9
10
11
12

2）部署 docker-compose

curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

chmod +x /usr/local/bin/docker-compose
docker-compose --version
1
2
3
4

3）创建网络

# 创建
docker network create bigdata

# 查看
docker network ls
1
2
3
4
5

4）修改 Linux 句柄数和最大线程数

#查看当前最大句柄数
sysctl -a | grep vm.max_map_count
#修改句柄数
vi /etc/sysctl.conf
vm.max_map_count=262144

#临时生效，修改后需要重启才能生效，不想重启可以设置临时生效
sysctl -w vm.max_map_count=262144

#修改后需要重新登录生效
vi /etc/security/limits.conf

# 添加以下内容
* soft nofile 65535
* hard nofile 65535
* soft nproc 4096
* hard nproc 4096

# 重启服务，-h 立刻重启，默认间隔一段时间才会开始重启
reboot -h now
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

5）下载部署包开始部署

# 这里选择 docker-compose 部署方式
git clone https://gitee.com/hadoop-bigdata/docker-compose-es-kibana.git

cd docker-compose-es-kibana

chmod -R 777 es kibana

docker-compose -f docker-compose.yaml up -d

docker-compose ps
1
2
3
4
5
6
7
8
9
10

四、容器日志采集的三种方式实战操作

1）【第一种方式】：Filebeat 与应用运行在同一容器（不推荐）

这种方式应用服务与采集服务是没有隔离性的。一般不推荐使用这种方式。这里使用 Trino on k8s 来测试

1、下载 Trino on k8s 包

helm repo add trino https://trinodb.github.io/charts

helm pull trino/trino

tar -xf trino-0.14.0.tgz
1
2
3
4
5

2、重新构建镜像（将filebeat打包到Trino镜像中）

【1】下载 trino 镜像

docker pull trinodb/trino:432
1

【2】下载 Filebeat 部署包
官网地址：https://www.elastic.co/cn/downloads/past-releases#filebeat

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-linux-x86_64.tar.gz
1

【3】修改启动脚本

# trio的启动服务脚本：/usr/lib/trino/bin/run-trino
# 注意配置文件，可以打包在容器里，也可以通过configmap管理，配置文件怎么配置，可以看我上面filebeat的文章。
#!/bin/bash

set -xeuo pipefail

launcher_opts=(--etc-dir /etc/trino)
if ! grep -s -q 'node.id' /etc/trino/node.properties; then
    launcher_opts+=("-Dnode.id=${HOSTNAME}")
fi

# 启动filebeat服务
nohup /opt/filebeat-7.6.2-linux-x86_64/filebeat -e -c /opt/filebeat-7.6.2-linux-x86_64/filebeat.yml >/dev/null 2>&1 &

exec /usr/lib/trino/bin/launcher run "${launcher_opts[@]}" "$@"
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

【4】开始重构镜像 Dockerfile

FROM trinodb/trino:432

ADD filebeat-7.6.2-linux-x86_64.tar.gz /opt/

COPY run-trino /usr/lib/trino/bin/run-trino

CMD ["/usr/lib/trino/bin/run-trino"]
1
2
3
4
5
6
7

【5】开始部署

helm install mytrino  ./trino -n trino --create-namespace
1

2）【第二种方式】：Filebeat 与应用运行不在同一容器

1、Pod 下容器之间目录共享实现

默认情况下pod中的容器目录是不共享的，kubernets 可以通过emptyDir实现在同一Pod的不同容器间共享文件系统。示例如下：

apiVersion: v1
kind: Pod
metadata: 
  name: volume-emptydir
spec:
  containers:
  - name: write
    image: centos:centos7
    imagePullPolicy: IfNotPresent
    command: ["bash", "-c", "echo haha > /data/1.txt ;sleep 600000" ]
    volumeMounts:
    - name: data
      mountPath: /data
  - name: read
    image: centos:centos7
    imagePullPolicy: IfNotPresent
    command: ["bash", "-c", "cat  /data/1.txt ; sleep 600000"]
    volumeMounts:
    - name: data
      mountPath: /data
  volumes:
  - name: data
    emptyDir: {}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

2、开始编排部署

【1】添加 coordinator/worker 日志采集配置，trino/templates/deployment-coordinator.yaml，trino/templates/deployment-worker.yaml

        containers:
        - args:
          - -e
          - -E
          - http.enabled=true
          env:
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                apiVersion: v1
                fieldPath: metadata.namespace
          - name: NODE_NAME
            valueFrom:
              fieldRef:
                apiVersion: v1
                fieldPath: spec.nodeName
          image: docker.elastic.co/beats/filebeat:7.17.3
          imagePullPolicy: IfNotPresent
          livenessProbe:
            exec:
              command:
              - sh
              - -c
              - |
                #!/usr/bin/env bash -e
                curl --fail 127.0.0.1:5066
            failureThreshold: 3
            initialDelaySeconds: 10
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 5
          name: filebeat
          readinessProbe:
            exec:
              command:
              - sh
              - -c
              - |
                #!/usr/bin/env bash -e
                filebeat test output
            failureThreshold: 3
            initialDelaySeconds: 10
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 5
          resources:
            limits:
              cpu: "1"
              memory: 200Mi
            requests:
              cpu: 100m
              memory: 100Mi
          securityContext:
            privileged: false
            runAsUser: 0
          volumeMounts:
          - mountPath: /usr/share/filebeat/filebeat.yml
            name: filebeat-config
            readOnly: true
            subPath: filebeat.yml
          - name: data-share-dir
            mountPath: /data/trino/var
            
        volumes:
        - configMap:
            defaultMode: 384
            name: filebeat-config
          name: filebeat-config
        - name: data-share-dir
          emptyDir: {}
    
     # trino 镜像配置也得加上这个共享目录的挂载
          volumeMounts:
          - name: data-share-dir
            mountPath: /data/trino/var
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75

filebeat configmap 配置

apiVersion: v1
data:
  filebeat.yml: |
    filebeat.inputs:
    - type: container
      paths:
        - /data/trino/var/log/*.log
      fields:
        index: k8s-pod-log
      processors:
      - add_kubernetes_metadata:
          host: ${NODE_NAME}
          matchers:
          - logs_path:
              logs_path: "/data/trino/var/log/"

    output.elasticsearch:
      host: '${NODE_NAME}'
      hosts: '192.168.182.110:9200'
      index: "filebeat-%{[fields][index]}-%{+yyyy.MM.dd}"

    setup.template.name: "default@template"
    setup.template.pattern: "filebeat-k8s-*"
    setup.ilm.enabled: false
kind: ConfigMap
metadata:
  annotations:
    meta.helm.sh/release-name: filebeat
    meta.helm.sh/release-namespace: logging
  labels:
    app: filebeat-filebeat
    app.kubernetes.io/managed-by: Helm
  name: filebeat-config
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

3）【第三种方式】通过 Kubernetes Filebeat DaemonSet

这种采集方式可以参考我这篇文章：Filebeat on k8s 日志采集实战操作

容器日志采集的三种方式实战操作讲解就先到这里了，有任何疑问也可关注我公众号：大数据与云原生技术分享，进行技术交流，如本篇文章对您有所帮助，麻烦帮忙一键三连（点赞、转发、收藏）~

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/73357