k8s 全面掌控日志系统

概述

为了提高系统运维和故障排查的效率， 日志系统采用 ELK（Elasticsearch、Logstash、Kibana）技术栈，通过 FileBeats 作为日志收集器，将来自不同节点的日志数据汇总并存储在 Elasticsearch 中，最终通过 Kibana 进行可视化展示和分析。

系统配置包括 FileBeats 的收集规则、Logstash 的处理管道和 Elasticsearch 的索引设置。部署过程采用 Kubernetes 的 Helm Chart 实现，简化了安装和管理。

架构

FileBeats + Kafka + ELK

⚡️： 在不影响旧有日志系统运行的前提下，我们在现有的 ELK+Kafka 架构基础上，新增了 Filebeat 作为日志收集器，用于采集 Kubernetes 日志。

​ 日志采集器Logstash其功能虽然强大，但是它依赖java、在数据量大的时候，Logstash进程会消耗过多的系统资源，这将严重影响业务系统的性能，而filebeat就是一个完美的替代者，它基于Go语言没有任何依赖，配置文件简单，格式明了，同时filebeat比logstash更加轻量级，所以占用系统资源极少，非常适合安装在生产机器上。这就是推荐使用filebeat，也是 ELK Stack 在 Agent 的第一选择。
​ 此架构适合大型集群、海量数据的业务场景，它通过将前端Logstash Agent替换成filebeat，有效降低了收集日志对业务系统资源的消耗。同时，消息队列使用kafka集群架构，有效保障了收集数据的安全性和稳定性，而后端Logstash和Elasticsearch均采用集群模式搭建，从整体上提高了ELK系统的高效性、扩展性和吞吐量。我所在的项目组采用的就是这套架构，由于生产所需的配置较高，且涉及较多持久化操作，采用的都是性能高配的云主机搭建方式而非时下流行的容器搭建

部署

elasticsearch

安装方式：helm

安装版本：8.5.1

⚡️ helm安装8版本elastic默认开启ssl认证，我们这边禁用认证

开始前奏操作，生成secret

# 根据提供的 elastic-certificates.p12 将 pcks12 中的信息分离出来，写入文件
openssl pkcs12 -nodes -passin pass:'' -in elastic-certificates.p12 -out elastic-certificate.pem

添加证书和密码到集群
# 添加证书
kubectl create secret generic elastic-certificates --from-file=elastic-certificates.p12
kubectl create secret generic elastic-certificate-pem --from-file=elastic-certificate.pem

# 设置集群用户名密码，用户名不建议修改
##命令行
kubectl create secret generic elastic-credentials \
  --from-literal=username=elastic --from-literal=password=123456
##yaml
apiVersion: v1
data:
  password: MTIzNDU2
  username: ZWxhc3RpYw==
kind: Secret
metadata:
  name: elastic-credentials
  namespace: elastic
type: Opaque
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22