devbox
2023面试高手
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

云原生内容分享(十二)：云原生的日志监控系统(Loki-stack)_helm loki-stack

作者：2023面试高手 | 2024-05-24 19:12:12

赞

踩

helm loki-stack

目录

首先说一下需求

解决该需求可供选择的方案

ELK

Loki

Loki与ELK的主要区别在于：

今天的重头戏 Loki

loki组件介绍

Grafana

loki 架构

数据处理过程

在k8s中部署Loki日志系统

Helm安装

部署

安装

查看

首先说一下需求

  • 公司的容器云运行的应用或某一个节点出现了问题，解决的思路

  • 问题首先被prometheus监控

  1. metric是来说明当前或者历史达到了某个值

  2. alert设置metric达到某个特定的基数触发了告警

仅仅这些日志是不能够解决问题的 还需要看下应用的日志

  • k8s的基本单位是pod

  • pod把日志输出到stdout和stderr

  • 当某个pod的内存变得很大

  • 触发了我们的alert

  • 这个时候管理员

  • 去页面查询确认是哪个pod有问题

  • 然后要确认pod内存变大的原因

  • 我们还需要去查询pod的日志

  • 如果没有日志系统

  • 那么我们就需要到页面或者使用命令进行查询了

  • 如果这个时候应用挂掉了 那么就没有办法再查询到相关日志了

解决该需求可供选择的方案

ELK

优势：

  1. 功能丰富，允许复杂的操作

劣势：

  1. 主流的ELK（全文检索）或者EFK比较重

  2. ES复杂的搜索功能很多都用不上 规模复杂，资源占用高，操作苦难大多数查询只关注一定时间范围和一些简单的参数（如host、service等）

  3. Kibana和Grafana之间切换，影响用户体验

  4. 倒排索引的切分和共享的成本较高

Loki

  1. 最小化度量和日志的切换成本有助于减少异常事件的响应时间和提高用户的体验

  2. 在查询语言的易操作性和复杂性之间可以达到一个权衡

  3. 更具成本效益

Loki与ELK的主要区别在于：

  1. Loki不会对原始的日志数据进行全文索引，而是采用了Prometheus的标签思想，只对标签索引

  2. 日志数据本身也会被压缩，并以chunks（块）的形式存储在对象存储或者本地文件系统

  3. Loki能够以微服务模式运行，也就是把自身的各个模块分解出单个进程运行。比如，通过横向扩展多个查询器（Querier）模块可提高查询性能。

这几点区别使Loki更加轻量和灵活，特别适合云原生环境。

今天的重头戏 Loki

loki组件介绍

  • Promtail

  1. 用来将容器日志发送到 Loki 或者 Grafana 服务上的日志收集工具

  2. 该工具主要包括发现采集目标以及给日志流添加上 Label 标签 然后发送给 Loki

  3. Promtail 的服务发现是基于 Prometheus 的服务发现机制实现的

  • Loki

  • 受 Prometheus 启发的可水平扩展、高可用以及支持多租户的日志聚合系统

  • 使用了和 Prometheus 相同的服务发现机制，将标签添加到日志流中而不是构建全文索引

  • 从 Promtail 接收到的日志和应用的 metrics 指标就具有相同的标签集
    不仅提供了更好的日志和指标之间的上下文切换，还避免了对日志进行全文索引

Grafana

  • 一个用于监控和可视化观测的开源平台

  • 支持非常丰富的数据源

  • 在 Loki 技术栈中它专门用来展示来自 Prometheus 和 Loki 等数据源的时间序列数据
    可进行查询、可视化、报警等操作

  • 可以用于创建、探索和共享数据 Dashboard

  • 鼓励数据驱动

loki 架构

数据处理过程

  • promtail收集日志并将其发送给loki

  • Distributor就是第一个接收日志的组件

  • Loki通过构建压缩数据块来实现批处理和压缩数据

在k8s中部署Loki日志系统

Helm安装

部署

  • 首先添加 Loki 的 Chart 仓库：

  1. helm repo add grafana https://grafana.github.io/helm-charts
  2. helm repo update

  • 获取 loki-stack 的 Chart 包并解压：

helm pull grafana/loki-stack --untar --version 2.9.10 #目前最新的

  • 编辑values文件,选择安装什么组件

    • 这边是安装一套loki-stack(loki+promtail+grafana)

    • 需要提前安装storage (我这边是nfs-storage )

  1. test_pod:
  2.   enabled: true
  3.   image: bats/bats:1.8.2
  4.   pullPolicy: IfNotPresent
  5.  
  6. loki:
  7.   enabled: true
  8.   isDefault: true
  9.   persistence:
  10.     enabled: true
  11.     storageClassName: nfs-storage
  12.     accessModes:
  13.       - ReadWriteOnce
  14.     size: 10Gi
  15.   isDefault: true
  16.   url: http://{{(include "loki.serviceName" .)}}:{{ .Values.loki.service.port }}
  17.   readinessProbe:
  18.     httpGet:
  19.       path: /ready
  20.       port: http-metrics
  21.     initialDelaySeconds: 45
  22.   livenessProbe:
  23.     httpGet:
  24.       path: /ready
  25.       port: http-metrics
  26.     initialDelaySeconds: 45
  27.   datasource:
  28.     jsonData: "{}"
  29.     uid: ""
  30.  
  31.  
  32. promtail:
  33.   enabled: true
  34.   config:
  35.     logLevel: info
  36.     serverPort: 3101
  37.     clients:
  38.       - url: http://{{ .Release.Name }}:3100/loki/api/v1/push
  39.  
  40. fluent-bit:
  41.   enabled: false
  42.  
  43. grafana:
  44.   enabled: true
  45.   persistence:
  46.     enabled: true
  47.     storageClassName: nfs-storage
  48.     accessModes:
  49.       - ReadWriteOnce
  50.     size: 10Gi
  51.   sidecar:
  52.     datasources:
  53.       label: ""
  54.       labelValue: ""
  55.       enabled: true
  56.       maxLines: 1000
  57.   image:
  58.     tag: 8.3.5
  59.  
  60. prometheus:
  61.   enabled: false
  62.   isDefault: false
  63.   url: http://{{ include "prometheus.fullname" .}}:{{ .Values.prometheus.server.service.servicePort }}{{ .Values.prometheus.server.prefixURL }}
  64.   datasource:
  65.     jsonData: "{}"
  66.  
  67. filebeat:
  68.   enabled: false
  69.   filebeatConfig:
  70.     filebeat.yml: |
  71.       # logging.level: debug
  72.       filebeat.inputs:
  73.       - type: container
  74.         paths:
  75.           - /var/log/containers/*.log
  76.         processors:
  77.         - add_kubernetes_metadata:
  78.             host: ${NODE_NAME}
  79.             matchers:
  80.             - logs_path:
  81.                 logs_path: "/var/log/containers/"
  82.       output.logstash:
  83.         hosts: ["logstash-loki:5044"]
  84.  
  85. logstash:
  86.   enabled: false
  87.   image: grafana/logstash-output-loki
  88.   imageTag: 1.0.1
  89.   filters:
  90.     main: |-
  91.       filter {
  92.         if [kubernetes] {
  93.           mutate {
  94.             add_field => {
  95.               "container_name" => "%{[kubernetes][container][name]}"
  96.               "namespace" => "%{[kubernetes][namespace]}"
  97.               "pod" => "%{[kubernetes][pod][name]}"
  98.             }
  99.             replace => { "host" => "%{[kubernetes][node][name]}"}
  100.           }
  101.         }
  102.         mutate {
  103.           remove_field => ["tags"]
  104.         }
  105.       }
  106.   outputs:
  107.     main: |-
  108.       output {
  109.         loki {
  110.           url => "http://loki:3100/loki/api/v1/push"
  111.           #username => "test"
  112.           #password => "test"
  113.         }
  114.         # stdout { codec => rubydebug }
  115.       }
  116.  
  117. # proxy is currently only used by loki test pod
  118. # Note: If http_proxy/https_proxy are set, then no_proxy should include the
  119. # loki service name, so that tests are able to communicate with the loki
  120. # service.
  121. proxy:
  122.   http_proxy: ""
  123.   https_proxy: ""
  124.   no_proxy: ""

安装

  1. [root]# kubectl create ns logging
  2. [root]# helm upgrade --install loki -n logging -f values.yaml . 
  3. Release "loki" does not exist. Installing it now.
  4. NAME: loki
  5. LAST DEPLOYED: Thu Jul 13 14:29:44 2023
  6. NAMESPACE: logging
  7. STATUS: deployed
  8. REVISION: 1
  9. NOTES:
  10. The Loki stack has been deployed to your cluster. Loki can now be added as a datasource in Grafana.
  11.  
  12. See http://docs.grafana.org/features/datasources/loki/ for more detail.
  13.

查看

  1. [k8s-01 14:40:16 /home/loki-stack]
  2. [root]# kubectl get pod -n logging
  3. NAME                           READY   STATUS    RESTARTS   AGE
  4. loki-0                         1/1     Running   0          2m5s
  5. loki-grafana-db7dc5cfb-8jw2x   2/2     Running   0          2m5s
  6. loki-promtail-cz7lh            1/1     Running   0          2m5s
  7. loki-promtail-ptwck            1/1     Running   0          2m5s
  8. loki-promtail-r44dv            1/1     Running   0          2m5s
  9.

  • 这里我们为 Grafana 设置的 NodePort 类型的 Service：

  1. [k8s-01 14:44:12 /home/loki-stack]
  2. [root]# kubectl get svc -n logging
  3. NAME              TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)    AGE
  4. loki              ClusterIP   10.96.1.241   <none>        3100/TCP   3m8s
  5. loki-grafana      ClusterIP   10.96.1.48    <none>        80/TCP     3m8s
  6. loki-headless     ClusterIP   None          <none>        3100/TCP   3m8s
  7. loki-memberlist   ClusterIP   None          <none>        7946/TCP   3m8s
  8.

  • 把grafana的svc改成nodeport

kubectl patch svc loki-grafana -n logging -p '{"spec": {"type": "NodePort"}}'

可以通过 NodePort 端口 访问 Grafana，使用下面的命令获取 Grafana 的登录密码：

kubectl get secret --namespace logging loki-grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo


我们使用 Helm 安装的 Promtail 默认已经帮我们做好了配置，已经针对 Kubernetes 做了优化.

效果

 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/618777
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号