Loki 学习总结（1）—— Loki 中小项目日志系统的不二之选_loki chunk_target_size

前言

项目做正规了，日志系统是少不了的，目前大部分日志平台推荐基于 ELK 构建，不过 ELK 算是比较重了，架构太大，中小项目不太好 Hold 住，希望找一款简单一些的，如果实在找不到再上 ELK，这个时候一款名叫 Loki 的日志系统横空出世。Loki 是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签。项目受 Prometheus 启发，官方的介绍就是：Like Prometheus, but for logs，类似于 Prometheus 的日志系统。

一、Loki 快速上手

Loki 作为日志系统的后起之秀，设计上可以说非常优秀，设计的理念就是为了让日志聚合更简单，它被设计为非常经济高效且易于操作。它不索引日志的内容，而是为每个日志流设置一组标签。它主要由三部分组成：

• Promtail 是日志收集器，负责收集应用的日志并发送给 Loki。

• Loki 用于日志的存储和解析，并提供查询 API 给下游展示。

• Grafana 负责将 Loki 的日志可视化。

与其他日志聚合系统相比，Loki具有下面的一些特性：

• 不对日志进行全文索引。通过存储压缩非结构化日志和仅索引元数据，Loki 操作起来会更简单，更省成本。
• 通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组，这使得日志的扩展和操作效率更高。
• 特别适合储存 Kubernetes Pod 日志; 诸如 Pod 标签之类的元数据会被自动删除和编入索引。

简单上手

Loki 安装

首先是安装，现在跑 demo 我优先选择快捷方便的 Docker。下面是我修改过的 Docker Compose 脚本，根据自己的需要改改就能一键启动 Loki。

version: "3"
 
networks:
  loki:
 
services:
  loki:
    image: grafana/loki:2.2.1
    container_name: loki-service
    volumes:
#    将loki的配置文件挂载到本地 c:/docker/loki 目录
      - c:/docker/loki:/etc/loki/
    ports:
      - "3100:3100"
    command: -config.file=/etc/loki/loki.yml
    networks:
      - loki
 
  promtail:
    image: grafana/promtail:2.2.1
    container_name: promtail-service
    volumes:  
    #  为了读取本地的日志目录，这个是个默认配置目的就是为跑起来，生产肯定不是这样的。   
      - c:/docker/log:/var/log/
    #  promtail  的配置文件也挂载到本地 c:/docker/promtail目录  
      - c:/docker/promtail:/etc/promtail/
    command: -config.file=/etc/promtail/promtail.yml
    networks:
      - loki
 
  grafana:
    image: grafana/grafana:latest
    container_name: grafana-service
    ports:
      - "3000:3000"
    networks:
      - loki

上面的挂载目录 c:/docker/loki 和 c:/docker/promtail 可以根据自己的情况修改。

Loki 配置

上面文件中的 -config.file=/etc/loki/loki.yml 是 Loki 的配置文件，我们需要将配置文件 loki.yml 提前放在 c:/docker/loki 下，我使用默认配置：

auth_enabled: false
 
server:
  http_listen_port: 3100
 
ingester:
  lifecycler:
    address: 127.0.0.1
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 1h       # Any chunk not receiving new logs in this time will be flushed
  max_chunk_age: 1h           # All chunks will be flushed when they hit this age, default is 1h
  chunk_target_size: 1048576  # Loki will attempt to build chunks up to 1.5MB, flushing first if chunk_idle_period or max_chunk_age is reached first
  chunk_retain_period: 30s    # Must be greater than index read cache TTL if using an index cache (Default index read cache TTL is 5m)
  max_transfer_retries: 0     # Chunk transfers disabled
 
schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h
 
storage_config:
  boltdb_shipper:
    active_index_directory: /loki/boltdb-shipper-active
    cache_location: /loki/boltdb-shipper-cache
    cache_ttl: 24h         # Can be increased for faster performance over longer query periods, uses more disk space
    shared_store: filesystem
  filesystem:
    directory: /loki/chunks
 
compactor:
  working_directory: /loki/boltdb-shipper-compactor
  shared_store: filesystem
 
limits_config:
  reject_old_samples: true
  reject_old_samples_max_age: 168h
 
chunk_store_config:
  max_look_back_period: 0s
 
table_manager:
  retention_deletes_enabled: false
  retention_period: 0s
 
ruler:
  storage:
    type: local
    local:
      directory: /loki/rules
  rule_path: /loki/rules-temp
  alertmanager_url: http://localhost:9093
  ring:
    kvstore:
      store: inmemory
  enable_api: true

Promtail 的配置

和 Loki 类似，Promtail 也要在本地挂载的 c:/docker/promtail目录下配置 promtail.yml，这里也使用默认配置：

server:
  http_listen_port: 9080
  grpc_listen_port: 0
 
positions:
  filename: /tmp/positions.yaml
 
clients:
  - url: http://loki:3100/loki/api/v1/push
 
scrape_configs:
  - job_name: system
    static_configs:
      - targets:
          - localhost
        labels:
          job: varlogs
          # 这个跟挂载的位置有点关系，你可以猜猜
          __path__: /var/log/*log

我猜测 /var/log/*log 就是读取日志的位置，所以我把它挂载到本地 c:/docker/log，等下弄点日志到本地这个目录下，看看能读取出来不。

启动 Loki

配置完毕后执行 docker-compose -f <docker-compose.yml 路径> up 命令，会先下载镜像然后启动三个 Docker 容器。成功后打开 http://localhost:3000/ 登录 Grafana，默认账号密码是 admin/admin。然后在侧边栏添加数据源为 Loki。 

 然后点击 Log labels 就可以把当前系统采集的日志标签给显示出来，可以根据这些标签进行日志的过滤查询

然后配置 Loki 的 URL 为 http://loki:3100，然后点确定和测试，有绿色提示就表示成功了。

 我们使用的是 Docker Compose，因此 hostname 是服务名称 loki。然后点击侧边栏一个指南针形状的图标 Explore，就进入日志的 UI 了，这时候啥也没有。

 得造点日志，搞一个 Spring Boot 应用，然后在 application.yml 中配置日志选项，然后启动应用生成一些日志。

logging:
  file:
  # 弄到疑似Promtail的日志读取路径试试
    path: c:/docker/log
  level:
    org: debug

然后我输入了一个从文档中找到的查询日志的表达式（Loki query）{filename="/var/log/spring.log"}, 文件名称去 c:/docker/log 下看是否有日志。

Promtail 日志代理

目前 Promtail 可以从两个来源跟踪日志：本地日志文件和 systemd 日志，我们上面演示的就是本地日志文件的加载，这种方式是目前我唯一能够使用的途径，另一种途径是通过 K8S 的服务发现能力。

如果在多个应用服务器上部署对应的多个 Promtail 守护程序就能监视多个应用的静态日志文件，并通过 Loki API 将日志推送到 Loki 中进行聚合式的管理。

Promtail动态配置

我们只需要为 Loki 应用部署相关的 Promtail 守护程序即可。这里我仍然使用 Docker 对 Promtail 进行部署，不过我不能再使用默认配置了，这时的​​ config.yml​​ 应该是：

server:
  http_listen_port: 9080
  grpc_listen_port: 0
 
positions:
  filename: /var/log/positions.yaml
 
client:
  url: http://${LOKI_HOST}:${LOKI_PORT}/loki/api/v1/push
 
scrape_configs:
  - job_name: system
    pipeline_stages:
    static_configs:
      - labels:
          app: ${APP_NAME}
          job: varlogs
          host: ${LOG_HOST}
          __path__: /var/log/*log

为了构建一个通用的配置，我将一些参数进行了动态化。这是 ​​Loki2.1+​​​ 版本提供的特性，可以使用​​ ${} 来引用环境变量，甚至你可以为其指定默认值​​ ${VAR:default_value}​​。但是你必须得知道为了开启这一特性需要在 Promtail 启动命令中添加选项​​ -config.expand-env​​。

Promtail Docker 镜像改造

根据这个我对 Promtail 的 Docker 镜像进行了改造，具体的 ​​Dockerfile​​ 为：

FROM grafana/promtail:2.2.1
LABEL AUTHOR = felord.cn
VOLUME ["/var/log/"]
EXPOSE 9080
ENV LOKI_HOST="localhost"
ENV LOKI_PORT=3100
ENV APP_NAME="APP"
ENV LOG_HOST="localhost"
COPY config.yml /etc/promtail/
CMD ["-config.file=/etc/promtail/config.yml", "-config.expand-env"]

你可以通过​​ docker build -t loki-promtail:1.0 .​​命令构建这个自定义 Promtail 镜像。基本的启动命令：

docker run -d  --name promtail-service --network loki -v c:/docker/log:/var/log/  -e LOKI_HOST=loki -e APP_NAME=SpringBoot  loki-promtail:1.0

其中挂载的目录​​ c:/docker/log​​​ 依然是应用的日志目录，​​LOKI_HOST ​​要保证能够同 Loki 服务器通信，无论你通过直连还是 Docker 网络(这里用了 Docker 网桥)。你可以可以使用 Docker Compose 将应用和 Promtail 进行捆绑，所有的 Promtail 将把对应的日志发往 Loki 进行集中式的管理。另外通过自定义的 ​​Label​​ 我们可以通过应用名称来搜索日志了。

二、Loki 语法

选择器

对于查询表达式的标签部分，将其包装在花括号中 {}，然后使用键值对的语法来选择标签，多个标签表达式用逗号分隔，比如：

|=：日志行包含字符串
!=：日志行不包含字符串
|~：日志行匹配正则表达式
!~：日志行与正则表达式不匹配

1 # 精确匹配：|="2020-11-16 "
2 {app_kubernetes_io_instance="admin-service-test2-container-provider"}|="2020-11-16 "
 
1 # 模糊匹配：|~"2020-11-16 "
2 {app_kubernetes_io_instance="admin-service-test2-container-provider"}|~"2020-11-16 "
 
1 # 排除过滤：!=/!~ "数据中心"
2 {app_kubernetes_io_instance="admin-service-master-container-provider"}!="数据中心"
3 {app_kubernetes_io_instance="admin-service-master-container-provider"}!~"数据中心"
 
1 # 正则匹配： |~ "()"
2 {app_kubernetes_io_instance="admin-service-master-container-provider"}!~"(admin|web)"
3 {app_kubernetes_io_instance="admin-service-master-container-provider"}|~"ERROR|error"

三、Loki 错误日志查看

先通过表达式查询出有错误的日志

再根据上下文查看异常堆栈信息

异常信息如下

 如果行数不够，可以点击 Load 10 more，点击一次将会增加10行，左边将会显示 Found 20 rows，历史查询使用，选择历史查询记录，查询，默认保留7天查询记录

 分屏功能使用，根据不同标签选择器查询不同的日志 

根据标签选择器，自动刷新日志

四、范围查询

• rate：计算每秒的条目数
• count_over_time：计算给定范围内每个日志流的条目

 
1 # 三十分钟日志行记录
2 count_over_time({app_kubernetes_io_instance="admin-service-master-container-web"}[30m]) 
3
4 # 12h小时内出现错误的速率
5 rate({app_kubernetes_io_instance=~".*master-container.*"} |~ "ERROR|error" [12h])

五、集合运算

与vPromQL 一样，LogQL 支持内置聚合运算符的一个子集，可用于聚合单个向量的元素，从而产生具有更少元素但具有集合值的新向量：

• sum：计算标签上的总和
• min：选择最少的标签
• max：选择标签上方的最大值
• avg：计算标签上的平均值
• stddev：计算标签上的总体标准差
• stdvar：计算标签上的总体标准方差
• count：计算向量中元素的数量
• bottomk：通过样本值选择最小的k个元素
• topk：通过样本值选择最大的k个元素

# 统计1个小时日志量最大的前10个服务 
topk(10,sum(rate({app_kubernetes_io_instance=~".*master-container.*"}[60m])) by(container))
 
# 统计最近6小时内错误日志计数
sum(count_over_time({app_kubernetes_io_instance=~".*master-container.*"}|~"ERROR"[6h])) by (container)

六、Loki Url 表达式

URL 如下：

 https://grafana-liwenliang.com/explore?orgId=1&left=%5B%22now-1h%22,%22now%22,%22Loki%22,%7B%22expr%22:%22%7Bapp_kubernetes_io_instance%3D~%5C%22user-service-test2-container-provider%5C%22%7D%7C~%5C%222020-11-05%5C%22%7C~%5C%22ERROR%5C%22%7C~%5C%22.com.test.scrm.%5C%22%22,%22maxLines%22:5000%7D%5D

分析：

• %7C 表示|
• %5C%22 表示"
• 时间：now-1h 可替换 now-1min或者 now-5min
• 项目名称：user-service-test2-container-provider 可替换为 .test2-container. 或者 event-service-test2-container-provider
• 查询日志：2020-11-05 可替换为 2020-11-04
• 删除一个管道 %7C%5C%22ERROR%5C%22%7C%5C%22.com.dadi01.scrm.%5C%22 这一段删除
• 最后生成的链接粘贴到浏览器访问

URL 加解密：

上述可通过 url 加解密生成最终查询 url 链接，进入指定网站中：https://www.sojson.com/encodeurl.html。

 上例中解密如下：

 https://grafana-liwenliang.com/explore?orgId=1&left=["now-1h","now","Loki",{"expr":"{app_kubernetes_io_instance%3D~\"user-service-test2-container-provider\"}|~\"2020-11-05\"|~\"ERROR\"|~\".com.test.scrm.\"","maxLines":5000}]

根据自定义查询语句：

# 根据日期查询
https://grafana-liwenliang.com/explore?orgId=1&left=["now-1h","now","Loki",{"expr":"{app_kubernetes_io_instance=~\"user-service-test2-container-provider\\"}|~\"2020-11-18\\"","maxLines":5000}]
# 加密
https://grafana-liwenliang.com/explore?orgId=1&left=%5B%22now-1h%22,%22now%22,%22Loki%22,%7B%22expr%22:%22%7Bapp_kubernetes_io_instance=~%5C%22user-service-test2-container-provider%5C%22%7D%7C~%5C%222020-11-18%5C%22%22,%22maxLines%22:5000%7D%5D
# 根据服务名称查询
https://grafana-liwenliang.com/explore?orgId=1&left=["now-1h","now","Loki",{"expr":"{app_kubernetes_io_instance=~\"data-service-test2-container-provider\\"}|~\"2020-11-18\\"","maxLines":5000}]
# 加密
https://grafana-liwenliang.com/explore?orgId=1&left=%5B%22now-1h%22,%22now%22,%22Loki%22,%7B%22expr%22:%22%7Bapp_kubernetes_io_instance=~%5C%22data-service-test2-container-provider%5C%22%7D%7C~%5C%222020-11-18%5C%22%22,%22maxLines%22:5000%7D%5D
# 根据对应的数据库查询
https://grafana-liwenliang.com/explore?orgId=1&left=["now-1h","now","Loki",{"expr":"{app_kubernetes_io_instance=~\"data-service-test2-container-provider\\"}|~\"2020-11-18\\"|~\"databaseName:scrm_test\\"","maxLines":5000}]
## 加密
https://grafana-liwenliang.com/explore?orgId=1&left=%5B%22now-1h%22,%22now%22,%22Loki%22,%7B%22expr%22:%22%7Bapp_kubernetes_io_instance=~%5C%22data-service-test2-container-provider%5C%22%7D%7C~%5C%222020-11-18%5C%22%7C~%5C%22databaseName:scrm_test%5C%22%22,%22maxLines%22:5000%7D%5D

加密好的url直接粘贴到浏览器中即可查询

七、Loki api 

# 查询标签
curl -G -s "http://localhost:3100/loki/api/v1/labels" | jq
 
curl -G -s  "http://localhost:3100/loki/api/v1/labels" | jq .data[]
"__name__"
"app"
"app_kubernetes_io_component"
"app_kubernetes_io_instance"
"app_kubernetes_io_managed_by"
"app_kubernetes_io_name"
"app_kubernetes_io_version"
"chart"
"component"
"container"
"controller_revision_hash"
"filename"
"helm_sh_chart"
"heritage"
"job"
"k8s_app"
"name"
"namespace"
"pod"
"pod_template_generation"
"pod_template_hash"
"release"
"releaseRevision"
"statefulset_kubernetes_io_pod_name"
"stream"
"task" 
 
 
# 根据标签查询对应标签值
curl -G -s http://localhost:3100/loki/api/v1/label/<name>/values | jq
 
curl -G -s  "http://localhost:3100/loki/api/v1/label/app_kubernetes_io_instance/values" | jq .data[]
"admin-service-test2-container-provider"
"admin-service-test2-container-web"
"admin-service-uat-container-provider"
"admin-service-uat-container-web"
"data-service-test2-container-provider"
"data-service-uat-container-provider"
"domain-service-test2-container-provider"
"domain-service-uat-container-provider"
"equity-service-test2-container-provider"
"equity-service-uat-container-provider"
"event-service-test2-container-provider"
"event-service-uat-container-provider"
"gateway-service-test2-container-soul-bootstrap"
"gateway-service-uat-container-soul-bootstrap"
"job-admin-service-test2-container-executor"
"job-admin-service-test2-container-web"
"job-admin-service-uat-container-executor"
"job-admin-service-uat-container-web"
"kubernetes-dashboard"
 
 
# 根据标签查询对应的日志
curl -G -s http://localhost:3100/loki/api/v1/query_range | jq
 
curl -G -s  "http://localhost:3100/loki/api/v1/query_range" --data-urlencode 'query={app_kubernetes_io_instance=~".*test2-container.*"}|~"ERROR|error"' | jq .data.result | jq .[].values[0][1]
"2020-11-18 18:08:17.149 DEBUG org.apache.coyote.http11.Http11NioProtocol - Processing socket [org.apache.tomcat.util.net.NioChannel@3bf51e7e:java.nio.channels.SocketChannel[connected local=admin-service-test2-container-web-686d7c459d-fzc7d/ remote=/]] with status [ERROR]\n"
"2020-11-18 18:10:18.876 DEBUG io.lettuce.core.protocol.RedisStateMachine - Decoded LatencyMeteredCommand [type=GET, output=ValueOutput [output=[B@cd9fe9e, error='null'], commandType=io.lettuce.core.protocol.AsyncCommand], empty stack: true\n"
"2020-11-18 18:07:03.967 DEBUG org.springframework.jdbc.datasource.DataSourceTransactionManager - Creating new transaction with n

查询日志流

查询某个时间点日志：GET /loki/api/v1/query，示例：

http://192.168.15.139:30100/loki/api/v1/query?direction=BACKWARD&limit=1000&query=sum(rate({job="anychatlog"}[2d]))

参数说明：

• query：要执行的LogQL查询
• limit: 要返回的最大条目数
• time: 查询的评估时间作为一个纳秒的 Unix 纪元。默认为现在。
• direction：确定日志的排序顺序。支持的值为forward或backward。默认为backward

查询某个时间段日志：GET /loki/api/v1/query_range，示例：

http://192.168.15.139:30100/loki/api/v1/query_range?direction=BACKWARD&limit=1000&query={job="anychatlog"} &start=1641280408415000000&end=1641453208415000000&step=120

参数说明：

• query：要执行的LogQL查询
• limit: 要返回的最大条目数
• start: 查询的开始时间，以纳秒 Unix 纪元表示。默认为一小时前。
• end: 查询的结束时间，以纳秒 Unix 纪元表示。默认为现在。
• step: 以duration格式或浮点秒数查询分辨率步长。duration指形式为 的 Prometheus 持续时间字符串[0-9]+[smhdwy]。例如，5m 表示持续时间为 5 分钟。默认为基于start和的动态值end。仅适用于产生矩阵响应的查询类型。
• interval：这个参数是实验性的；请参阅步骤与间隔下的说明。只返回（或大于）指定间隔的条目，可以是duration格式或浮点数。仅适用于产生流响应的查询。
• direction：确定日志的排序顺序。支持的值为forward或backward。默认为backward.

查询标签

查询标签列表：GET /loki/api/v1/labels

参数：

• start: 查询的开始时间，以纳秒 Unix 纪元表示。默认为 6 小时前。
• end: 查询的结束时间，以纳秒 Unix 纪元表示。默认为现在。

示例： http://192.168.15.139:30100/loki/api/v1/labels

查询标签值：查询给定时间跨度内给定标签的已知值列表 GET /api/prom/label/<name>/values

参数：

• name: GET /loki/api/v1/label中的标签
• start: 查询的开始时间，以纳秒 Unix 纪元表示。默认为 6 小时前。
• end: 查询的结束时间，以纳秒 Unix 纪元表示。默认为现在。

示例：http://192.168.15.139:30100/loki/api/v1/label/job/values

匹配特定标签集列表

返回匹配特定标签集的时间序列列表：GET /loki/api/v1/series；POST /loki/api/v1/series

参数：

• match[]=<series_selector>：选择要返回的日志流的标签。match[]必须至少提供一个参数。
• start=: 开始时间戳。
• end=: 结束时间戳。

示例：http://192.168.15.139:30100/loki/api/v1/series?start=1640922291907000000&end=1641527091908000000&match[]={host="192.168.11.123"}

删除日志流

说明：需要2.3.0以上版本的Loki，并按官方文档进行配置

删除日志流：POST loki_addr/loki/api/admin/delete?match[]

参数：

• match[]:标签匹配器，用于标识要从中删除的流,必须至少提供一个参数
• <series_selector>:查询参数
• start:开始的时间戳
• end:结束的时间戳
• 204 响应表示成功。

示例：http://192.168.15.139:30100/loki/api/admin/delete?match[]={job="anychatlog"}

列出删除请求：GET /loki/api/admin/delete

示例：http://192.168.15.139:30100/loki/api/admin/delete

取消删除请求：POST /loki/api/admin/cancel_delete_request

示例：http://192.168.15.139:30100/loki/api/admin/cancel_delete_request?request_id=dad569a8

其它常用API

GET /ready：当 Loki 摄取器准备好接受流量时，返回 HTTP 200。如果在 Kubernetes 上运行 Loki/ready可以用作就绪探针。

POST /flush：将摄取器持有的所有内存块刷新到后备存储。主要用于本地测试。

POST /ingester/flush_shutdown：摄取器的关闭，特别是将始终刷新它持有的任何内存块。这有助于缩小启用 WAL 的摄取器，我们希望确保旧的 WAL 目录不是孤立的，而是刷新到我们的块后端。

GET /metrics：公开 Prometheus 指标。有关 导出的指标列表，请参阅 loki

GET /config：/config公开当前配置。可选的mode查询参数可用于修改输出。如果它具有该值，则diff仅返回默认配置和当前配置之间的差异。值defaults返回默认配置

GET /loki/api/v1/status/buildinfo：在 JSON 对象中公开构建信息。字段包括version，revision，branch，buildDate，buildUser，和goVersion。

注意：Loki http Api 官方说明 https://grafana.com/docs/loki/latest/api/。