logback过期日志文件自动删除_logback日志清理机制

目录

前言

一、官方文档介绍

1.1 ConsoleAppender

1.2 RollingFileAppender

二、效果测试

---

前言

logback+slf4j应该是目前最主流的日志框架了，在实际使用中经常遇到打印的日志文件不会自动删除，导致日志文件占有大量磁盘空间的问题。

本文主要介绍logback日志文件自动删除的实现机制。

一、官方文档介绍

官方文档地址：logback

1.1 ConsoleAppender

说明：

如果希望日志打印到控制台，需要配置ConsoleAppender控制台日志追加。

<configuration>
 
  <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
 
    <!-- encoders are assigned the type
         ch.qos.logback.classic.encoder.PatternLayoutEncoder by default -->
 
    <encoder>
 
      <pattern>%-4relative [%thread] %-5level %logger{35} - %msg %n</pattern>
 
    </encoder>
 
  </appender>
 
 
  <root level="DEBUG">
 
    <appender-ref ref="STDOUT" />
 
  </root>
 
</configuration>

1.2 RollingFileAppender

说明：

如果希望打印生成的日志文件根据日志大小和时间自动滚动生成新的日志文件，需要配置RollingFileAppender滚动日志追加。滚动策略选择SizeAndTimeBasedRollingPolicy基于日志大小和时间滚动。

下面的配置是限制每个文件最多100mb，保存30天的历史记录，日志总大小最多20GM。

 <configuration>
 
 <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
 
        <file>${LOG_FILE}</file>
 
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
 
            <!--日志文件输出的文件名-->
 
            <fileNamePattern>${LOG_FILE}-%d{yyyy-MM-dd}.%i.gz</fileNamePattern>
 
            <!--日志大小-->
 
            <maxFileSize>100MB</maxFileSize>
 
            <!--日志保留时长-->
 
            <maxHistory>30</maxHistory>
 
            <totalSizeCap>20GB</totalSizeCap>
 
            <cleanHistoryOnStart>true</cleanHistoryOnStart>
 
        </rollingPolicy>
 
        <encoder>
 
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-4relative [%thread] %-5level %logger{35} - %msg%n</pattern>
 
            <charset>utf8</charset>
 
        </encoder>
 
    </appender>
 
   
 
  <root level="DEBUG">
 
    <appender-ref ref="FILE" />
 
  </root>
 
  <configuration>

参数说明：

    file 生成的日志名称

    rollingPolicy 滚动策略，这里采用的SizeAndTimeBasedRollingPolicy，基于日志文件大小和时间滚动。

    fileNamePattern 定义翻转(归档)日志文件的名称。

    它的值应该包括文件的名称以及适当放置的% d 转换说明符。% d 转换说明符可能包含日期和时间模式。如果省略了日期和时间模式，则假定使用默认模式 yyyy-MM-dd。翻转周期是从 fileNamePattern 的值推断出来的。这里的滚动周期需要和maxHistory配合使用。

    maxFileSize 单个日志文件的最大体积，到达最大体积后就会触发日志滚动操作，生成新的日志文件

    maxHistory 要保存的归档文件的最大时间，以异步方式删除旧文件。例如，如果通过fileNamePattern中的%d{yyyy-MM-dd}指定滚动周期为月度滚动，并将 maxHistory 设置为6，那么存档文件中超过6天的文件将被删除。如果程序中间停止，导致日志时间过期远大于6，则无法删除；目前发现过期时间不在未过期所在月份的日志都无法删除。

    totalSizeCap 控制所有归档日志文件的总大小。当超出总大小上限时，将异步删除最早的归档日志文件。设置totalSizeCap 属性还要求设置 maxHistory 属性。优先“最大历史”限制，其次是“总大小上限”的限制。

    按照实际业务情况配置 totalSizeCap ，可以有效避免占用过大的磁盘空间。

    比如你希望 maxHistory 保留7天日志文件，但是可能这7个文件总大小超出磁盘容量，所以可以通过 totalSizeCap 来控制总大小，这样系统会判断大于此值时进行自动覆盖。

    注意⚠️：单独配置totalSizeCap是没有意义的，一定要同时配置maxHistory属性，且大于0，才能实现超过总大小上限异步删除。总大小=未过期时间所在月份的过期日志和未过期日志的总大小。

    cleanHistoryOnStart 是否在应用启动的时候删除历史日志。

    如果设置为真，将在启动应用程序时执行档案删除。默认情况下，此属性设置为 false。归档日志移除通常在滚动期间执行。但是，有些应用程序的存活时间可能不够长，无法触发滚动。因此，对于如此短命的应用程序，删除存档可能永远没有机会执行。通过将 cleanHistoryOnStart 设置为 true，将在启动 appender 时执行档案删除。

    encoder 控制输出日志的格式和编码。

二、效果测试

说明：为了测试效果，修改配置，

通过fileNamePattern属性中的%d{yyyy-MM-dd_HH-mm}指定滚动周期为分钟。

maxFileSize控制日志文件超过10kb就触发滚动。

maxHistory属性结合fileNamePattern中解析出现的滚动周期，实现最多保留近3分钟的归档日志。

totalSizeCap控制所有归档日志文件的总大小不超过20kb。

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
 
        <file>${LOG_FILE}</file>
 
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
 
            <!--日志文件输出的文件名-->
 
            <fileNamePattern>${LOG_FILE}-%d{yyyy-MM-dd_HH-mm}.%i.gz</fileNamePattern>
 
            <!--日志大小-->
 
            <maxFileSize>10KB</maxFileSize>
 
            <!--日志保留时长-->
 
            <maxHistory>3</maxHistory>
 
            <totalSizeCap>20KB</totalSizeCap>
 
            <cleanHistoryOnStart>true</cleanHistoryOnStart>
 
        </rollingPolicy>
 
        <encoder>
 
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-4relative [%thread] %-5level %logger{35} - %msg%n</pattern>
 
            <charset>utf8</charset>
 
        </encoder>
 
    </appender>

测试一：

项目启动后，持续调用方法生成日志文件：

执行结果：

归档日志（带时间后缀的这些滚动生成的日志文件）总大小超过20kb后，就会触发删除操作。

说明totalSizeCap配置属性生效。

测试二：

间隔3分钟后，在调用方法生成日志。

执行结果：

3分钟前的日志文件全部被删除，说明fileNamePattern和maxHistory配置最多保留近3分钟的归档日志生效。

测试三：

生成一批归档日志文件后，3分钟后重启项目，校验是否在项目启动是清理日志。

这里为了验证结果的正确性，需要保证项目重启过程中生成的日志大小不超过maxFileSize，不触发日志滚动。

项目启动生成日志：刚好9kb，没有触发滚动。

调用方法，生成日志文件：

为避免触发滚动，删除log文件，3分钟后重启项目：

执行结果：

3分钟前的日志文件全部被删除，说明cleanHistoryOnStart配置生效，在项目启动的时候会检查是否有需要删除的归档日志文件。

总结

本文主要介绍了logback过期的日志文件的自动删除机制如何配置。有如下参数需要注意：

1、RollingFileAppender控制滚动日志文件追加。

2、SizeAndTimeBasedRollingPolicy用来配置采用基于大小和时间的滚动策略。

3、fileNamePattern既控制滚动日志的命名模式，也控制maxHistory的滚动周期。

4、maxFileSize控制日志最大多少触发滚动。

5、maxHistory控制归档日志的保留时长，需要和fileNamePattern中的%d{yyyy-MM-dd}解析的滚动周期一起使用。

6、totalSizeCap控制归档所有日志大小是多少，超过会触发删除归档日志操作。需要和maxHistory属性一起使用，只配置totalSizeCap属性但是maxHistory=0时不会触发自动删除操作。

7、cleanHistoryOnStart控制是否在项目启动的时候检查是否需要删除归档日志。