赞
踩
elk为常见的日志分析平台,在很多公司都用使用,但是日志数据是一个不断海量增加的东西,如果没有太大的存储来存储这些日志历史数据,就会需要删除时间过长的历史数据,以保证数据量可控。还不知道elk的,可以参考我另外的elk安装博文:
《Centos7.2 搭建ELK-5.6.4日志分析平台(一)》
《Centos7.2 搭建ELK-5.6.4日志分析平台(二)》
《centos7 Supervisor的安装与配置,管理elk进程。》
elk中elasticsearch为搜索引擎,也是数据的储存单元。要想实现只保留固定时间的数据,这里以7天为例,要想每个索引的数据都只保留最近7天的数据,大于7天的则删除,有两种方法:
1. 看你的索引是怎么样的,如果你的索引名称中有时间,比如logstash-2019-01-02 这样,就是每天都会生成一个新的索引,这样的话可以使用官方的Curator 工具
2. 如果你的索引中不带时间,比如,如果是根据应用或者服务名来命名的,那么注意,Curator是无法实现删除索中的某一段数据的!!这里需要特别注意,网上很多说可以实现的,那是因为他们的索引如上面1 所说,是根据时间日期来生成的。但实际上,很多索引都不是这样的,按正常的思维,更容易用服务名或应用名作为索引,以此来区分日志所属应用,方便日志的分析对应指定的应用。这种时候需要使用elasticsearch的api:delete_by_query来进行删除指定数据。这种方法也是通用的,更推荐用这种方法
这里两种方法都详细说明。
删除指定的数据,需要使用到delete_by_query接口,这里需要科普一下,在elk
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。