【一、测试基础】shell三剑客分析nginx日志_shell命令分析nginx日志,识别安全攻击

linux中，shell指令就像是开启房间的钥匙一样，其中有三把处理文本的特殊钥匙，在shell中可以称为三剑客，将他们组合使用能够快速高效的处理文本、日志、解析结果等

同时，Shell 脚本可以包含条件语句、循环、函数等常见的编程元素，使用户能够更加高效完成重复性的操作

Shell三剑客

这里我们介绍grep、awk、sed的部分常用用法以及对应的实际使用情况，用法包括但不限于以下的内容，组合有多种，需要在工作中灵活组合使用。

grep

Linux grep (global regular expression) 命令用于查找文件里符合条件的字符串或正则表达式。

• 常用用法有：

  • 反向查找，打印不匹配内容：grep -v

  • 忽略大小写匹配内容：grep -i

  • 匹配行数展示：grep -n

  • 递归查找目录文件：grep -r

  • 将样式扩展为正则表达式使用：grep -E

awk

处理文本文件的语言，是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符

• 常用用法/注意⚠️有：

  • 直接打印某一列字段：awk '{print $x}'

  • 根据某个特殊内容字段进行切割：awk - F ' , ' '{print $1}'【以,为例，-F相当于内置变量FS指定分割字符】

  • 关于 awk 脚本，需要注意关键词 BEGIN 和 END

sed

Linux sed 命令是利用脚本来处理文本文件，sed 可依照脚本的指令来处理、编辑文本文件

• 常用用法/注意⚠️有：

  • 全局替换操作：sed 's/old/new/g' input.txt

  • 替换指定行：sed '2s/old/new/' input.txt

  • 删除指定行：sed -i '1,199d' input.txt

  • 结合正则表达式删除空行：sed '/^$/d' input.txt > output.txt

注意⚠️

• -i 的使用 代表可以原文件上直接进行修改而不是将结果输出到另一个文件中

• /^$/是一个正则表达式，表示匹配空行。^ 表示行的开头，$ 表示行的结尾，两者之间没有任何字符，表示空行

剑客出击-日志分析

往往在测试中不会单独使用一个linux指令做文本数据的处理，通常都会选择三剑客对数据进行处理，例如nginx日志一样

• 使用指令过滤出包含"topics"、"GET"的HTTP请求的前10条

 有三种方式
 1）cat nginx.log | grep  GET|grep topics | head -10
 2）cat nginx.log | grep  -i get|grep topics | head -10
 3) cat nginx.log | grep -iE "get|topics" | head -10

• 使用指令将第一条过滤出来的含有topics的数据替换为helloworld

 
一共步骤分为两步： 
第一步将上一步的数据保存：cat nginx.log | grep -iE "get|topics" | head -10 > test.txt
第二步将数据进行替换：sed 's/topics/helloworld/g' test.txt

• 使用指令将第一条过滤出来的结果HTTP/1.1后面的数据展示出来，不要HTTP/1.1前的字段，同时将数据中的www替换为xyz,同时将分割出来的空行去除

 
sed 's/www/xyz/g' nginx.log| grep -iE "get|topics" | awk -F 'HTTP/1.1' '{print $2}'| head -10 |sed '/^$/d'

写在后面

上述文中介绍的只是三剑客的部分知识，实际生产中三剑客的使用方法有多种组合，可以根据实际情况组合使用

以上本文完，如果你觉得有用就“点个赞呗声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/702605