赞
踩
作用:
日志配置
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
首先让我们来看下日志里面到底有什么?
192.168.1.101 - - [15/Apr/2019:11:01:52 +0800] "POST /dj_library/login?phone=18296169220&password=root123 HTTP/1.1" 200 66 "http://192.168.1.101:8400/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
192.168.1.101 - - [15/Apr/2019:11:01:52 +0800] "POST /dj_library/login?phone=18296169220&password=root123 HTTP/1.1" 200 66 "http://192.168.1.101:8400/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
192.168.1.101 - - [15/Apr/2019:11:01:52 +0800] "POST /dj_library/login?phone=18296169220&password=root123 HTTP/1.1" 200 66 "http://192.168.1.101:8400/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
1、每一个配置对应每一条数据 每一条数据由 “ ” 空格分隔
对应配置解析:
$remote_addr 对应的是真实日志里的122.70.148.18,即客户端的IP。 $remote_user 对应的是第二个中杠“-”,没有远程用户,所以用“-”填充。 [$time_local]对应的是[04/Aug/2020:14:46:48 +0800]。访问用户时区 “$request”对应的是"GET /user/api/v1/product/order/query_state?product_id=1&token=xdclasseyJhbGciOJE HTTP/1.1"。 $status对应的是200状态码,200表示正常访问。 $body_bytes_sent对应的是48字节,即响应body的大小。 “$http_referer” 对应的是”https://xdclass.net/“,若是直接打开域名浏览的时,referer就会没有值,为”-“。 “$http_user_agent” 对应的是”Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:56.0) Gecko/20100101 Firefox/56.0”。 “$http_x_forwarded_for” 对应的是”-“或者空。
从上面的日志中我们可以获取的信息:
从上面的日志中我们完全可以分析出
1、访问网站频率最高的用户IP
2、被访问频率最高的接口
AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
awk [选项参数] 'script' var=value file(s)
awk [选项参数] -f scriptfile var=value file(s)
-F fs or --field-separator fs 指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F:。 -v var=value or --asign var=value 赋值一个用户定义变量。 -f scripfile or --file scriptfile 从脚本文件中读取awk命令。 -mf nnn and -mr nnn 对nnn值设置内在限制,-mf选项限制分配给nnn的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。 -W compact or --compat, -W traditional or --traditional 在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样,所有的awk扩展都被忽略。 -W copyleft or --copyleft, -W copyright or --copyright 打印简短的版权信息。 -W help or --help, -W usage or --usage 打印全部awk选项和每个选项的简短说明。 -W lint or --lint 打印不能向传统unix平台移植的结构的警告。 -W lint-old or --lint-old 打印关于不能向传统unix平台移植的结构的警告。 -W posix 打开兼容模式。但有以下限制,不识别:/x、函数关键字、func、换码序列以及当fs是一个空格时,将新行作为一个域分隔符;操作符**和**=不能代替^和^=;fflush无效。 -W re-interval or --re-inerval 允许间隔正则表达式的使用,参考(grep中的Posix字符类),如括号表达式[[:alpha:]]。 -W source program-text or --source program-text 使用program-text作为源代码,可与-f命令混用。 -W version or --version 打印bug报告信息的版本。
awk '{[pattern] action}' {filenames} # 行匹配语句 awk '' 只能用单引号
例子:
1、查询访问量最高的100个IP
awk ‘{print $1}’ access.log | sort -n |uniq -c | sort -rn | head -n 100
2、统计访问最多的url 前20名
cat access.log |awk ‘{print $7}’| sort|uniq -c| sort -rn| head -20 | more
从上面AWK命令可知IP访问频率与被访问最高频率的接口。因此我们可以根据这两个信息来做文章。
使用hosts.deny设置黑名单使用hosts.allow
a.限制所有的ssh,除非从43.183.87.0 - 127上来。 hosts.deny: in.sshd:ALL hosts.allow: in.sshd:43.183.87.0/255.255.255.128 b.封掉43.183.87.0 - 127的telnet hosts.deny in.sshd:43.183.87.0/255.255.255.128 c.限制所有人的TCP连接,除非从43.183.87.0 - 127访问 hosts.deny ALL:ALL hosts.allow ALL:43.183.87.0/255.255.255.128 d.限制43.183.87.0 - 127对所有服务的访问 hosts.deny ALL:43.183.87.0/255.255.255.128 #设置完后重新启动 #/etc/rc.d/init.d/xinetd restart #/etc/rc.d/init.d/network restart
使用iptables命令
单个IP的命令是
iptables -I INPUT -s 43.183.87.171 -j DROP
封整个段的命令是43.183.87.0-43.183.87.8
iptables -I INPUT -s 43.183.87.0/8 -j DROP
服务器启动自运行
有三个方法:
1、把它加到/etc/rc.local中
2、vi /etc/sysconfig/iptables可以把你当前的iptables规则放到/etc/sysconfig/iptables中,系统启动iptables时自动执行。
3、service iptables save 也可以把你当前的iptables规则放/etc/sysconfig/iptables中,系统启动iptables时自动执行。
后两种执行会更好,一般iptables服务会在network服务之前启动,这样会更加安全
1、创建一个黑名单文件 #blacklist.conf目录下文件内容
#被禁用的IP地址
deny 192.168.159.2;
deny 192.168.159.32;
配置
单独网站屏蔽IP的方法,把include xxx; 放到网址对应的在server{}语句块,虚拟主机
所有网站屏蔽IP的方法,把include xxx; 放到http {}语句块。
nginx配置如下:
http{
# ....
include blacklist.conf;
}
location / {
proxy_pass http://lbs;
proxy_redirect default;
}
使用命令./nginx -s reload #重新加载配置,不中断服务
问题来了?每一次都要手动配置岂不累死?
以上面的配置为例子
#!/bin/bash
nginxPath=/usr/local/nginx/
logPath=/var/log/nginx/
tail -n50000 $wwwPath/access.log |awk '{print $1,$12}' |grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou"
|awk '{print $1}'|sort|uniq -c|sort -rn |awk '{if($1>1000) print "deny "$2 ";"}' >> $nginxPath/conf/blacklist.conf
sort $nginxPath/conf/blacklist.conf | uniq -c |awk '{print "deny "$3}' > $nginxPath/conf/blacklist.conf
/etc/init.d/nginx reload
# nginxPath: #nginx 日志 注:配置文件上一级目录位置
# logPath # formatlog 日志位置
注:将上面的配置写到一个.sh文件里面
# 比如 Shell 脚本名为 blockip.sh 所在目录为 /root/ 定时任务为每天晚上11点30分执行
30 23 * * * /root/blackList.sh
完美解决问题,配合阿里网盾监控就更加的完美了
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。