前言
在工作中为了防止一些恶意访问的行为，例如不断的请求刷流量，通过实时过滤Nginx访问日志，将单位时间内访问次数达到指定阀值的来源ip及时的通知系统管理员，这里通过邮件的方式通知。
监控脚本
|
1
|
vim /opt/nginx/sbin/nginx_log_monitor.sh |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
#!/bin/bash#日志文件logfile=/opt/nginx/logs/www #开始时间start_time=`date -d"$last_minutes minutes ago" +"%H:%M:%S"` #结束时间stop_time=`date +"%H:%M:%S"` #过滤出单位之间内的日志并统计最高ip数tac $logfile/access.log | awk -v st="$start_time" -v et="$stop_time" '{t=substr($4,RSTART+14,21);if(t>=st && t<=et) {print $0}}' \| awk '{print $1}' | sort | uniq -c | sort -nr > $logfile/log_ip_top10ip_top=`cat $logfile/log_ip_top10 | head -1 | awk '{print $1}'`# 单位时间[1分钟]内单ip访问次数超过200次，则触发邮件报警if [[ $ip_top -gt 200 ]];then /usr/bin/python /opt/tools/send_mail.py &fi |
|
1
|
chmod +x /opt/nginx/sbin/nginx_log_monitor.sh |
定时任务
如上脚本监控一分钟内的日志，因此每分钟执行一次：
|
1
2
|
# crontab -e*/1 * * * * /bin/bash /opt/nginx/sbin/nginx_log_monitor.sh |
邮件告警
这里通过python实现发送邮件
|
1
|
# vim /opt/tools/send_mail.py |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
|
# -*- coding: utf-8 -*-from email import encodersfrom email.header import Headerfrom email.mime.text import MIMETextfrom email.utils import parseaddr, formataddrfrom email.mime.multipart import MIMEMultipartfrom email.mime.base import MIMEBasefrom datetime import datetimeimport osimport smtplibdef _format_addr(s): name, addr = parseaddr(s) return formataddr((Header(name, 'utf-8').encode(), addr))# 邮箱定义smtp_server = 'smtp.exmail.qq.com'smtp_port = 465from_addr = 'chenqingkang@qiniu.com'password = os.environ.get('MAIL_PASSWD')to_addr = ['810959120@qq.com']# 邮件对象msg = MIMEMultipart()msg['From'] = _format_addr('发件人 <%s>' % from_addr)msg['To'] = _format_addr('收件人 <%s>' % to_addr)msg['Subject'] = Header('Warning:单ip请求次数异常', 'utf-8').encode()# 获取系统中要发送的文本内容with open('/opt/nginx/logs/log_ip_top10', 'r') as f: line = f.readline().strip() line = line.split(" ")print(line)# 邮件正文是MIMEText:html = '<html><body><h2>一分钟内单ip请求次数超过阀值</h2>' + \ '<p>ip:%s 请求次数/min:%s</p>' % (line[1],line[0]) + \ '</body></html>' msg.attach(MIMEText(html, 'html', 'utf-8'))server = smtplib.SMTP_SSL(smtp_server, smtp_port)server.login(from_addr, password)server.sendmail(from_addr, to_addr, msg.as_string())server.quit() |
示例
写个脚本不停curl请求资源触发报警：
|
1
|
# vim curl.sh |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
#!/bin/bash#example：curl.sh http://www.qingkang.me 100usage(){ echo "usage: `basename $0` url count"}if [ $# -ne 2 ]; then usage exit 1fifor i in `seq 1 $2`;do http_code=`curl -o /dev/null -s -w %{http_code} $1` echo $1 $http_codedone |
|
1
2
3
4
5
6
|
# bash curl.sh http://qingkang.me/ 5http://qingkang.me/ 200http://qingkang.me/ 200http://qingkang.me/ 200http://qingkang.me/ 200http://qingkang.me/ 200 |
调低阀值触发告警：
|
1
2
|
一分钟内单ip请求次数超过阀值ip:115.231.182.82 请求次数/min:27 |
完善
这里仅实现了邮件告警功能，实际上还可以实现自动屏蔽恶意访问的ip。可以通过Nginx deny来实现，也可以iptables -I INPUT -s x.x.x.x -j DROP通过iptables屏蔽。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家能有一定的帮助，如果有疑问大家可以留言交流，谢谢大家对服务器之家的支持。
原文链接：http://qingkang.me/nginx-log-monitor.html
