您的位置:首页 > 教程 > linux > Shell常用服务器日志分析命令总结

Shell常用服务器日志分析命令总结

2022-06-20 15:16:36 来源:易采站长站 作者:

Shell常用服务器日志分析命令总结

目录1、查看有多少个IP访问2、查看某一个页面被访问的次数3、查看每一个IP访问了多少个页面4、将每个IP访问的页面数进行从小到大排序5、查看某一个IP访问了哪些页面6、去掉搜索引擎统计的页面7、查看...yaR站长之家-易采站长站-Easck.Com

目录
1、查看有多少个IP访问
2、查看某一个页面被访问的次数
3、查看每一个IP访问了多少个页面
4、将每个IP访问的页面数进行从小到大排序
5、查看某一个IP访问了哪些页面
6、去掉搜索引擎统计的页面
7、查看2015年8月16日14时这一个小时内有多少IP访问
8、查看访问前十个ip地址
9、访问次数最多的10个文件或页面
10、通过子域名访问次数
11、列出传输大小最大的几个文件
12、列出输出大于200000byte(约200kb)的页面以及对应页面发生次数
13、如果日志最后一列记录的是页面文件传输时间,则有列出到客户端最耗时的页面
14、列出最最耗时的页面(超过60秒的)的以及对应页面发生次数
15、列出传输时间超过 30 秒的文件
16、列出当前服务器每一进程运行的数量,倒序排列
17、查看apache当前并发访问数
18、可以使用如下参数查看数据
19、输出每个ip的连接数,以及总的各个状态的连接数
20、其他的收集

yaR站长之家-易采站长站-Easck.Com

1、查看有多少个IP访问

awk'{print$1}'log_file|sort|uniq|wc-l

yaR站长之家-易采站长站-Easck.Com

2、查看某一个页面被访问的次数

grep"/index.php"log_file|wc-l

yaR站长之家-易采站长站-Easck.Com

3、查看每一个IP访问了多少个页面

awk'{++S[$1]}END{for(ainS)printa,S[a]}'log_file>log.txt
sort-n-t''-k2log.txt配合sort进一步排序

yaR站长之家-易采站长站-Easck.Com

4、将每个IP访问的页面数进行从小到大排序

awk'{++S[$1]}END{for(ainS)printS[a],a}'log_file|sort-n

yaR站长之家-易采站长站-Easck.Com

5、查看某一个IP访问了哪些页面

grep^111.111.111.111log_file|awk'{print$1,$7}'

yaR站长之家-易采站长站-Easck.Com

6、去掉搜索引擎统计的页面

awk'{print$12,$1}'log_file|grep^\"Mozilla|awk'{print$2}'|sort|uniq|wc-l

yaR站长之家-易采站长站-Easck.Com

7、查看2015年8月16日14时这一个小时内有多少IP访问

awk'{print$4,$1}'log_file|grep16/Aug/2015:14|awk'{print$2}'|sort|uniq|wc-l

yaR站长之家-易采站长站-Easck.Com

8、查看访问前十个ip地址

awk'{print$1}'|sort|uniq-c|sort-nr|head-10access_log

uniq -c 相当于分组统计并把统计数放在最前面yaR站长之家-易采站长站-Easck.Com

cataccess.log|awk'{print$1}'|sort|uniq-c|sort-nr|head-10
cataccess.log|awk'{counts[$(11)]+=1};END{for(urlincounts)printcounts[url],url}

yaR站长之家-易采站长站-Easck.Com

9、访问次数最多的10个文件或页面

catlog_file|awk'{print$11}'|sort|uniq-c|sort-nr|head-10
catlog_file|awk'{print$11}'|sort|uniq-c|sort-nr|head-20
awk'{print$1}'log_file|sort-n-r|uniq-c|sort-n-r|head-20

访问量最大的前20个ipyaR站长之家-易采站长站-Easck.Com

yaR站长之家-易采站长站-Easck.Com

10、通过子域名访问次数

依据referer来计算,稍有不准yaR站长之家-易采站长站-Easck.Com

cataccess.log|awk'{print$11}'|sed-e's/http:\/\///'-e's/\/.*//'|sort|uniq-c|sort-rn|head-20

yaR站长之家-易采站长站-Easck.Com

11、列出传输大小最大的几个文件

catwww.access.log|awk'($7~/\.php/){print$10""$1""$4""$7}'|sort-nr|head-100

yaR站长之家-易采站长站-Easck.Com

12、列出输出大于200000byte(约200kb)的页面以及对应页面发生次数

catwww.access.log|awk'($10>200000&&$7~/\.php/){print$7}'|sort-n|uniq-c|sort-nr|head-100

yaR站长之家-易采站长站-Easck.Com

13、如果日志最后一列记录的是页面文件传输时间,则有列出到客户端最耗时的页面

catwww.access.log|awk'($7~/\.php/){print$NF""$1""$4""$7}'|sort-nr|head-100

yaR站长之家-易采站长站-Easck.Com

14、列出最最耗时的页面(超过60秒的)的以及对应页面发生次数

catwww.access.log|awk'($NF>60&&$7~/\.php/){print$7}'|sort-n|uniq-c|sort-nr|head-100

yaR站长之家-易采站长站-Easck.Com

15、列出传输时间超过 30 秒的文件

catwww.access.log|awk'($NF>30){print$7}'|sort-n|uniq-c|sort-nr|head-20

yaR站长之家-易采站长站-Easck.Com

16、列出当前服务器每一进程运行的数量,倒序排列

ps-ef|awk-F'''{print$8""$9}'|sort|uniq-c|sort-nr|head-20

yaR站长之家-易采站长站-Easck.Com

17、查看apache当前并发访问数

对比httpd.conf中MaxClients的数字差距多少yaR站长之家-易采站长站-Easck.Com

netstat-an|grepESTABLISHED|wc-l

yaR站长之家-易采站长站-Easck.Com

18、可以使用如下参数查看数据

ps-ef|grephttpd|wc-l
1388

统计httpd进程数,连个请求会启动一个进程,使用于Apache服务器。yaR站长之家-易采站长站-Easck.Com

表示Apache能够处理1388个并发请求,这个值Apache可根据负载情况自动调整yaR站长之家-易采站长站-Easck.Com

netstat-nat|grep-i"80"|wc-l
4341

netstat -an会打印系统当前网络链接状态,而grep -i “80”是用来提取与80端口有关的连接的,wc -l进行连接数统计。yaR站长之家-易采站长站-Easck.Com

最终返回的数字就是当前所有80端口的请求总数yaR站长之家-易采站长站-Easck.Com

netstat-na|grepESTABLISHED|wc-l
376

netstat -an会打印系统当前网络链接状态,而grep ESTABLISHED 提取出已建立连接的信息。然后wc -l统计yaR站长之家-易采站长站-Easck.Com

最终返回的数字就是当前所有80端口的已建立连接的总数。yaR站长之家-易采站长站-Easck.Com

netstat-nat||grepESTABLISHED|wc

可查看所有建立连接的详细记录yaR站长之家-易采站长站-Easck.Com

yaR站长之家-易采站长站-Easck.Com

19、输出每个ip的连接数,以及总的各个状态的连接数

netstat-n|awk'/^tcp/{n=split($(NF-1),array,":");if(n<=2)++S[array[(1)]];else++S[array[(4)]];++s[$NF];++N}END{for(ainS){printf("%-20s%s\n",a,S[a]);++I}printf("%-20s%s\n","TOTAL_IP",I);for(ains)printf("%-20s%s\n",a,s[a]);printf("%-20s%s\n","TOTAL_LINK",N);}'

yaR站长之家-易采站长站-Easck.Com

20、其他的收集

分析日志文件下 2012-05-04 访问页面最高 的前20个 URL 并排序yaR站长之家-易采站长站-Easck.Com

cataccess.log|grep'04/May/2012'|awk'{print$11}'|sort|uniq-c|sort-nr|head-20

查询受访问页面的URL地址中 含有 www.abc.com 网址的 IP 地址yaR站长之家-易采站长站-Easck.Com

cataccess_log|awk'($11~/\www.abc.com/){print$1}'|sort|uniq-c|sort-nr

获取访问最高的10个IP地址 同时也可以按时间来查询yaR站长之家-易采站长站-Easck.Com

catlinewow-access.log|awk'{print$1}'|sort|uniq-c|sort-nr|head-10

时间段查询日志时间段的情况yaR站长之家-易采站长站-Easck.Com

catlog_file|egrep'15/Aug/2015|16/Aug/2015'|awk'{print$1}'|sort|uniq-c|sort-nr|head-10

分析 2015/8/15 到 2015/8/16 访问”/index.php?g=Member&m=Public&a=sendValidCode”的IP倒序排列yaR站长之家-易采站长站-Easck.Com

catlog_file|egrep'15/Aug/2015|16/Aug/2015'|awk'{if($7=="/index.php?g=Member&m=Public&a=sendValidCode")print$1,$7}'|sort|uniq-c|sort-nr

($7 ~ /.php/) $7里面包含.php的就输出,本句的意思是最耗时的一百个PHP页面yaR站长之家-易采站长站-Easck.Com

catlog_file|awk'($7~/\.php/){print$NF""$1""$4""$7}'|sort-nr|head-100

列出最最耗时的页面(超过60秒的)的以及对应页面发生次数yaR站长之家-易采站长站-Easck.Com

cataccess.log|awk'($NF>60&&$7~/\.php/){print$7}'|sort-n|uniq-c|sort-nr|head-100

统计网站流量(G)yaR站长之家-易采站长站-Easck.Com

cataccess.log|awk'{sum+=$10}END{printsum/1024/1024/1024}'

统计404的连接yaR站长之家-易采站长站-Easck.Com

awk'($9~/404/)'access.log|awk'{print$9,$7}'|sort

统计http statusyaR站长之家-易采站长站-Easck.Com

cataccess.log|awk'{counts[$(9)]+=1};END{for(codeincounts)printcode,counts[code]}'
cataccess.log|awk'{print$9}'|sort|uniq-c|sort-rn

每秒并发yaR站长之家-易采站长站-Easck.Com

watch"awk'{if($9~/200|30|404/)COUNT[$4]++}END{for(ainCOUNT)printa,COUNT[a]}'log_file|sort-k2-nr|head-n10"

带宽统计yaR站长之家-易采站长站-Easck.Com

catapache.log|awk'{if($7~/GET/)count++}END{print"client_request="count}'

找出某天访问次数最多的10个IPyaR站长之家-易采站长站-Easck.Com

cat/tmp/access.log|grep"20/Mar/2011"|awk'{print$3}'|sort|uniq-c|sort-nr|head

当天ip连接数最高的ip都在干些什么yaR站长之家-易采站长站-Easck.Com

cataccess.log|grep"10.0.21.17"|awk'{print$8}'|sort|uniq-c|sort-nr|head-n10

小时单位里ip连接数最多的10个时段yaR站长之家-易采站长站-Easck.Com

awk-vFS="[:]"'{gsub("-.*","",$1);num[$2""$1]++}END{for(iinnum)printi,num[i]}'log_file|sort-n-k3-r|head-10

找出访问次数最多的几个分钟yaR站长之家-易采站长站-Easck.Com

awk'{print$1}'access.log|grep"20/Mar/2011"|cut-c14-18|sort|uniq-c|sort-nr|head

取5分钟日志yaR站长之家-易采站长站-Easck.Com

if [ $DATE_MINUTE != $DATE_END_MINUTE ] ;then #则判断开始时间戳与结束时间戳是否相等yaR站长之家-易采站长站-Easck.Com

START_LINE=sed -n "/$DATE_MINUTE/=" $APACHE_LOG|head -n1 #如果不相等,则取出开始时间戳的行号,与结束时间戳的行号yaR站长之家-易采站长站-Easck.Com

查看tcp的链接状态yaR站长之家-易采站长站-Easck.Com

netstat-nat|awk'{print$6}'|sort|uniq-c|sort-rn

netstat-n|awk'/^tcp/{++S[$NF]};END{for(ainS)printa,S[a]}'

netstat-n|awk'/^tcp/{++state[$NF]};END{for(keyinstate)printkey,"\t",state[key]}'

netstat-n|awk'/^tcp/{++arr[$NF]};END{for(kinarr)printk,"\t",arr[k]}'

netstat-n|awk'/^tcp/{print$NF}'|sort|uniq-c|sort-rn

netstat-ant|awk'{print$NF}'|grep-v'[a-z]'|sort|uniq-c
netstat-ant|awk'/ip:80/{split($5,ip,":");++S[ip[1]]}END{for(ainS)printS[a],a}'|sort-n

netstat-ant|awk'/:80/{split($5,ip,":");++S[ip[1]]}END{for(ainS)printS[a],a}'|sort-rn|head-n10

awk'BEGIN{printf("http_code\tcount_num\n")}{COUNT[$10]++}END{for(ainCOUNT)printfa"\t\t"COUNT[a]"\n"}'

查找请求数前20个IP(常用于查找攻来源)yaR站长之家-易采站长站-Easck.Com

netstat-anlp|grep80|greptcp|awk'{print$5}'|awk-F:'{print$1}'|sort|uniq-c|sort-nr|head-n20
netstat-ant|awk'/:80/{split($5,ip,":");++A[ip[1]]}END{for(iinA)printA[i],i}'|sort-rn|head-n20

用tcpdump嗅探80端口的访问看看谁最高yaR站长之家-易采站长站-Easck.Com

tcpdump-ieth0-tnndstport80-c1000|awk-F"."'{print$1"."$2"."$3"."$4}'|sort|uniq-c|sort-nr|head-20

查找较多time_wait连接yaR站长之家-易采站长站-Easck.Com

netstat-n|grepTIME_WAIT|awk'{print$5}'|sort|uniq-c|sort-rn|head-n20

找查较多的SYN连接yaR站长之家-易采站长站-Easck.Com

netstat-an|grepSYN|awk'{print$5}'|awk-F:'{print$1}'|sort|uniq-c|sort-nr|more

根据端口列进程yaR站长之家-易采站长站-Easck.Com

netstat-ntlp|grep80|awk'{print$7}'|cut-d/-f1

查看了连接数和当前的连接数yaR站长之家-易采站长站-Easck.Com

netstat-ant|grep$ip:80|wc-l
netstat-ant|grep$ip:80|grepEST|wc-l

查看IP访问次数yaR站长之家-易采站长站-Easck.Com

netstat-nat|grep":80"|awk'{print$5}'|awk-F:'{print$1}'|sort|uniq-c|sort-n

linux命令分析当前的链接状况yaR站长之家-易采站长站-Easck.Com

netstat-n|awk'/^tcp/{++S[$NF]}END{for(ainS)printa,S[a]}'

watch "netstat -n | awk '/^tcp/ {++S[\$NF]} END {for(a in S) print a, S[a]}'" #通过watch可以一直监控yaR站长之家-易采站长站-Easck.Com

LAST_ACK 5 #关闭一个TCP连接需要从两个方向上分别进行关闭,双方都是通过发送FIN来表示单方向数据的关闭,当通信双方发送了最后一个FIN的时候,发送方此时处于LAST_ACK状态,当发送方收到对方的确认(Fin的Ack确认)后才真正关闭整个TCP连接;yaR站长之家-易采站长站-Easck.Com

SYN_RECV 30 # 表示正在等待处理的请求数;yaR站长之家-易采站长站-Easck.Com

ESTABLISHED 1597 # 表示正常数据传输状态;yaR站长之家-易采站长站-Easck.Com

FIN_WAIT1 51 # 表示server端主动要求关闭tcp连接;yaR站长之家-易采站长站-Easck.Com

FIN_WAIT2 504 # 表示客户端中断连接;yaR站长之家-易采站长站-Easck.Com

TIME_WAIT 1057 # 表示处理完毕,等待超时结束的请求数;yaR站长之家-易采站长站-Easck.Com

到此这篇关于Shell常用服务器日志分析命令总结的文章就介绍到这了,更多相关Shell服务器日志分析命令内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!yaR站长之家-易采站长站-Easck.Com

yaR站长之家-易采站长站-Easck.Com

如有侵权,请联系QQ:279390809 电话:15144810328

相关文章

  • Linux下用GHOST来做系统备份

    Linux下用GHOST来做系统备份

    在Windows系统下备份我们可以用GHOST工具软件完成,Linux系统不能完全依赖于GHOST工具,一则是GHOST本身是有版权的软件,二是GHOST只支持ext2、ext3文件系统的Linux分区,不支持reiserfs、xfs等
    2019-10-25
  • 给 FreeBSD 12.1 安装 GNOME3 图形界面

    给 FreeBSD 12.1 安装 GNOME3 图形界面

    FreeBSD是一个完全开放的、安全的系统,可以Do it yourself的系统。但是个人还是不喜欢呆板的命令行界面,所有就给 FreeBSD 12.1 安装 GNOME3 图形界面。 开始操作,启动FreeBSD 12.1,以root身份
    2019-10-27
  • Ubuntu Studio一个不错的操作系统

    Ubuntu Studio一个不错的操作系统

    Ubuntu Studio 是一个基于 Ubuntu 而面向音频、视频及图形爱好者的操作系统。本次推出的 Ubuntu Studio 为 7.04 版,目前仅支持 Intel i386 兼容的处理器。 Ubuntu Studio 从大量的开源多媒体创作程序
    2019-10-25
  • 最受欢迎的10款Linux免费游戏

    最受欢迎的10款Linux免费游戏

    图为在Linux下运行的免费游戏America's Army 如果你认为 Linux下没有什么好游戏的话,那就错了!我们来看看Linux下最受欢迎的10款游戏吧,而且这些游戏都是完全免费的! # skyreal update(06-12
    2019-10-25
  • compiz fusion特效使用心得(附3D桌面图)

    compiz fusion特效使用心得(附3D桌面图)

    3D桌面图 LINUX发行版就是好,当大多数人还在沉迷于那些什么风格图标鸟玻璃效果甚至孜孜不倦津津乐道的时候,Linux的高手们已经悄悄为我们开启了一个桌面系统3D的时代。 当我第一次
    2019-10-25
  • Ubuntu 下aMule 的安装配置

    Ubuntu 下aMule 的安装配置

    aMule 是一个类似于 eMule 的多平台 P2P 客户端程序。以下将简略叙述 aMule 在 Ubuntu 中的安装及配置 [High ID] 与 [KAD] 的过程。 安装: sudo apt-get install amule sudo apt-get install amule-utils 如果需要
    2019-10-25
  • JMeter jp@gc - stepping thread group插件

    JMeter jp@gc - stepping thread group插件

    这是一个出单接口压力测试的小例子,了解一下压力测试最最基础的基础。出单接口是用来保险出单的,不需要在UI界面下一步下一步的出单,接口一调数据入库完事~~~。再啰嗦一句接
    2019-10-27
  • Ubuntu 下使用K3B软件刻录光盘(图)

    Ubuntu 下使用K3B软件刻录光盘(图)

    不知大家会不会在Ubuntu下刻录光盘呢?k3b是KDE环境下的一个CD/DVD刻录软件,有非常容易使用的界面,功能比较齐全。用起来感觉就象是win下的Nero一样简单自然,比ubuntu里原来的刻录CD方式
    2019-10-25