服务器评测
1.取出linux中eth0的IP地址
[root@localhost ~]# ifconfig eth0 |awk -F '[ :]+' 'NR==2 {print $4}'
192.168.1.8
说明： “+”为正则表达式模式匹配至少重复一次。
2.统计文件中所有行单词出现的次数
[root@localhost ~]# awk '
>{for(i=1;i<=NF;i++)
>{count[$i]++}}
>END{for(j in count)
>{print j,count[j]}}' /etc/init.d/functions
3.统计文件中每行的单词出现的次数
[root@localhost ~]# awk '
>{for(i=1;i<=NF;i++)
>{count[$i]++};
>for(j in count)
>print j,count[j];
>delete count}' /etc/init.d/functions
4.统计当前系统上所有tcp连接的各种状态数
[root@localhost ~]# ss -tan | awk '!/^State/{state[$1]++}END{for(i in state)print i,state[i]}'
ESTAB 1
LISTEN 4
5.统计制定的web访问日志中各ip的访问资源次数
[root@localhost ~]# awk '{ip[$1]++}END{for(i in ip) print i,ip[i]}' /var/log/httpd/access_log
192.168.1.101 3
192.168.1.6 297
6.Nginx日志分析
1）统计日志中访问最多的10个IP
思路：对第一列进行去重，并输出出现的次数
方法1：
$ awk '{a[$1]++}END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}' access.log
方法2：
$ awk '{print $1}' access.log |sort |uniq -c |sort -k1 -nr |head -n10
说明：a[$1]++ 创建数组a，以第一列作为下标，使用运算符++作为数组元素，元素初始值为0。处理一个IP时，下标是IP，元素加1，处理第二个IP时，下标是IP，元素加1，如果这个IP已经存在，则元素再加1，也就是这个IP出现了两次，元素结果是2，以此类推。因此可以实现去重，统计出现次数。
2）统计日志中访问大于100次的IP
方法1：
$ awk '{a[$1]++}END{for(i in a){if(a[i]>100)print i,a[i]}}' access.log
方法2：
$ awk '{a[$1]++;if(a[$1]>100){b[$1]++}}END{for(i in b){print i,a[i]}}' access.log
说明：方法1是将结果保存a数组后，输出时判断符合要求的IP。方法2是将结果保存a数组时，并判断符合要求的IP放到b数组，最后打印b数组的IP。
3）统计2016年4月9日一天内访问最多的10个IP
思路：先过滤出这个时间段的日志，然后去重，统计出现次数
方法1：
$ awk '$4>="[9/Apr/2016:00:00:01" && $4<="[9/Apr/2016:23:59:59" {a[$1]++}\
END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}' access.log
方法2：
$ sed -n '/\[9\/Apr\/2016:00:00:01/,/\[9\/Apr\/2016:23:59:59/p'\ access.log |sort |uniq -c |sort -k1 -nr |head -n10 #前提开始时间与结束时间日志中必须存在
4）统计当前时间前一分钟的访问数
思路：先获取当前时间前一分钟对应日志格式的时间，再匹配统计
$ date=$(date -d '-1 minute' +%d/%b/%Y:%H:%M);awk -vdate=$date '$0~date{c++}END{print c}' access.log
$ date=$(date -d '-1 minute' +%d/%b/%Y:%H:%M);awk -vdate=$date\
'$4>="["date":00" && $4<="["date":59"{c++}END{print c}' access.log
$ grep -c $(date -d '-1 minute' +%d/%b/%Y:%H:%M) access.log
说明：date +%d/%b/%Y:%H:%M –> 09/Apr/2016:01:55
5）统计访问最多的前10个页面（$request）
$ awk '{a[$7]++}END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}' access.log
6）统计每个URL访问内容的总大小（$bodybytessent）
$ awk '{a[$7]++;size[$7]+=$10}END{for(i in a)print a[i],size[i],i}' access.log
7）统计每个IP访问状态码数量（$status）
$ awk '{a[$1" "$9]++}END{for(i in a)print i,a[i]}' access.log
8）统计访问状态码为404的IP及出现次数
$ awk '{if($9~/404/)a[$1" "$9]++}END{for(i in a)print i,a[i]}' access.log
7.只处理用户ID为奇数的行，并打印用户名和ID号
# awk -F: '{if($3%2 == 0) next;print $1,$3}' /etc/passwd
8.显示系统的普通用户，并打印用户及ID
# awk -F: '{if($3>=500)print $1,$3}' /etc/passwd
9.显示系统用户是“/bin/bash”的用户，并打印用户名
# awk -F: '{if($NF== "/bin/bash")print $1}' /etc/passwd
10.统计普通用户的个数
# awk -F: -v sum=0 '{if($3>=500) sum++}END{print sum}' /etc/passwd
11.统计文本的总行数
# awk 'END{print NR}' /etc/passwd
12.利用awk显示文件名
# awk 'END{print FILENAME}' /etc/fstab
13.格式化输出统计数据
# awk -F: '{printf "username= %s UID:%d\n",$1,$3}' /etc/passwd
14.只显示ID为1000的用户的相关信息
# awk -F: '$3=="1000" {print $0}' /etc/passwd
mageedu:x:1000:1000:mageedu:/home/mageedu:/bin/bash
# awk -F: '$3=="1000" {print $1,$3,$NF}' /etc/passwd
mageedu 1000 /bin/bash
15.查找“root”关键字的行
# awk '/[Rr]oot/' /etc/passwd
16.利用awk模拟tail -1 的效果
# awk 'END{ print }' /etc/passwd
17.打印一个表头，并且打印用户名和ID
# awk -F: 'BEGIN{print "Name\t\tID\n--------"} {print $1"\t\t"$3}' /etc/passwd
18.打印一个表头和表尾，并打印用户名，ID，及shell
# awk -F: 'BEGIN{print "username ID shell"}{printf "%-20s%-10s%-10s\n",$1,$3,$7}\
END{print "-----end of report-----"}' /etc/passwd
19.对文本中的字段进行字符个数统计
# awk '/^[[:space:]]*linux16/{i=1;while(i<=NF){print $i,length($i);i++}}' /etc/grub2.cfg
20.打印字符个数大于等于8的字段
# awk -F: '{i=1;while(i<=NF){if(length($i)>=8){print $i};i++}}' /etc/passwd
21.统计系统中shell的类型，并打印shell引用的次数
# awk -F: '$NF!~/^$/{BASH[$NF]++}END{for(A in BASH){printf "%15s:%i\n" ,A,BASH[A]}}' /etc/passwd
22.统计fstab文件中，各文件系统被引用的次数
# awk '/^UUID/{filesystem[$3]++}END{for (i in filesystem) {print i,filesystem[i]}}' /etc/fstab
23.统计正与系统建立连接的IP地址（ESTABLISHED),并统计建立连接的连接数量
# netstat -tn | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for(i in count)print i,count[i]}'
# netstat -tan | awk '{print $5}' | sort -n | cut -d: -f1 | uniq -c | sort -n
24.将文本的重复行去掉
# awk '!a[$0]++' FILE $ awk '{if($9~/404/)a[$1" "$9]++}END{for(i in a)print i,a[i]}' access.log
25.打印偶数行
$ seq 1 5 |awk '!(i=!i)' $ seq 1 5 |awk 'NR%2==0'
26.打印奇数行
$ seq 1 5 |awk 'i=!i' $ seq 1 5 |awk 'NR%2!=0'
27.打印九九乘法表
[root@localhost ~]# awk '
>BEGIN{for(n=0;n++<9;)
>{for(i=0;i++<n;)
>printf i"x"n"="i*n" ";print ""}}'
1x1=1
1x2=2 2x2=4
1x3=3 2x3=6 3x3=9
1x4=4 2x4=8 3x4=12 4x4=16
1x5=5 2x5=10 3x5=15 4x5=20 5x5=25
1x6=6 2x6=12 3x6=18 4x6=24 5x6=30 6x6=36
1x7=7 2x7=14 3x7=21 4x7=28 5x7=35 6x7=42 7x7=49
1x8=8 2x8=16 3x8=24 4x8=32 5x8=40 6x8=48 7x8=56 8x8=64
1x9=9 2x9=18 3x9=27 4x9=36 5x9=45 6x9=54 7x9=63 8x9=72 9x9=81
28.删除重复行
[root@localhost ~]# awk '!a[$0]++' num #!优先级高于++
29.找出两个文件相同的行
[root@localhost ~]# awk 'FNR==NR{a[$0];next}($0 in a)' num num1
本文永久更新链接地址：http://www.linuxidc.com/Linux/2017-02/140273.htm
