一.awk简单介绍
awk是一种编程语言,用于在linux/unix下对文本和数据进行处理.它支持用户自定义函数和动态正则表达式等功能,是linux/unix下的一个强大编程工具。
二.awk的处理文本和数据的工作原理:
awk会逐行扫描文件,从第一行到最后一行,寻找匹配的特定模式的行,并在这些行上进行的操作.如果没有指定处理动作,则把匹配的行显示到标准输出(屏幕),如果没有指定模式,则所有被操作所指定的行都被处理。
在awk中认为文件的每一行是一条记录,记录和记录的分隔符为换行符(默认),每一列是一个字段,字段和字段之间的默认分隔符是空格。
gawk是awk的GNU版本,在linux系统中已把awk链接到gawk.
三.awk命令格式:awk [option] '{ action }' 文件名
1.option参数介绍:
1) -F :指定列与列之间的分隔符,默认是空格
2) -f: 将条件写到一个文件中,调用文件
3)-v:服务一个用户定义变量,-v var=value or --asign var=value
4)BEGIN:让用户指定在第一条输入记录被处理之前所发生的动作,通常可在这里设置全局变量
eg:awk 'BEGIN { print “ hello“ } { print $0 }' 文件名
5)END:让用户在最后一条输入记录被读取之后发生的动作
eg:awk 'END { print “hello” } { print $0 }' 文件名
2.分隔符:
1)FS:输入字段分隔符。默认是空格
2)OFS:输出字段的分隔符,默认是空格
eg:awk -F: 'BEGIN { OFS="||" } NR==1{ print $1,$2 } ' passwd
awk -F: 'NR==1{ print $1,$2 }' OFS="||" passwd
3)RS:输入记录分隔符,默认是回车
4)ORS:输出记录分隔符,默认是回车
eg:awk -F: 'BEGIN { ORS=" " } NR==1,NR==2{ print $0 } ' passwd
awk -F: 'NR==1,NR==2{ print $0 }' ORS=" " passwd
5)$0:完整的记录
eg:awk -F: '{ print $0 }' passwd
6)$n:当前记录的第n个字段,字段间由FS分隔。n是大于0的自然数
eg:awk -F: '{ print $1,$3,$5 }' passwd
7)NR:记录数
eg:awk -F: 'NR==行数,NR==行数1{ print $n }' 文件名
8)NF:当前记录中的字段数,指最后一列
eg:awk -F: 'NR==行数{ print $NF }' 文件名
3.匹配代码块
1)/代码块/ ---------> 纯字符匹配,多个字符块的话|隔开
eg:awk '/root|mysql/{print $0}' passwd
2)!/代码块/ ---------> 纯字符不匹配
eg:awk '/^root/{print NR,$0}' passwd
3)区间匹配--------->/代码块/,/代码块1/
eg: awk '/root/,/mysql/{print NR,$0}' passwd
4)~/代码块/ ------------>字段匹配,多个字符块的话|隔开,
eg:awk -F: '$1~/root|mysql/{print $0}' passwd --------->第一个字段匹配root或者是mysql显示
5)!~/代码块/ ------------>字段不匹配显示
eg:awk -F: '$1 !~/root/{print $0}' passwd
4.awk函数使用
1)if语句,必须用在{}中,且比较内容用()扩起来
匹配第一个字段如果是root显示否则输出error
eg:awk -F: '{if($1~/root/) {print $1} else {print "error"}}' passwd
2)for循环:
eg:awk -F: -v total=0,num=3 '{for(i=0;i<=num;i++) total+=$3;{print total}}' passwd
awk -F: -v total=0 '{total+=$3} END{print total}' passwd
3)while
eg:awk -F: 'BEGIN{i=1} {while(i<NF) print NF,$i,i++}' /etc/passwd
5.条件表达式&&逻辑运算符&&数值运算
1)条件表达式:==,!=,>,>=<,>,<
eg:awk -F: 'NR==1{print $3}' passwd
2)逻辑运算符:
eg:awk -F: '$1~/mail/ && $3==8 {print $0}' /etc/passwd