awk
awk是一种处理文本的语言，是一个强大的文本分析工具，awk是以列为划分记数的，$0表示所有列，$1表示第一列，$2表示第二列。
awk常用参数
- -F指定输入文件分隔符，如-F：
- -v 赋值一个用户定义变量，如-va=1
- -f 从脚本文件中读取awk命令
多个分隔符
awk -F '[-|]' '{print $3}' data
上面这个例子是以-和|为分隔符进行分割。
设置变量
设置awk自定义变量，使用参数-v
cat data.txt | awk -v a=9 '{print $1,$1+a}'
如上，设置了变量a的值，在输出的时候添加一个$1+a的值。
逻辑判断
cat data.txt | awk '$1=="reworth" {print}
输出第一列为reworth的所有行。
cat data.txt | awk '$1!="reworth" {print}'
输出第一列不是reworth的所有行。
正则匹配
cat data.txt | awk '$2 ~ /reworth.*/ {print}'
匹配第二列中以reworth开头的所有行。对某列进行匹配时需要在列之后加个～表示进行匹配。
cat data.txt | awk '/reworth.*/ {print}'
匹配以reworth开头的所有行。
匹配取反 !~
cat data.txt | awk '$2 !~ /reworth/ {print}'
匹配第二列不是reworth的所有行。
内置变量
- FILENAME : 当前输入文件名称
- NF : 当前输入行的字段编号
- OFS : 输出字段分隔符
- NR : 当前输入行编号(是指输入行 1，2，3……等)
- FS : 输入字段分隔符
- ORS : 输出记录分隔符
- RS : 输入记录分隔符
内置函数
substr字符串截取
cat data.txt | awk '{print substr($1,1,4)}'
截取第一列中的第一个到第四个字符。
split 切片
cat data.txt |awk '{split($1,a,",");print a[1],a[2],a[3]}'
以逗号分隔第一列，并输出分隔后的数据。
gsub 替换
cat data.txt | awk ''{gsub("abc","asd",$2);print}
将第二列中的abc替换成asd
统计
grep 'tower_activity_op' /data/s*/log/test.log | awk -F'[=,]' '{a[$2] -= $12; b[$2] -= $14; item_count[$2]++;} END{for(i in a) {serverid=i; cmd="/usr/bin/mysql -u root -h "192.168.0.1" -p1234 -D stat -e "replace into test(date,uid,cash,coins,number,code,serverid) values(\047'$Date'\047,"i","a[i]","b[i]","item_count[i]",\047测试\047,"serverid")""; system(cmd);}}'
