awk编程学习笔记基础篇
-
awk编程的基本框架为：
BEGIN{} #循环前部命令
{} #循环中，对于每行进行一次循环，包括模式和过程两个部分，如果匹配一次模式，则进行一次循环
END{} #主循环结束后的命令
BEGIN模式用于在一个输入行读入之前要执行的动作
$awk 'BEGIN {print "Hello,World"}'
awk程序是由所谓的主输入循环组成的，当没有其他行读入时循环终止
awk后缀脚本在hadoop集群中 /home/shanjiajun/ 文件夹中
/[0-9] */ {print "that is an integer"} 模式(可以为正则表达式)+过程
注：连续的两个或多个空格和/或制表符被作为一个分隔符
- FS为系统变量读入指定域分隔符，OFS为系统变量写出指定域分隔符，在BEGIN中指定
BEGIN {FS=",",OFS=","}
- awk 脚本的运行方法：
脚本 ： BEGIN {FS=","} {print $1","$6}
运行 ： awk -f phonelist.awk names
-
awk 编程中所有没有赋值的变量初始状态为0，多行打印用分号隔开
NF和NR也为系统变量，分别为字段的数量和行号，则$NF为最后一个字段，$(NF-1)为倒数第二个字段
LENGTH为字符串的长度函数
逻辑运算三种方式 ： && || ！
例如：
($5!~/MA/) && (NF==6) {print $0} #打印第五个字段不匹配MA字符且字段数为6的行
- print和printf的主要区别在于printf没有提供自动换行功能，需要加上一个\n
%s为字符型 %f为浮点型 %d为整型
一个printf语句表达式可以规定输出欲的宽度和对齐方式，可以由3个可选的修饰符组成，跟在%后面
形式为：%-width.precision format-specifier
awk打印默认为右对齐格式，-为设置为左对齐，width为设置的字符的宽度，precision为字符的精度，一般用在%f浮点型中
条件、循环、和数组
if(expression) action1
[else action2]
特别的例子
if(x~/[yY](es)?/) print x
循环
while (condition) action
do
action
while (condition)
#至少循环一次
for(i=1;i<=NF;i++) print $i
break 终止循环
continue 停止本次循环，直接进入下一次循环
数组
awk编程中数组下标从1开始
所有数组都是关联数组，下标可以是一个字符串或者数组
- 有一个特殊的循环语法可以访问关联数组：
for(variable in array)
do something with array[variable]
分组运算
cat * |awk -F':' '{a[$1":"$2]+=$6}END{for(i in a) print i":"a[i]}' #注意：BEGIN和END一定要大写
函数：
function name (x1,x2...){statments }
