1- awk是什么

awk是linux环境下的一个命令行工具，但是由于awk强大的能力，我们可以为awk工具传递一个字符串，该字符串的内容类似一种编程语言的语法，我们可以称其为Awk语言，而awk工具本身则可以看作是Awk语言的解析器。就好比python解析器与Python语言的关系。我们一般使用awk来做什么，awk又适合做什么工作呢。由于awk天生提供对文件中文本分列进行处理，所以如果一个文件中的每行都被特定的分隔符(常见的是空格)隔开，我们可以将这个文件看成是由很多列的文本组成，这样的文件最适合用awk进行处理，其实awk在工作中很多时候被用来处理log文件，进行一些统计工作等。

2 - awk命令的一般组成

awk最常用的工作一般是遍历一个文件中的每一行，然后分别对文件的每一行进行处理，一个完整的awk命令形式如下：

awk [options]  'BEGIN{ commands }  pattern{ commands }  END{ commands }' file

• options: 表示awk的可选的命令行选项， -F -f -v 。-F指定将文件中每一行分隔成列的分隔符
• 单引号后面的内容就是整个的awk程序脚本，awk需要对文件每一行分割后的每一列做处理
• file则是awk要处理的文件名称

• -F: 指定分隔符
• -f: 调用脚本
• -v: 定义变量
• ‘’: 引用代码块
• BEGIN: 初始化代码块
• //: 匹配代码块，可以是字符串或正则表达式
• {}: 命令代码块，包含一条或多条命令
• ；: 多条命令使用分号分隔
• END: 结尾代码块

特殊用法：
$0 表示整个当前行
NF 字段数量变量
NR 每行的记录号，多文件记录递增
\t 制表符
\n 换行符
~ 匹配，与==相比不是精确比较
!~ 不匹配，不精确比较
-F'[:#/]' 定义三个分隔符

awk对每一行进行分割处理
[root@datanode1 ~]# echo -e '1 2 3 4\n 5 6 7 8 9' | awk '{print $3 " " $2 " " $1}'
3 2 1
7 6 5

1. 将字符串 1 2 3 4 通过管道传递给awk命令，相当于awk处理一个文件，内容就是 1 2 3 4
2. 上面的命令并没有添加 -F 指定分割符号，实际上默认情况下awk使用空格分割每一行
3. 如果需要指定别的字符则使用-F显示指定
4. 上面的命令是将 1 2 3 4 通过空格(不管列之间有多少个空格都将当作一个空格处理)分割成4列
5. 在awk中有一种通过$数字引用的变量，引用的是当前行中分割的每一列的内容，数字的序号从1开始。例如$1表示第1列的内容，$2表示第二列，以此类推。$0 表示当前整行的内容。
6. print是awk的内置函数，用于打印出变量的值。 而我们在$3 $2 $1 之间添加了用双引号引起来的空格，如果没有，则这些变量的值打印出来会连在一起。
7. 这里的awk命令中{}里面的内容实际上是我们上面完整模式的中间部分，我们省略了上面的BEGIN块，END块，并且中间的程序块我们也省略掉了pattern部分，也就是如果不添加BEGIN或者END说明那么该程序块就是上面完整模式中的中间的那个程序块，该中间的程序块所执行的操作就是循环处理文件内容的每一行，如果文件有10行，那么中间的程序块要运行10次，每一次处理一行的内容，并且处理完当前行之后，下次循环会自动依次处理接下来的行内容。

3 - 使用pattern部分

[root@datanode1 ~]# echo -e '1 2 3 4\n 5 6 7 8 9' | awk '$1 > 2{print $3 " " $2 " " $1}'
7 6 5

$1 > 2{print $3 " " $2 " " $1} => pattern{ commands }

• $1 > 2： 第一行大于2， 否则不处理这一行
• pattern部分用来从文件中筛选出需要处理的行进行处理，如果没有则循环处理文件中的所有行

pattern部分可以是任何条件表达式的判断结果，例如>，<，==，>=，<=，!= 同时还可以使用+，-，*，/运算与条件表达式相结合的复合表达式，逻辑 &&，||，! 同样也可以使用进来。另外pattern部分还可以使用 /正则/ 选择需要处理的行。

4 - BEGIN语句块

BEGIN语句块是在匹配文件第一行之前运行的语句块。由于是匹配第一行之前运行，实际上在BEGIN语句块中 $n 是不可用的。一般情况下可以在BEGIN语句块中做一些变量(awk中可以自定义变量，直接为一个变量赋值就定义了一个变量，awk中没有专门定义变量的关键字)初始化的工作，以及一些只需要在开始仅打印一次的输出信息(例如输出表的表头)

[root@datanode1 ~]# echo -e 'words in file\nthe second line' | awk 'BEGIN{print "this is begin"; print ""} {print $1 " " $2 " " $3 " "}'
this is begin

words in file 
the second line 

1. BEGIN必须为大写
2. BEGIN中多个语句块用；分隔
3. 如果需要单独打印空行，需要使用 print ""

5 - END语句块

END语句块是在awk循环执行完所有行的处理之后才执行的，与BEGIN一样，END语句块也只执行一次，我们看看完整的例子。

[root@datanode1 ~]# echo -e 'words in file\n the second line' | awk 'BEGIN{print "this is begin"; print ""} {print $1 " " $2 " " $3 " "} END{print "end"}'
this is begin

words in file 
the second line 
end

小例子，计算和：

[root@datanode1 ~]# echo -e "11 22 33\n44 55 66\n77 88 99" > test.log
[root@datanode1 ~]# cat test.log 
11 22 33
44 55 66
77 88 99
[root@datanode1 ~]# awk 'BEGIN{sum=0} {sum+=$1} END{print sum}' test.log 
132

6 - awk内置函数

awk定义了很多内置函数，下面我们根据函数类型列出常用的函数，下面的函数只是一部分，完整的函数列表则需要查阅awk的官方文档

6.1 - 算术：

1. atan2(y,x) 返回 y/x 的反正切
2. cos(x) 返回 x 的余弦；x 是弧度
3. sin(x) 返回 x 的正弦；x 是弧度
4. exp(x) 返回 x 幂函数
5. log(x) 返回 x 的自然对数
6. sqrt(x) 返回 x 平方根
7. int(x) 返回 x 的截断至整数的值
8. rand() 返回任意数字 n，其中 0 <= n < 1
9. srand([expr]) 将 rand 函数的种子值设置为 Expr 参数的值，或如果省略 Expr 参数则使用某天的时间。返回先前的种子值

6.2 - 字符串

1. gsub(reg,str1,str2) 使用str1替换所有str2中符合正则表达式reg的子串
2. sub(reg,str1,str2) 含义与gsub相同，只不过gsub是替换所有匹配，sub只替换第一个匹配
3. index(str,substr) 返回substr在str中第一次出现的索引，注意索引从1开始计算，如果没有则返回0
4. length(str) 返回str字符串的长度，length函数还可以返回数组元素的个数
5. blength(str) 返回字符串的字节数
6. match(str,reg) 与index函数一样，只不过reg使用正则表达式，例如match("hello",/lo/)
7. split（str,array,reg)将str分隔成数组保存到array中，分隔使用正则reg，或者字符串都可以，返回数组长度
8. tolower(str) 转换为小写
9. toupper(str) 转换为大写
10. substr(str,start,length) 截取字符串，从start索引开始的length个字符，如不指定length则截取到末尾，索引从1开始

6.3 - 其他：

1. system(command) 执行系统命令，返回退出码
2. mktime( YYYY MM dd HH MM ss[ DST]) 生成时间格式
3. strftime(format,timestamp) 格式化时间输出，将时间戳转换为时间字符串
4. systime() 得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数

6.4 - awk的内置变量

awk中同样定义了很多内置变量，我们可以直接像使用普通变量一样使用他们，由于awk的版本众多，有些内置变量并不是得到所有awk版本的支持。

说明：[A][N][P][G]表示支持该变量的工具，[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk

1. $n 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段
2. $0 这个变量包含执行过程中当前行的文本内容
3. [N] ARGC 命令行参数的数目
4. [G] ARGIND 命令行中当前文件的位置（从0开始算）
5. [N] ARGV 包含命令行参数的数组
6. [G] CONVFMT 数字转换格式（默认值为%.6g）
7. [P] ENVIRON 环境变量关联数组
8. [N] ERRNO 最后一个系统错误的描述
9. [G] FIELDWIDTHS 字段宽度列表（用空格键分隔）
10. [A] FILENAME 当前输入文件的名
11. [P] FNR 同NR，但相对于当前文件
12. [A] FS 字段分隔符（默认是任何空格）
13. [G] IGNORECASE 如果为真，则进行忽略大小写的匹配
14. [A] NF 表示字段数，在执行过程中对应于当前的字段数
15. [A] NR 表示记录数，在执行过程中对应于当前的行号
16. [A] OFMT 数字的输出格式（默认值是%.6g）
17. [A] OFS 输出字段分隔符（默认值是一个空格）
18. [A] ORS 输出记录分隔符（默认值是一个换行符）
19. [A] RS 记录分隔符（默认是一个换行符）
20. [N] RSTART 由match函数所匹配的字符串的第一个位置
21. [N] RLENGTH 由match函数所匹配的字符串的长度
22. [N] SUBSEP 数组下标分隔符（默认值是34）

awk官方文档：
https://www.gnu.org/software/gawk/manual/gawk.html