AWK 入门简明教程

AWK 脚本的结构

awk ' BEGIN{ print "start" } pattern { commands } END{ print "end" } file

awk 脚本通常由3部分组成。 BEGIN , END 和带模式匹配选项的常见语句块。这3个部分都是可 选项,在脚本中可省略任意部分。

AWK 脚本的执行

一、在命令行中执行 AWK 脚本

AWK 脚本包含在单引号之间

awk 'BEGIN { statements } { statements } END { end statements }'

二、把 AWK 脚本写入文件

文件的内容格式如下,在命令使用awk -f <programfile> <inputfile>

  • programfile: AWK 脚本文件
  • inputfile: 被处理的文件
BEGIN { statements } { statements } END { end statements }

AWK 的工作方式

一、AWK工作流程图

AWK工作流程图

Read
AWK从输入流(文件,管道或者标准输入)中读取一行,然后存储到内存中。

Execute
所有的AWK命令都依次在输入上执行。默认情况下,AWK会对每一行执行命令,我们可以通过提供模式限制这种行为。

Repeat
处理过程不断重复,直到到达文件结尾。

二、AWK 执行流程

  1. 执行 BEGIN { commands } 语句块中的语句。
  2. 从文件或 stdin 中读取一行,然后执行 pattern { commands } 。重复这个过程,直到文件全部被读取完毕。
  3. 当读至输入流末尾时,执行 END { commands } 语句块。

三、要点理解

  • BEGIN 语句块在 awk 开始从输入流中读取行之前被执行。这是一个可选的语句块,诸如变量 初始化、打印输出表格的表头等语句通常都可以写入 BEGIN 语句块中。
  • END 语句块和 BEGIN 语句块类似。 END 语句块在 awk 从输入流中读取完所有的行之后即被执 行。像打印所有行的分析结果这类汇总信息,都是在 END 语句块中实现的常见任务(例如,在比 较过所有的行之后,打印出最大数)。它也是一个可选的语句块。
  • 最重要的部分就是 pattern 语句块中的通用命令。这个语句块同样是可选的。如果不提供该 语句块,则默认执行 { print } ,即打印所读取到的每一行。 awk 对于每一行,都会执行这个语 句块。这就像一个用来读取行的 while 循环,在循环体中提供了相应的语句。
  • 每读取一行, awk 就会检查该行和提供的 pattern 是否匹配。pattern 本身可以是正则表达式、条件 语句以及行匹配范围等。如果当前行匹配该 pattern ,则执行 { } 中的语句。
  • pattern 是可选的。如果没有提供样式,那么 awk 就认为所有的行都是匹配的,并执行 { } 中的 语句

AWK 的一些特殊变量

变量名 含义
NR 表示记录数量,在执行过程中对应于当前行号。
NF 表示字段数量,在执行过程中对应于当前行的字段数。
$0 这个变量包含执行过程中当前行的文本内容。
$1 这个变量包含第一个字段的文本内容。
$2 这个变量包含第二个字段的文本内容。
范例 效果
$ awk '{ print $3,$2 }' file 打印每一行的第2和第3个字段
$ awk 'END{ print NR }' file 统计文件中的行数

将外部变量值传递给 AWK

借助选项 -v ,我们可以将外部值(并非来自 stdin )传递给 awk

$ VAR=10000
$ echo | awk -v VARIABLE=$VAR '{ print VARIABLE }'
10000

用 getline 读取特定行:

awk 通常默认读取一个文件的所有行。如果只想读取某一行,可以使用 getline 函数。有时候,我们需要从 BEGIN 语句块中读取第一行。

语法: getline var
变量 var 就包含了特定行的内容。如果调用不带参数的 getline ,我们可以用 $0$1$2 访问文本行的内容。

$ seq 5 | awk 'BEGIN { getline; print "Read ahead first line", $0 } { print $0 }'
Read ahead first line 1
2
3
4
5

使用过滤模式对 AWK 处理的行进行过滤:

范例 效果
awk 'NR < 5' 行号小于5 的行
awk 'NR==1,NR==4' 行号在1到5之间的行
awk '/linux/' 包含样式linux 的行(可以用正则表达式来指定模式)
awk '!/linux/' 不包含包含模式为linux

设置字段定界符:

默认的字段定界符是空格。我们也可以用 -F "delimiter" 明确指定一个定界符
$ awk -F: '{ print $NF }' /etc/passwd
在 BEGIN 语句块中则可以用 OFS="delimiter" 设置输出字段的定界符。

从 AWK 中读取命令输出:

将命令的输出结果读入变量 output 的语法如下
"command" | getline output ;

$ echo | awk '{ "grep root /etc/passwd" | getline cmdout ; print cmdout }'
root:x:0:0:root:/root:/bin/bash

通过使用 getline ,我们将外部shell命令的输出读入变量 cmdout 。

在 awk 中可以使用 for 循环,其格式如下:

for(i=0; i<10; i++) { print $i ; }
或者
for(i in array) { print array[i]; }

AWK 内建的字符串控制函数

范例 效果
length(string) 返回字符串的长度。
index(string, search_string) 返回 search_string 在 string 中出现的位置。
split(string, array, delimiter) 用定界符生成一个字符串列表,并将该列表存 入数组。
substr(string, start-position, end-position) 在字符串中用字符起止偏移 量生成子串,并返回该子串。
sub(regex, replacement_str, string) 将正则表达式匹配到的第一处内容替换成 replacment_str 。
gsub(regex, replacment_str, string) 和 sub() 类似。不过该函数会替换正则表达式匹配到的所有内容。
match(regex, string) 检查正则表达式是否能够匹配字符串。如果能够匹配,返回 非0值;否则,返回0。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,744评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,505评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,105评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,242评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,269评论 6 389
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,215评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,096评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,939评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,354评论 1 311
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,573评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,745评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,448评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,048评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,683评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,838评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,776评论 2 369
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,652评论 2 354

推荐阅读更多精彩内容

  • awk简介 awk是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多...
    yeahuh阅读 3,955评论 0 7
  • 转载 原文的排版和内容都更加友好,并且详细,我只是在这里贴出了一部分留作自己以后参考和学习,如希望更详细了解AWK...
    XKirk阅读 3,214评论 2 25
  • awk: grep,sed,awk grep:文本过滤 sed:文本编辑 awk:文本格式化工具; 1 什么是aw...
    木林森阅读 1,782评论 0 16
  • awk介绍awk变量printf命令:实现格式化输出操作符awk patternawk actionawk数组aw...
    哈喽别样阅读 1,564评论 0 4
  • linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    数据革命阅读 12,159评论 2 33