程序员的AWK日常使用

介绍

AWK是一门解释型的编程语言。在文本处理领域它是非常强大的,它的名字来源于它的三位作者的姓氏:Alfred Aho, Peter Weinberger 和 Brian Kernighan。

GNU/Linux发布的AWK目前由自由软件基金会(FSF)进行开发和维护,通常也称它为 GNU AWK。

用途

AWK在程序员的日常工作中有以下几种用途

1、文本处理(从日志中筛选有用的记录,根据条件进行统计,字符串操作)

2、输出格式化的文本报表(根据想要的格式输出日志等文件,转成SQL进行存储)

3、执行算数运算(对日志等格式化文件中的记录数据进行各种计算)

使用

一、语法

AWK语言结构由三部分组成(BEGIN语句块,body语句块,END语句块)

实例:awk 'BEGIN{printf "first row content" } {print "body"} END{print "last row content"}'

说明:①BEGIN语句块最先执行且只执行1次,BEGIN必须大写,BEGIN语句块可以省略

②body部分的语句会对应用到文件或者输入内容的每一样内容,逐行执行,直到文件结束

③END语句块最后执行,可以做一些统计输出之类的功能,此语句块也是可省略的

二、执行方式

① 命令行直接写awk语句执行 如:awk 'BEGIN{printf "first row content" } {print "body"}  END{print "last row content"}  awk.txt'

② 将程序写入 .awk 文件中执行 如:awk -f command.awk awk.txt

三、常用语法

① 指定分隔符

默认以空格为字段之间的分隔符,也可以进行指定: 

指定单个分隔符  awk -F "@" 指定@为分隔符

指定多个个分隔符  awk -F "[@ \t]" 指定@或空格或TAB为分隔符(存在多个分隔符时同时生效)

awk文件内指定分隔符 awk 'BEGIN{FS="@"} {print} END{print "end"}' 

② 字符串拼接

通常:用双引号与字段拼接 例如:awk '{print $1 "*" $2}' output.txt(*代表拼接的内容)

例外:拼接单引号或双引号 awk '{print $1 "*'\''" $2}' 或 awk '{print $1 "*\"" $2}'

③ 输出指定列

例子:awk '{print $1 "*" $2}' output.txt (说明:$1代表依据分隔符分割之后第一列,以此类推,而且打印顺序可以随意摆放)

④ 流程控制(if else)

实例

⑤ 循环

四、内建函数

① 算数函数

内建算数函数

举例说明:

[chengmo@centos5 ~]$ awk 'BEGIN{OFMT="%.3f";fs=sin(1);fe=exp(10);fl=log(10);fi=int(3.1415);print fs,fe,fl,fi;}'

0.841 22026.466 2.303 3

OFMT 设置输出数据格式是保留3位小数

获得随机数:

[chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'

[chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'

[chengmo@centos5 ~]$ awk 'BEGIN{srand();fr=int(100*rand());print fr;}'

② 字符串函数

字符串内建函数

例子:root@homestead:/home/www# awk -F "[ ,]" '{print length($1)}' output.txt

③ 时间函数

systime

mktime(datespec)

strftime([format [, timestamp[, utc-flag]]])

例子:awk -F "[ ,]" '{print length($1) "time: " strftime("%Y-%m-%d",systime())}' output.txt

五、输出重定向

输出重定向

例子:awk '{print length($1) "  time: " strftime("%Y-%m-%d",systime()) > "a.txt"}' output.txt

六、正则表达式

① 在命令行对文件每一行进行正则匹配

命令行正则匹配

② 利用函数对具体字符串进行处理 

gsub(regex, sub, string)

match(str, regex)

split(str, arr, regex)

sub(regex, sub, string)


总结:awk在日常开发中会为程序员省掉很多时间,比如日志统计、筛选,将有格式的文件入库等操作,当然awk作为一门简单的工具语言还有更强大的功能,这里就不一一介绍了

更多语法特性请参考:http://mp.weixin.qq.com/s/X0ire4dYiceC2CzPU6JsSw

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,142评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,298评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,068评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,081评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,099评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,071评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,990评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,832评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,274评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,488评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,649评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,378评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,979评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,625评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,643评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,545评论 2 352

推荐阅读更多精彩内容

  • 转载 原文的排版和内容都更加友好,并且详细,我只是在这里贴出了一部分留作自己以后参考和学习,如希望更详细了解AWK...
    XKirk阅读 3,210评论 2 25
  • awk: grep,sed,awk grep:文本过滤 sed:文本编辑 awk:文本格式化工具; 1 什么是aw...
    木林森阅读 1,778评论 0 16
  • awk命令的基本使用 [root@shellscript ~]# head -n 3 /etc/passwd | ...
    古寒飞阅读 1,064评论 0 2
  • 本章主要学习内容awk介绍 awk基本用法 awk变量 awk格式化 awk操作符 awk条件判断 a...
    楠人帮阅读 1,267评论 0 8
  • awk:报告生成器,格式化文本输出 内容: awk介绍 awk基本用法 awk变量 awk格式化 awk操作符 a...
    BossHuang阅读 1,456评论 0 9