轻松掌握 Linux 文本处理三剑客:grep、awk 和 sed 实战演练

为什么要学习 Shell 脚本语言?

现代的互联网架构底层系统几乎都是基于 Linux 操作系统构建的,Linux 的核心价值在于提供了强大的系统内核功能进行文件管理和信息交互管理。

而 Shell 则是软件研发人员高效控制和使用 Linux 的工具和桥梁。Shell 本身是 C 语言编写的系统软件,通常也叫命令行工具。它具有一个基础的界面,用户在这个界面通过 Shell 脚本语言(Shell Script)来访问 Linux 操作系统内核服务。

Tips:尽管通常我们把「Shell」和「Shell 脚本语言」都叫做 “Shell”,但其实这两者是有本质区别的。

在科幻电影里,我们经常看到在暗色调的屏幕上 Shell 脚本代码在快速滚动,这简直成为了 Geek/Hacker 的一个形象标签。而实际工作中,Shell 也备受开发、运维、测试人员甚至运营人员的青睐,几乎是 IT 技术人员的必备技能。在软件测试技术领域,Shell 脚本编程更是自动化测试技术的基石,是测试开发工程师的必备技能。

Shell 脚本语言编程有哪些优势呢?

Shell 脚本语言的优势在于能够以最轻量级最快捷的速度处理 Linux 操作系统偏底层的业务。比如软件的自动化安装、更新版本,监控报警,日志分析等。虽然其他高级编程语言如 PHP、Python、Ruby 等语言也能做到,但是效率和开发成本上会大打折扣,所谓“杀鸡用牛刀”,有点得不偿失。

成熟的技术人会摒弃华而不实的方法,而会根据不同的场景选择最合适的工具去解决问题,朴实而高效。比如本文着重介绍的 Linux 三剑客:grep、awk 和 sed 就是 Linux 文本处理问题的最高效工具。

下面,我们将依次介绍 Linux 文本处理三剑客的基础语法,使用场景和特性,以及给出对应的实战演练题目。

Shell 编程环境安装

  • Windows 用户,建议安装 Git Bash 软件。

  • Mac 用户,建议安装 iterm2 软件。

  • ssh 工具

  • 霍格沃兹测试学院的学员可以用自己的帐号登录
    ssh 手机号码后8位@shell.testing-studio.com

  • 没有 ssh 账号的可以临时用
    ssh hogwarts2019@shell.testing-studio.com

  • 演练文档:http://testerhome.com/tmp/nginx.log 保存了一份一天的 Nginx 访问 log。

Linux 三剑客介绍

image
image
  • grep:主要用于文本内容查找,支持正则表达式。
  • awk:主要用于文本内容的分析处理,也常用于处理数据,生成报告,非常适用于需要按列处理的数据。(现在很多Linux使用gawk)
  • sed:全称为 Stream editor ,主要用于文本内容的编辑,默认只处理模式空间,不改变原数据,而且 sed 使用逐行读取的方式处理数据。

grep

image
image

grep 示例 Shell 脚本代码

ps -ef  | grep bash
echo "ABC" | grep -i  abc
ps -ef | grep bash | grep -v grep
echo "1234 7654" | grep -o "[0-9]4"  
echo "1234 7654" | grep -oE "[0-9]4|76"

grep 实战演练题目

  • 找出 nginx.log 中所有 404 和 503 报错的 log 数据,取出前 3 条数据,把命令贴到回复里。
  • 找出 testerhome 首页的所有 http 和 https 的链接。

awk

image
image
image

awk 示例 Shell 脚本代码

ps | awk 'BEGIN{print "start"}{print $0}END{print "end"}'
awk '/ 404 | 500 /' /tmp/nginx.log
echo '1
2
3
4
5' | awk '/2/,/4/'
echo '1
2
3
4
5' | awk '$0>3'
ps | awk 'NR>1'
ps | awk '{print $NF}'
echo $PATH | awk 'BEGIN{RS=":"}{print $0}' | grep -v "^$" | awk 'BEGIN{FS="\n";ORS=":"}{print $0}END{printf "\n" }'
echo '1,10
2,20
3,30' | awk 'BEGIN{a=0;FS=","}{a+=$2}END{print a,a/NR}'
awk 'BEGIN{print 33*20*76/200/3}'
echo "123|456_789" | awk 'BEGIN{FS="\\||_"}{print $2}'
echo "123|456_789" | awk "BEGIN{FS=\"\\\\||_\"}{print \$2}" #尽量使用单引号

awk 实战演练题目

  • 找出 404 和 500 的数据,只打印状态码这一列,然后排序去重。把命令贴到回复里
  • 去 testerhome 首页找到所有的 http 的连接,然后打印不带 http 的纯域名部分

sed

image

pattern表达式

  • 20 30,35 行数与行数范围
  • /pattern/ 正则匹配
  • //,// 正则匹配的区间

action

  • d 删除
  • p 打印,通畅结合-n参数
  • s/REGEXP/REPLACEMENT/[FLAGS]
  • 替换时引用 \1 \2 匹配的字段

sed 示例 Shell 脚本代码

ps | sed -n 1,3p
ps | sed 's/CMD/command/'
ps | sed -n '/ps/p'
echo '1
2
3
4
5' | sed -n '/3/,/4/p'
echo '1
2
3
4
5' | sed '/3/,/4/d'
ps | sed -e 's/CMD/command/' -e 's#00#20#g'

sed 实战演练题目

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,240评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,328评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,182评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,121评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,135评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,093评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,013评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,854评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,295评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,513评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,398评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,989评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,636评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,657评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352

推荐阅读更多精彩内容