Linux云计算架构师精编实战教程：shell中色彩处理和awk使用技巧

全套学习资料移步至公众号【学神来啦】

本节所讲内容：

24.1 shell中的色彩处理

24.2 awk基本应用

24.3 awk高级应用

24.1 Shell中的色彩处理

shell脚本中echo显示内容带颜色显示,echo显示带颜色，需要使用参数-e

格式1： echo -e “\033[背景颜色;文字颜色m要输出的字符\033[0m”

格式2：echo -e “\e[背景颜色;文字颜色m要输出的字符\e[0m”

例：绿底蓝字

如图：

注:其中42的位置代表底色，34的位置代表的是字的颜色，0m是关闭属性

1、字背景颜色和文字颜色之间是英文的分号";"

2、文字颜色后面有个m

3、字符串前后可以没有空格，如果有的话，输出也是同样有空格

4、echo显示带颜色，需要使用参数-e ,-e 允许对下面列出的加反斜线转义的字符进行解释.

控制选项：

\033[0m 关闭所有属性

\033[1m 设置高亮度，加粗

\033[5m 闪烁

[root@xuegod63 ~]# echo -e "\e[42;34mhello world\e[5m" #执行后，发现后期所有输出都闪烁状态，如何关闭？

[root@xuegod63 ~]# echo -e " \e[0m" #可以使用\e[0m 关闭所有属性

[root@xuegod63 ~]# echo -e " \033[0m" #可以使用\033[0m 关闭所有属性

常见shell输入带颜色文字： 3x代表字的颜色，4x代表背景色

echo -e "\033[30m 黑色字 \033[0m"

echo -e "\033[31m 红色字 \033[0m"

echo -e "\033[32m 绿色字 \033[0m"

echo -e "\033[33m 黄色字 \033[0m"

echo -e "\033[34m 蓝色字 \033[0m"

echo -e "\033[35m 紫色字 \033[0m"

echo -e "\033[36m 天蓝字 \033[0m"

echo -e "\033[37m 白色字 \033[0m"

echo -e "\033[40;37m 黑底白字 \033[0m"

echo -e "\033[41;37m 红底白字 \033[0m"

echo -e "\033[42;37m 绿底白字 \033[0m"

echo -e "\033[43;37m 黄底白字 \033[0m"

echo -e "\033[44;37m 蓝底白字 \033[0m"

echo -e "\033[45;37m 紫底白字 \033[0m"

echo -e "\033[46;37m 天蓝底白字 \033[0m"

echo -e "\033[47;30m 白底黑字 \033[0m"

shell色彩应用实战：

[root@xuegod63 ~]# echo -e "\033[31m 2. 部署apache环境 \033[0m" \

&& yum -y install httpd &> /dev/null \

&& systemctl start httpd \

&& echo -e "\033[42m apache启动成功 \033[0m" || echo -e "\033[41m 启动失败！ \033[0m"

#安装服务，部署开始时输出红色字体。部署成功并启动服务后输出绿底start字样，失败则输出红底error字样。

24.2 awk基本应用

grep和egrep：文本过滤的

sed：流编辑器，实现编辑的

awk：文本报告生成器，实现格式化文本输出

24.2.1 AWK基本概念

AWK是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言的最大功能取决于一个人所拥有的知识。awk命名:Alfred Aho Peter （阿尔弗雷德·霍彼得）、Weinberger（温伯格）和brian kernighan（布莱恩·柯林汉）三个人的姓的缩写。

awk---->gawk 即： gun awk

在linux上常用的是gawk,awk是gawk的链接文件

man gawk----》pattern scanning and processing language 模式扫描和处理语言。

任何awk语句都是由模式和动作组成，一个awk脚本可以有多个语句。模式决定动作语句的触发条件和触发时间。

模式：

正则表达式 : /root/ 匹配含有root的行 /*.root/

关系表达式： < > && || + *

匹配表达式： ~ !~

动作：

变量命令内置函数流控制语句

它的语法结构如下：

awk [options] 'BEGIN{ print "start" }‘pattern{ commands }’END{ print "end" }'file

其中：BEGIN END是AWK的关键字部，因此必须大写；这两个部分开始块和结束块是可选的

特殊模块：

BEGIN语句设置计数和打印头部信息，在任何动作之前进行

END语句输出统计结果，在完成动作之后执行

通过上面我们可以知道;AWK它工作通过三个步骤

1、读：从文件、管道或标准输入中读入一行然后把它存放到内存中

2、执行：对每一行数据，根据AWK命令按顺序执行。默认情况是处理每一行数据，也可以指定模式

3、重复：一直重复上述两个过程直到文件结束

AWK支持两种不同类型的变量：内建变量，自定义变量

awk内置变量:

$n 当前记录的第n个字段，比如: $1表示第一个字段，$2表示第二个字段

$0 这个变量包含执行过程中当前行的文本内容

FILENAME 当前输入的文件名

FS 字段分隔符（默认是空格）

NF 表示字段数，在执行过程中对应于当前的字段数，NF：列的个数

FNR 各文件分别计数的行号

NR 表示记录数，在执行过程中对应于当前的行号 , NR :行号

OFS 输出字段分隔符（默认值是一个空格）

ORS 输出记录分隔符（默认值是一个换行符）

RS 记录分隔符（默认是一个换行符）

24.2.2 实例演示

常用的命令选项：

-F fs指定分隔符

-v 赋值一个用户自定义变量

-f 指定脚本文件,从脚本中读取awk命令

（1）分隔符的使用

用法：-Ffs 其中fs是指定输入分隔符，fs可以是字符串或正则表达式;分隔符默认是空格

常见写法：-F: -F, -F[Aa]

例1：

[root@xuegod63 ~]# echo "AA BB CC DD"|awk '{print $2}'

[root@xuegod63 ~]# echo "AA|BB|CC|DD"|awk -F"|" '{print $2}'

[root@xuegod63 ~]# echo "AA,BB,CC,DD"|awk -F"," '{print $2}'

[root@xuegod63 ~]# echo "AA,BB,CC,DD"|awk -F, '{print $2}'

[root@xuegod63 ~]# awk -F: '{print $1}' /etc/passwd #以：分隔，打印第1列用户名

[root@xuegod63 ~]# cut -d: -f1 /etc/passwd

例2：指定多个分隔符

[root@xuegod63 ~]# echo "12AxAbADXaAD52" | awk -F"[aA]" '{print $1}'

例3：使用FS指定分隔符

[root@xuegod63 ~]# echo "12AxAbADXaAD52" | awk 'BEGIN {FS="aA"} {print $2}'

D52

例4：过滤出本系统的IP地址

[root@xuegod63 ~]# ifconfig ens33 | grep netmask

inet 192.168.1.63 netmask 255.255.255.0 broadcast 192.168.1.255

[root@xuegod63 ~]# ifconfig ens33 | grep netmask | awk '{print $2}'

192.168.1.63

（2）关系运算符的使用

例1：

[root@xuegod63 ~]# echo "3 2 3 4 5" > a.txt

[root@xuegod63 ~]# awk '{print $1+10}' a.txt

例2：

[root@xuegod63 ~]# echo "one two three four" | awk '{print $4}'

four

[root@xuegod63 ~]# echo "one two three four" | awk '{print $NF}'

four

[root@xuegod63 ~]# echo "one two three four" | awk '{print $(NF-2)}' #打印倒数第3列

two

[root@xuegod63 ~]# echo "one two three four" | awk '{print $(NF/2-1)}'

one

例2：打印出passwd文件中用户UID小于10的用户名和它登录使用的shell

参数： $NF 最后一列

[root@xuegod63 ~]# awk -F: '$3<10{print $1 $NF}' /etc/passwd #直接输出格式太乱

root/bin/bash

bin/sbin/nologin

daemon/sbin/nologin

adm/sbin/nologin

lp/sbin/nologin

sync/bin/sync

shutdown/sbin/shutdown

halt/sbin/halt

mail/sbin/nologin

[root@xuegod63 ~]# awk -F: '$3<10{print $1 "<======>" $NF}' /etc/passwd

#awk格式化输出

root<======>/bin/bash

bin<======>/sbin/nologin

daemon<======>/sbin/nologin

在$1和$NF之间加一下\t tab

[root@xuegod63 ~]# awk -F: '$3<10{print $1"\t"$NF}'/etc/passwd

注：awk 最外面使用了单引号'' ,里面都使用双引号“”

输出多个列时，可以加，分隔一下.

[root@xuegod63 ~]# awk -F: '$3<10{print $1,$NF}' /etc/passwd

例2：打印出系统中UID大于1000且登录shell是/bin/bash的用户

[root@xuegod63 ~]# awk -F: '$3>=1000 && $NF=="/bin/bash"{print $1"\t"$NF}' /etc/passwd

mk /bin/bash

（3）在脚本中的一些应用

例：统计当前内存的使用率

[root@xuegod63 ~]#

[root@xuegod63 ~]# vim user_cache.sh

#!/bin/bash

echo "当前系统内存使用百分比为："

USEFREE=`free -m | grep -i mem | awk '{print $3/$2*100"%"}'`

echo -e "内存使用百分比： \e[31m${USEFREE}\e[0m"

[root@xuegod63 ~]# bash user_cache.sh

正在上传…重新上传取消

24.3 awk高级应用

命令格式：

awk [-F | -f | -v ] 'BEGIN {} / / {command1;command2} END {}' filename

-F指定分隔符

-f 调用脚本

-v 定义变量

‘{}’引用代码块

{…}命令代码块，包含一条或多条命令

BEGIN 初始化代码块

/ str /匹配代码块，可以是字符串或正则表达式

{print A；print B} 多条命令使用分号分隔

END 结尾代码块

在awk中，pattern有以下几种：

empty空模式，这个也是我们常用的

/regular expression/ 仅处理能够被这个模式匹配到的行

例:打印以root开头的行

[root@xuegod63 ~]# awk -F: '/^root/{print $0}' /etc/passwd

root:x:0:0:root:/root:/bin/bash

3) 行范围匹配 startline,endline

例1：输出行号大于等于3且行号小于等于6的行

[root@xuegod63 ~]# awk -F: '(NR>=3&&NR<=6){print NR,$0}' /etc/passwd

3 daemon:x:2:2:daemon:/sbin:/sbin/nologin

4 adm:x:3:4:adm:/var/adm:/sbin/nologin

5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

6 sync:x:5:0:sync:/sbin:/bin/sync

内置变量的特殊用法：

$0表示整个当前行

NF字段数量 NF(Number 数量 ; field 字段) ；NF：列的个数

NR每行的记录号，多文件记录递增 Record [ˈrekɔ:d] NR ：行号

\t 制表符

\n换行符

~ 匹配

!~ 不匹配

-F'[:#/]+' 定义三个分隔符

例1：使用NR行号来定位，然后提取IP地址

注：这个思路很好，之前都是通过过滤关键字来定位，这次是通过行号，多了一种思路

[root@xuegod63 ~]# ifconfig ens33 | awk 'NR==2{print $2}'

192.168.1.63

注：NR==2 表示行号为第2行

例2：NR与FNR的区别

[root@xuegod63 ~]# awk '{printNR"\t" $0}' /etc/hosts /etc/hostname

1 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

2 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

3 192.168.1.63 xuegod63.cn

4 192.168.1.64 xuegod64.cn

5 192.168.1.64 xuegod62.cn

7xuegod63.cn

[root@xuegod63 ~]# awk '{printFNR"\t" $0}' /etc/hosts /etc/hostname

1 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

2 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

3 192.168.1.63 xuegod63.cn

4 192.168.1.64 xuegod64.cn

5 192.168.1.64 xuegod62.cn

1xuegod63.cn

注：对于NR来说，在读取不同的文件时，NR是一直加的；

对于FNR来说，在读取不同的文件时，它读取下一个文件时，FNR会从1开始重新计算的

例3：使用3种方法去除首行

方法1：[root@xuegod63 ~]# route -n | grep -v Kernel

Destination Gateway Genmask Flags Metric Ref Use Iface

0.0.0.0 192.168.1.1 0.0.0.0 UG 100 0 0 ens33

192.168.1.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33

192.168.122.0 0.0.0.0 255.255.255.0 U 0 0 0 virbr0

方法2：sed 1d #删除第1行的内容

[root@xuegod63 ~]# route -n | sed 1d

方法3： awk

[root@xuegod63 ~]# route -n | awk 'NR!=1 {print $0}'

例4：匹配，使用awk查出以包括root字符的行，有以下3种方法

[root@xuegod63 ~]# awk -F: '/root/{print}' /etc/passwd

[root@xuegod63 ~]# awk -F: '/root/' /etc/passwd

[root@xuegod63 ~]# awk -F: '/root/{print $0}' /etc/passwd

做一个不匹配root行：

[root@xuegod63 ~]# awk -F: '!/root/{print $0}' /etc/passwd

以root开头的行：

[root@xuegod63 ~]# awk -F: '/^root/{print $0}' /etc/passwd

以bash结尾的行：

[root@xuegod63 ~]# awk -F: '/bash$/{print $0}' /etc/passwd

root:x:0:0:root:/root:/bin/bash

mk:x:1000:1000:mk:/home/mk:/bin/bash

=====以下知识，大家了解一下======

例5：条件表达式

表达式?if-true:if-false问号前面是条件，如果条件为真执行if-true,为假执行if-false

例1：如果passwd中UID小于10，则给变量USER赋值成aaa，否则赋值成bbb

[root@xuegod63 ~]# awk -F: '{$3<10? USER="aaa":USER="bbb";print $1,USER}' /etc/passwd

root aaa

bin aaa

daemon aaa

adm aaa

lp aaa

sync aaa

shutdown aaa

halt aaa

mail aaa

operator bbb

。。。

用if(条件){命令1；命令2}elif(条件){命令；}else{命令}中，在比较条件中用( )扩起来，在AWK中，如果条件为1为真，0为假

例：如果UID小于10 ，则输出user=>用户名，否则输出pass=>用户名

[root@xuegod63 ~]# awk -F: '{if($3<10){print "user=>"$1}else{print "pass=>"$1}}' /etc/passwd

user=>root

user=>bin

user=>daemon

user=>adm

user=>lp

user=>sync

user=>shutdown

user=>halt

user=>mail

pass=>operator

~ 匹配

!~ 不匹配

例：查出UID小于等于5且包括bin/bash的行

[root@xuegod63 ~]# awk -F: '{if($3<=5 && $NF ~ "bin/bash"){print $1,$NF}}' /etc/passwd

root /bin/bash

例6：变量

(1)用-v指定 var=value 变量名区分大小写

(2)在程序中直接定义

(3)在awk里，使用 -v 定义的变量可以不用加$符号

[root@xuegod63 ~]# var="test"

[root@xuegod63 ~]# awk 'BEGIN{print "'$var'"}' #引用变量时，使用双引号+单引号括起来

test

[root@xuegod63 ~]# awk -v myvar=$var 'BEGIN{print myvar}'

test

[root@xuegod63 ~]# vim log.txt

[root@xuegod63 ~]# awk -v a=1 -v b=2 '{print $1,$1+a,$1b}' log.txt

1 2 12

2 3 22

3 4 32

4 5 42

[root@xuegod63 ~]# vim log.txt

[root@xuegod63 ~]# awk -v a=1 -v b=2 '{print $1,$1+a,$1b}' log.txt

a 1 a2

b 1 b2

c 1 c2

d 1 d2

例7：格式化输出

printf命令：格式化输出 printf“FORMAT”,item1,item2.......

format使用注意事项：

1、其与print命令的最大不同是，printf需要指定format样式

2、format用于指定后面的每个item的输出格式

3、printf语句不会自动打印换行符；\n

4、format格式的指示符都以%开头，后跟一个字符；如下：

%c: 显示字符的ASCII码

%d, %i：十进制整数

%e, %E：科学计数法显示数值

%f: 显示浮点数

%g, %G: 以科学计数法的格式或浮点数的格式显示数值；

%s: 显示字符串

%u: 无符号整数

%%: 显示%自身

例1：输入passwd文件中的第1列内容，输出时不会换行

[root@xuegod63 ~]# awk -F: '{printf "%s",$1}' /etc/passwd ##不会自动换行

rootrootbindaemonadmlpsyncshutdownhaltmailoperatorgamesftpnobodysystemd-networkdbuspolkitdabrtlibstoragemgmtrpccolordsaslauthrtkitchronyqemutssusbmuxdgeocluerpcusernfsnobodyradvdsetroubleshootpulsegdmgnome-initial-setupsshdavahipostfixntptcpdumpmk[root@xuegod63 ~]#

例2：换行输出

[root@xuegod63 ~]# awk -F: '{printf "%s\n",$1}' /etc/passwd

例3：在输出的字母前面添加自定义字符串USERNAME:

[root@xuegod63 ~]# awk -F: '{printf "USERNAME: %s\n",$1}' /etc/passwd

USERNAME: root

USERNAME: bin

USERNAME: daemon

USERNAME: adm

例4：对$1和$NF都做格式化输出

[root@xuegod63 ~]# awk -F: '{printf "USERNAME: %s %s\n",$1,$NF}' /etc/passwd

USERNAME: root /bin/bash

USERNAME: bin /sbin/nologin

USERNAME: daemon /sbin/nologin

例5：对$1和$NF都做格式化输出，在$1和$NF两者之间添加一串====字符进行输入

[root@xuegod63 ~]# awk -F: '{printf "USERNAME: %s=========%s\n",$1,$NF}' /etc/passwd

USERNAME: root=========/bin/bash

USERNAME: bin=========/sbin/nologin

awk修饰符：

N: 显示宽度；

-: 左对齐；

例1：显示时用10(N)个字符串右对齐显示。如果要显示的字符串不够10个宽度，以字符串的左边自动添加。一个字母占一个宽度。默认是右对齐

[root@xuegod63 ~]# awk -F":" '{printf "%10s\n",$1}' /etc/passwd

正在上传…重新上传取消

例2：使用10个宽度，左对齐显示

[root@xuegod63 ~]# awk -F":" '{printf "%-10s\n",$1}' /etc/passwd

root

bin

daemon

adm

例3：第1列使用15个字符宽度左对齐输出，最后一列使用15个字符宽度右对齐输出

[root@xuegod63 ~]# awk -F: '{printf "USERNAME: %-15s %15s\n",$1,$NF}' /etc/passwd

USERNAME: root /bin/bash

USERNAME: bin /sbin/nologin

正在上传…重新上传取消

例4：使用开始和结束模块来格式化输出

[root@xuegod63 ~]# cat test.awk

BEGIN{

print "UserId\t\t\tShell"

print "-------------------------------"

FS=":"

}

$3>=500 && $NF=="/sbin/nologin"{

printf "%-20s %-20s\n", $1,$NF

}

END{

print "--------------------------------"

}

[root@xuegod63 ~]# awk -f test.awk /etc/passwd

UserId Shell

-------------------------------

polkitd /sbin/nologin

libstoragemgmt /sbin/nologin

colord /sbin/nologin

saslauth /sbin/nologin

chrony /sbin/nologin

geoclue /sbin/nologin

nfsnobody /sbin/nologin

setroubleshoot /sbin/nologin

gnome-initial-setup /sbin/nologin

--------------------------------

更多学习资料请移步至公众号【学神来啦】

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,185评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,445评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 157,684评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,564评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,681评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,874评论 1赞 290
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,025评论 3赞 408
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,761评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,217评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,545评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,694评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,351评论 4赞 332
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,988评论 3赞 315
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,778评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,007评论 1赞 266
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,427评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,580评论 2赞 349

Linux云计算架构师精编实战教程：shell中色彩处理和awk使用技巧

推荐阅读更多精彩内容