awk
awk是一种处理文本文件的语言，在对数据分析并生成报告时，表现的十分强大，简单来说awk就是八人间逐行的读入,以空格为默认分割符将每行切片，切开的部分再进行各种分析梳理。
awk内置的变量
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符(默认是换行符)
RS 输入记录分隔符(默认是换行符)
$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。
$NF是number finally,表示最后一列的信息，跟变量NF是有区别的，变量NF统计的是每行列的总数
常用awk选项参数说明
-F fs --field-separator=fs ：指定输入文件分割符
-v var=val --assign=var=val ：赋值一个用户定义变量
-f progfile --file=progfile ：从脚本文件中读取awk命令
awk基本用法
用法一：
- 基本语法
awk '[pattern] {action}' filenames # 行匹配语句 awk '' 只能用单引号
# pattern 标识过滤条件，支持多条件的与或非，如果是正则的话，pattern需包含在// 两个斜杠中间
# 这里action表示要进行的操作
# filenames 表示进行操作的文件，如果是多个文件，则需用大括号括起来，并以，分割 {文件1，文件2}
# 举例
# awk '{print $1,$4}' log.txt ：直接输出文本中的第一第四项
# awk '/root/' /etc/passwd ： 匹配到root的行才输出，没有指定actoin,默认输出每一行内容
用法二：
- 基本用法
awk -F #-F相当于内置变量FS, 指定分割字符
# 默认不指定分割符时，分割符为空格及制表符，这里可以手动设置分割符
# 举例
# awk -F, '{print $1,$2}' log.txt ：指定分割符为,
# awk -F '[ ,]' '{print $1,$2,$5}' log.txt :指定多个分割符(空格和，)
用法三：
- 基本用法
awk -v # 设置变量
# 设置变量方便后续的计算
# 举例
# awk -va=1 '{print $1,$1+a}' log.txt
# 这里设置了变量a=1, 然后打印
用法四：
- 基本用法
awk -f awk脚本 文件名
BEGIN END
- 关于awk脚本，我们需要注意两个关键词 BEGIN和END
- BEGIN {这里面是执行前的语句}
- {这里面放的是处理每一行时要执行的语句}
- END {这里面放的是所有行执行后要执行的语句}
- 基于上面的集中组合，我们就可以实现循环或者是别的一些操作
SED
sed是一个文本编辑命令，不同于vi这种交互型的文本编辑，sed是流编辑模式，在处理数据之前，需要预先提供一组规则，sed会按照此规则来编辑数据。
sed 会根据脚本命令来处理文本文件中的数据，这些命令要么从命令行中输入，要么存储在一个文本文件中，此命令执行数据的顺序如下：
每次仅读取一行内容；
根据提供的规则命令匹配并修改数据。注意，sed 默认不会直接修改源文件数据，而是会将数据复制到缓冲区中，修改也仅限于缓冲区中的数据；
将执行结果输出。
当一行数据匹配完成后，它会继续读取下一行数据，并重复这个过程，直到将文件中所有数据处理完毕。
常用sed选项参数说明
-e 脚本命令 ：将脚本命令添加到已有的命令中
-f 脚本命令文件 : 将文件中的脚本命令添加到已有的命令中
-n : 屏蔽默认状态下的自动输出内容，需要使用print命令来完成输出
-i : 此选项会直接修改源文件
常用sed动作说明
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行
d ：删除，因为是删除，所以 d 后面通常不接任何内容；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：打印，将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行
s ：取代，可以直接进行取代的工作！通常这个 s 的动作可以搭配正规表示法
sed命令基本用法
- 基本用法
sed [-hnV][-e<script>][-f<script文件>][文本文件]
# 举例
# 数据新增删除
# sed -e 4a\newline testfile 或 sed '4a newline' test.txt #使用sed 在第四行后添加新字符串 newline
# nl /etc/passwd | sed '2,5d' # 删除2-5行
# nl /etc/passwd | sed '3,$d' # 删除3之后的所有行
# nl /etc/passwd | sed '2i drink tea' #在第二行之前添加字符串
# nl /etc/passwd | sed '2a Drink tea or ......\
> drink beer ?' # 在第二行之后添加两行字符串， 需以 \ 标识换行
# 数据替换
# nl /etc/passwd | sed '2,5c No 2-5 number' # 以指定字符串(No 2-5 number)取代2-5行的内容
# 数据显示
# nl /etc/passwd | sed -n '5,7p' # 仅打印第五和第七行
# 数据搜索
# nl /etc/passwd | sed '/root/p' # 搜索所有与root有关的行，这里与awk一样，//内为正则匹配
# nl /etc/passwd | sed -n '/root/p' # 只打印匹配到的记录
# nl /etc/passwd | sed '/root/d' # 搜索数据并删除匹配到的记录
数据搜索替换
sed最常见的用法应该就是搜索替换，这里单独说明一下
- 基本用法：[address]s/pattern/replacement/flags
- address标识具体要操作的行，pattern标识要被替换的内容，replacement标识替换的新内容
- flags的标识如下
n : 1-512之间的数字，表示要替换的字符串第几次出现才进行替换，比如只想替换一行中出现的第二个A
g ：对所有内容进行替换，如果没有g,只会在第一次匹配成功是替换
p : 打印与替换命令中指定的模式匹配的行
w file : 将缓冲区的内容写到指定的file文件中
