在linux系统中自带的操作文件和标准输出的工具有很多,经常使用的如下:
- sed
- awk
- cut
- sort
- uniq
- xargs
- grep
- head
- last
sed
注意最好用单引号,双引号在mac下做插入的时候不一定工作,mac下多了一对单引号是用来指定备份文件的扩展名,如果不需要备份文件,空的单引号即可,下面同理。linux也可以通过符号>将更新后的内容写到新的文件中。
修改
替换文件中匹配到的内容并更新文件。
mac:sed -i '.bak' 's/<string to replace>/<new string>/g' <file path>
linux:sed -i 's/<string to replace>/<new string>/g' <file path>
linux:sed 's/<string to replace>/<new string>/g' <file path> > <new file path>
插入
在匹配的行的前一行(i)或者后一行(a)添加字符串并更新文件。
mac:sed -i '.bak' '/<line to match>/<i/a>\'$'\n<string to add>\n' <file path>
linux:sed -i '/<line to match>/<i/a>\<string to add>' <file path>
在匹配的行首(^)或者行尾($)添加字符串,思想是先匹配,然后查找,最后替换,同样也可以用于替换匹配行的字符串并更新文件。
mac:sed -i '.bak' '/<line to match>/s/<^/$/string to replace>/<string to replace>/<g>' <file path>
linux:sed -i '/<line to match>/s/<^/$/string to replace>/<string to replace>/<g>' <file path>
awk
awk是一款强大的文本分析工具,相比cut,输出的时候列模式空格符风格,主要的功能如下:
- 逐行扫描文本
- 按列分割文本
- 对行列做模式匹配
- 处理匹配行
行扫描
文件打印的时候,经常需要需要做一些加工处理,比如打印行号,打印某几行某几列,打印匹配的行等需要,命令如下:
打印文件:awk '{print}' <file path>
打印行号:awk '{print NR, $0}' <file path>
打印部分行:awk 'NR==<start number>,NR==<end number> {print NR, $0}' <file path>
列扫描
如果文本按照空格分割,用户可以自由组合输出任何几列,从数字1开始,如下:
输出第一列和最后一列:awk '{print $1, $NF}' <file path>
分割
按照(:)分割行:awk -F ':' '{print $1, $2}' <file path, default: /etc/passwd>
模式
打印匹配行:awk '/<match string>/ {print $1,$2}' <file path>
条件打印:
cut
按照不同的模式对行做精简操作,默认分隔符是tab,但是输出的时候分隔符也会输出。
字段摘取
摘取第三列:cut -d ' ' -f 3 <file path>
摘取第二列到第四列:cut -d ' ' -f 2-4 <file path>
摘取不连续的列:cut -d ' ' -f 1-2,4-5 <file path>
摘取第三列之后所有列:cut -d ' ' -f 3- <file path>
摘取第三列之前所有列:cut -d ' ' -f -3 <file path>
字符摘取
摘取第一个字符到第10个字符:cut -c 1-10 /etc/passwd
字节摘取
摘取第一个字符到第10个字节:cut -b 1-10 /etc/passwd
sort
对文件中行进行排序
uniq
对文件中重复行做统计分析
xargs
将标准输入的字符串按照space,tab,new-line,end-of-file分割成参数列表传递给指定的命令工具;
grep
通过模式匹配显示匹配的行
显示匹配的行:grep <match string> <file path>
显示匹配的行,前两两行和后面两行: grep <match string> <file path> B 2 A 2
head
显示文件的头几行
last
显示文件的尾几行