Linux文本处理

技术点:

1.正则提取

sed 用提取变量替换
sed 's/.*toid\=\([0-9]*\).*/\1/g'

2.查找系统占内存最高的10个程序

按照实际物理内存排序:ps aux --sort=-rss 支持 sort 参数,sort 参数 + 表示正序,-表示倒叙 ps aux --sort=-rss,-%cpu 表示先按物理内存再按cpu排列

3.查找系统内各程序占内存最高10个

上面只能看到各个进程的排序,但有时候一个程序可能启动数十个进程,这样子分析起来比较慢了。这里可以先按照 awk程序做过滤后排序输出,sort记得加上 n 参数表示按照数字而不是字符串排序

ps -aux | awk 'NR!=1{a[$11]+=$5;} END {for(item in a) print item " " a[item];}' | sort -rnk2 | head -n 10

4.批量kill进程

kill -9 $(ps -aux | grep 'node /usr/local/bin/pm2 l' | grep -v grep | awk '{print $2}')

附录:

一、sed命令简介

sed 是流文本编辑器,可以用来做流的替换、删除、匹配等操作。
sed简明教程

1. s参数替换
  • 文档开头加注释: sed 's/^/#/g'
  • 文档结尾加封号: sed 's/$/;/g'
2. i参数回写修改流

一般 sed 只将数据修改输出,加上 i 参数可以将改动回写源文件

3. 指定替换范围

s参数前面数字可指定替换行范围
1,s/pattern//g, 1,2s/pattern//g, ,2s/pattern//g

  • 最后的 g 参数表示替换行内所有匹配项
  • 假若需要替换第一个匹配 sed 's/s/S/1' my.txt
  • 第二个及以后的匹配 sed 's/s/S/2g' my.txt
4.圆括号

patter段里面由括号括起来的正则表达式匹配内容可以当成变量使用,引用方式: \1 \2 \3

此外还有i a d P N参数
  • i 在匹配项前面添加替换内容
  • a 在匹配项后面添加内容
  • d 放在 g 参数位置,删除匹配行
  • n 不显示匹配项,可以减少输出,减少干扰
  • p g 参数位置,打印匹配项

二、awk命令简介

AWK命令非常强大,用来做数据统计,不需要写编程脚本,可能awk一行命令就搞定了。

AWK简明教程

1.内建变量

在写脚本时可以使用一些程序级变量

变量名 含义
$0 整行
1 -n 分割后各段的引用
NF 切割后字段数
NR 当前行号,处理的第几行
FS 使用分割符,默认为 tab
RS 记录分割符,默认为换行符
1.过滤匹配行
  • 通过字段逻辑运算进行布尔过滤
    如:awk '$3==0 && $6=="LISTEN" ' netstat.txt
    中间运算符还有:> >= < <= != ~, '~' 表示包含
  • 输出时携带表头:awk '$3==0 && $6=="LISTEN" || NR == 1' netstat.txt
  • 格式化输出:awk '$3==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat.txt
  • 指定分割符: awk -F:,多个分割符awk -F '[:,]'

示例:awk '$6 !~ /WAIT/ || NR==1 {print NR,$4,$5,$6}' OFS="\t" netstat.txt

2.拆分文件

有点像mysql的group,要根据第6列不同的数据值拆分文件
awk 'NR!=1{print > $6}' netstat.txt

3.数据统计

awk可以做累加、计数、求合、判断这些基本逻辑

  • 输出文件总和: ls -l | awk '{sum+=$5} END {print sum}'
  • 不同进程使用内存大小统计: ps -aux | awk 'NR!=1{a[$11]+=$5;} END {for(item in a) print item " " a[item]" KB";}'
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容