这些年用过的unix commands

在日常开发中, 通常会写一些自动化的脚本, 特别是文本自动化的脚本经常写。 而linux commands 在完成自动化工作的作用特别大。 

下面我会总结一下我使用过的Linux commands。 

1. 文件查看命令: cat , more , less, tail 和 head 。 这几个命令都可查看一个文件, 但是功能略微不同。 cat 适合查看一个较小的文件。 more 和 less 可以自动分页, 所以适合查看比较大的文件, 并且提供了上一页和下一页的翻页功能。 tail 和 head 也是很常见的查看命令, tail 用于查看文件末尾, head 用于查看文件开头。

2. 文本编辑命令:  sed, awk。 这两个命令在文本自动化工作方面赫赫有名。 sed 用于文本自动化的增删改查, sed最重要的功能就是基本正则表达式的文本替换。 awk 的侧重点则不同, awk的优势在于处理固定格式的文件, 如 csv。 awk 可以进行数据的 过滤, 聚集,如可以求和, 也可以求平均值, 适用于数据分析。如果要简单的实现一个对账系统, sed 和 awk 是一个很好的选择。 

3. 其他文件编辑命令: cut, tr。  cut 用于提取文件中每一行的一部分字符串, 例如一个csv文件, 可以用cut 提取某一个field。 tr 可以进行文本的替换, 可以把tr当做低级版的sed。 如 tr "abc" "xyz", 这个命令就把字符串中的a 替换成 x, b 替换成 y, c 替换成 z 

4. 文本比较命令: comm, diff。  comm 用于比较两个文件 common content 和 different content, 对账系统通常会用到这个命令。  diff 和 comm 很类似, 用于比较两个文件的不同之处, 通常可以用来作为文件的版本控制。 

5. 文本的拆分和合并: split, csplit, join。  split 和 csplit 都可以用于拆分一个文件为若干个小文件。 split 可以基于文件大小拆分, csplit 可以基于正则表达式拆分。 join 类似于关系型数据库的join 操作, 把相同的行join 起来。 

6. 与目录有关的命令: basename, dirname。 这两个命令接受的输入都是一个目录字符串, basename 返回文件名 , dirname 返回当前文件的目录。 

7. 排序和去重: sort , uniq。 sort 用于文本的排序, 如获取某个目录下的最大文件, 就可以用sort。 uniq 则用于去重。

8. 统计单词数量: wc  用于统计文本单词数量 或者字符数量。 

9. xargs:这个命令是非常强大的,通常跟find 或者grep 组合起来使用。 如要删除所有的log 文件 find -type f "*log" | xargs rm 

10. 文件文本的搜索: find 和 grep。  文本搜索是非常常用的功能, find 支持搜索文件, grep 支持搜索文本。 

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,639评论 6 513
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,093评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,079评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,329评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,343评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,047评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,645评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,565评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,095评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,201评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,338评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,014评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,701评论 3 332
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,194评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,320评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,685评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,345评论 2 358

推荐阅读更多精彩内容

  • GitHub原文链接,转载到简书,只为方便查看。 命令行的艺术 前言 基础 日常使用 文件及数据处理 系统调试 单...
    月上秦少阅读 1,322评论 0 1
  • 命令行的艺术 前言 基础 日常使用 文件及数据处理 系统调试 单行脚本 冷门但有用 仅限 OS X 系统 仅限 W...
    进击的诺基亚阅读 3,853评论 0 19
  • 推荐指数: 6.0 书籍主旨关键词:特权、焦点、注意力、语言联想、情景联想 观点: 1.统计学现在叫数据分析,社会...
    Jenaral阅读 5,722评论 0 5
  • 昨天,在回家的路上,坐在车里悠哉悠哉地看着三毛的《撒哈拉沙漠的故事》,我被里面的内容深深吸引住了,尽管上学时...
    夜阑晓语阅读 3,788评论 2 9
  • 一。匹配。 判断一个字符串是否符合我们制定的规则? 二…捕获 字符串中符合我们正则表达式,规则的,内容捕获到。 三...
    时修七年阅读 981评论 2 0