【shell笔记>生信|专项】生信数据处理技能手札(1):实用命令与注意事项

Unix philosophy: Write programs that do one thing and do it well. Write programs to work together. Write programs to handle text streams, because that is a universal interface.

推荐shell版本为bash

2017.5.18

输入命令是千万要注意空格键,使用不当会产生严重后果,要操作处理的文件名不要用空格键分隔。

Adding -lrt to the ls lists files in directory in list format (-l), in reverse (-r) time (-t) order.如果想要最新的文件出现在前面,省略-r标识。

重导向标准错误:2> 将重导向标准错误到指定文件,2>>以追加形式而不是覆盖。

2017.5.19

The Golden Rule of Bioinformatics is to not trust your tools or data.

检查.fasta文件中的非核苷酸字符

grep -v "^>" filaname.fasta | \
grep --color -i "[^ATCG]"

​ 第一行代码移除移除标识符行,-v为移除; 第二行pattern排除ATCG核苷酸,-i选项以忽略大小写。

​ 注意碱基的IUPAC表示是合法的。

program1 input.text 2> program1.stderr | \
    program2 2> program2.stderr > results.txt

程序1处理输入文件后导入程序2处理,结果放到results.txt文件;相应的错误输出之相应记录文件。

如果要抓出错误记录文件中的error字段,以下方式可以将标准错误重定向标准输出流:

program1 2>&1 | grep "error"

使用tee命令拷贝标准输出流文件:

program1 input.txt | tee intermediate-file.txt | program2 > results.txt

进程操作

  • 后台运行,通过添加&标识符

    program1 input.txt > results.txt &
    [1] 26577
    

    会返回进行的ID或者PID。可以用jobs命令检查后台运行的进程,fg命令可以将进程放到前台。注意后台运行的工作关掉终端后会被杀死。把进程从前提放到后台,通过suspend命令然后使用bg命令。

  • topps命令查看进行,kill杀死。

  • 程序正常运行完成后返回状态0,否则非0。这有利于在shell中串接程序命令。shell的两个操作符&&以及||可以在此使用。

    例如程序2只有在程序1成功运行的情况下才执行

    program1 input.txt > intermediate-results.txt && \
      program2 intermediate-results.txt > results.txt
    

    程序2只有在程序1失败后运行

    program1 input.txt > intermediate-results.txt || \
      echo "warning: an error occurred"
    
  • 如果只是想连续运行两个命令,可以通过;分割符分开两个执行命令。

命令替换操作:例如我们创建一个目录mkdir results-$(date +%F),这个命令有用之处在于我们同样输入文件同样的处理结果可以贴上时间标签,以方便区分和查询。

存储常用命令——为命令取个别名:例如我编辑以下两个常用命令的别名。

alias mkpr="mkdir -p {data,scripts,output}"
wsx@wsx-ubuntu:~$ alias today="date +%F"
wsx@wsx-ubuntu:~$ today
2017-05-19

这样mkdir results=$(today)将创建一个日期标记的文件夹

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • linux资料总章2.1 1.0写的不好抱歉 但是2.0已经改了很多 但是错误还是无法避免 以后资料会慢慢更新 大...
    数据革命阅读 14,260评论 2 33
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,828评论 19 139
  • 个人学习批处理的初衷来源于实际工作;在某个迭代版本有个BS(安卓手游模拟器)大需求,从而在测试过程中就重复涉及到...
    Luckykailiu阅读 10,268评论 0 11
  • Ubuntu的发音 Ubuntu,源于非洲祖鲁人和科萨人的语言,发作 oo-boon-too 的音。了解发音是有意...
    萤火虫de梦阅读 99,988评论 9 468
  • 部分内容转载自搜狗百科 cmd是command的缩写.即命令提示符(CMD),是在OS / 2 , Windows...
    青冥之上阅读 7,017评论 0 24

友情链接更多精彩内容