linux三剑客awk、grep、sed应用环境即常用命令
linux常用命令链接
https://man.linuxde.net/dos2unix
文本处理
-
cat name.txt|awk '{print $1,$NR,$0}'读取name.txt 输出第一列$1，最后一列$NR，和整行$0
分列输出文件无需循环，分列精品。
awk -F , 'NR!=1{print $2 >$1".txt"}' geneinfo.csv 指定 ,为分隔符,逐行输出第二列的内容到对应的第1列的
文件名的txt文件。
awk使用shell中的变量
awk中的变量不需要使用$符号。使用$符号则表示的是第n列。
num=100
awk -v num=$num 'BEGIN{print num/0.5}'
awk向shell中传递变量
eval $(awk 'BEGIN{print "var1='str1';var2='str2'"}')
# $()等价于``
eval `awk 'BEGIN{print "var1='str1';var2='str2'"}'`
awk 获取指定列（此处是第三列到最后一列）分隔符为一个空格
awk -F " " '{for(i=3;i<=NF;i++) {printf $i" "} printf "\n"}' file
awk获取指定列（此处是第三列到最后一列）分割符为tab
awk '{$1="";$2="";print $0}' file |sed 's/\t\t//g'
cat name| grep zhan 查找name文件里含有zhan的行
grep -v "node" filename 查找filename里不包含node的行
cut参数说明
-b 表示字节；
-c 表示字符；
-f 表示定义字段。
指定分隔符号使用-d 符号
N-：从第N个字节、字符、字段到结尾；
N-M：从第N个字节、字符、字段到第M个（包括M在内）字节、字符、字段；
-M：从第1个字节、字符、字段到第M个（包括M在内）字节、字符、字段。
例：
cut -f 5- -d "," test.csv 查看test.csv文件的第5列到最后一列,指定的分隔符号是,
cut -c 1-4 test_Dsuite.txt 查看文件的第1到第4个字符。
- column
column -t文件按照table格式查看,配合head可以更加清楚的阅读文件的前几行。
column -t test_Dsuite.txt|head -5查看tab分割文件的前5行，以table格式查看。
文件处理
-
find 查找文件
find ./ -name "*.txt"查找当前目录下所有的txt结尾的文件，包括子目录里的文件。 -
rename 批量重命名（此处的rename是perl版本的）
rename有C语言版本和perl版本，以下命令均是perl版本的命令。
使用命令man rename如果返回的窗口首行有perl`则是perl版本，否则即是C语言版本。ubuntu安装perl版本的rename
sudo apt update sudo apt-get install rename
rename参数讲解： s表示使用正则， 第1-2个/之间是要匹配的内容,$表示文件结尾。第2个/之后是要替换成的内容，最后跟上要操作的文件 *表示所有文件。注意：perl中''和""不等价，此处应该使用的是单引号''。
-
字符替换
rename 's/AA/aa' *.fa把所有.fa文件名中的AA替换成aa -
修改文件后缀
rename 's/\.html/\.php' *把.html文件改为.php文件rename 's//$/.txt' *把所有文件名末尾添加.txtrename 's/^/admin' *所有文件开头添加字符adminrename 'y/A-Z/a-z/' *修改文件名大写字符为小写rename 's/[]+//g' * 去掉文件名中的空格rename 's/\.bak$//' *.bak所有的.bak后缀名的文件全部删除后缀名 -
正则匹配修改文件名
- rename 's/(/d)/第$1章/' * 修改为第1章，第2章
方法1：把文件名拆分处理，可以任意修改文件名
find -name '*.log' -printf %f//n|awk -F'.' '{print $1}'|xargs -i{} mv {}.log xiyun_{}.log
方法2：利用rename
一般的linux下的rename命令比较简单
rename 'test' 'xiyun' '*.log'
把文件名中的某部分字符串替换掉
ubuntu下的rename命令支持正则表达式，因此功能更强大。
方法3：直接利用find和xargs和mv，中间不用awk，这样只能添加后缀名，不能修改文件名。
-
ln 建立超链接
ln 远端文件 新文件新文件即生成的远端文件的硬链接ln -s /disk/readme ./read生成软链接，实际是在当前目录生成名为read的超链接，链接到disk/readme ，访问read，即相当于访问readme -
dos2unix 转换windows文件为Unix格式
dos2unix test.py把test.py转换成Unix格式dos2unix -n test.py u-test.py把test.py转换成unix的新文件u-test.pydos2unix -o test.py直接修改原始文件格式为unixdos2unix file1 file2 file3同时修改多个文件的格式为unix -
unix2dos 转换Unix格式为windows
unix和windows 的文件格式中换行符的格式不一致，一定要注意转换换行符。否则会报错。
unix和windows的文件系统也不一致，windows的Fat32（不支持单个文件大于4G）,NTFS（目前常用的文件系统格式），linux是Ext2格式。如果要在两种系统格式之间传输文件，NTFS的硬盘在linux上不会被识别,最后使用第三方软件识别。
-
md5sum MD5值生成核对
md5sum test生成test文件的md5值。md5sum -c testsum test核对test的文件和testsum文件中的MD5值是否一致。 排序参考
sort test.txt排序
sort命令的字段
-n按照数字进行排序 -d 按照字典顺序排序
-r 逆序排序
-k N指定按第N列排序
sort -nrk 1 data.txt
sort -bd data//忽略空格之类的前导空白符
sort info.csv|uniq反向排序
sort test.txt | uniq消除重复行
sort test.txt | uniq -c统计重复行出现的次数
sort test.txt | uniq -d找出重复行
指定每行中需要比较的重复内容 -s 开始位置 -w 比较字符数-
进程管理(杀死进程参考)
ps查看后台进程（仅限当前终端用户的后台进程）
image.png
ps命令输出的第一列即为PID.
ps -ef查看所有用户进程
kill -s 9 3645522杀掉PID为3645522的进程,此处是杀掉md5sum的进程。
pkill -9 md5sum强力删除程序名为md5sum的进程。
kill -s 9 `pgrep vim ` #使用pgrep和kill来删除名字为vim的进程。
-进程检测
ps -x |grep fastp|grep -v "grep"|wc -l 统计当前用户的所有运行进程中，名字为fastp的进程数量
- 文件名字符的处理
cut参考
expr参考
name是一个文件夹，里面有zao_L2_384384.R1.fastq.gz之类文本。
cut -f1 -d "." name指定分割符号.分割，获取第一列的字符
cut -f1 -d "." --complement name指定分割符号.分割，删除第1列后的字符
expr substr zao_L2_384384.R1.fastq.gz 1 3获取字符串的指定字符，第1-3个字符。
-xargs
ls *.gz|grep F2-3|xargs -i mv {} ./F2-3/查找当前目录中所有的gz文件，从中找到含有F2-3的，全部移动到当前目录中F2-3文件夹中。
进程监控脚本
#!/bin/bash
line=`ps x|grep processname|grep -v "grep"|wc -l`
while [ $line -gt 0 ]
do
echo "no~"
sleep 30
line=`ps aux|grep processname|grep -v "grep"|wc -l`
done
echo "yes!"
磁盘空间查看
df -lh 查看整个服务器的磁盘分区使用情况
du -lh 查看当前目录的磁盘使用情况
查看服务器运行状态
top 所有信息
top -u username 指定用户的运行信息
ps -ef所有进程信息
ps -x 当前用户的进程
文件查看工具
head filename 查看前几行，
-
head -10 readme查看readme文件的前10行
tail filename -
tail -8 errinfo查看errinfo文件的后8行
more filename滚动方式查看文件，空格或enter键，往下继续阅读。不能上翻
less filename滚动方式查看文件，pgdn向下翻页，pgup向上翻页。
vim readme使用vim编辑readme文件。
文件传输
常用的文件传输类型有：win-linux和linux-linux
mac没用过不清楚。
- windows传输到linux，我一般使用 winSCP这个软件下载地址。各大软件商店都有这款软件。
- linux到linux传输，使用命令scp.参考文章
例如有如下两个主机：172.28.218.254（本地）172.28.210.9（远程）
传输文件
在本地主机（172.28.218.254）运行如下命令：
说明：chaim是我在远程主机上的用户名- 获取远程目录maize
scp -r chaim@172.28.210.9:/disk/maize/ ./maize/
/disk/maize/ 这是远端服务器的文件地址 ./maize/这是存储到本地服务器的地址 - 获取远程文件readme
scp chaim@172.28.210.9:/home/info/readme ./Readme
+将本地文件上传到远程
scp /public/disk.info chaim@172.28.210.9:/home/info/disk.info
+将本地文件夹上传到远程
scp -r /public/maize/ chaim@172.28.210.9:/disks/backup/maize/
- 获取远程目录maize
- 指定端口2235传输本地bam到远程主机172.28.210.9
scp -P 2235 sam1.bam chaim@172.28.210.9:/disks/backup/maize/
在经历了scp传输中断，多个大文件需要重新传输的痛苦后，决定使用支持断点续传的rsync
rsync 传输时，在另一端主机上会生成临时的隐藏文件，通过ls -la可以查看到。等待传输完成或中断时会显示出正常的文件名。
上传数据到远程服务器
rsync -P --rsh=ssh readme.md tang@172.28.218.254:~/chaim/
指定端口2222，传输bam文件到远程主机21.28.170.146
rsync -P -e 'ssh -p 2222' sample.bam chaim@21.28.170.146:/share/home/bam
