简单的语句
awk '{if ($6 = "exonic") print $0}' all_sample.txt
# $6等于exonic 时输出行
cat P14592_FFG_1_vs_P14592_BC_1.diff.sites_in_files| awk '$2~/\./{print$1,$3,$6,$8}' | awk '{print$0, "PASS",".",".","."}' | sed '1s/^/CHROM\tPOS\tRef\tAlt\tFILTER\t.\t.\t.\n/' > ABC.vcf
# 输出第二列不是.的所有的1，3，6，8列，然后每个句子后面加上PASS . . .，最后第一行加入CHROM\tPOS\tRef\tAlt\tFILTER\t.\t.\t.\n。
两文件的交集和差集
例子
aaa.txt文本
aaa
bbb
ccc
ddd
eee
111
222
bbb.txt
bbb
ccc
aaa
hhh
ttt
jjj
求aaa.txt和bbb.txt的差集
awk
- 交集
$ awk 'NR==FNR{ a[$1]=a[$1]+1} NR>FNR{ if(a[$1]>=1 &&b[$1]<1){ print $1;b[$1]=b[$1]+1}}' aaa.txt bbb.txt
bbb
ccc
aaa
NR表示已经处理的行数，FNR表示当前文件处理的行数。所以当NR==FNR时，处理的是aaa.txt，NR>FNR时，处理的是bbb.txt，在处理aaa.txt时，把a数组记录不同字符串个数，且起到去重作用。在处理bbb.txt时，判断a数组中是否含当前字符串，并且在本文件中出现的次数小于1，同样也是起到了去重的作用。
- 差集
$awk 'NR==FNR{ a[$1]=$1 } NR>FNR{ if(a[$1] == ""){ print $1}}' aaa.txt bbb.txt
hhh
ttt
jjj
$awk 'NR==FNR{ a[$1]=$1 } NR>FNR{ if(a[$1] == ""){ print $1}}' bbb.txt aaa.txt
ddd
eee
111
222
实战
awk -F'\t' '{if(FNR==NR){if($0!~"^#"){s[$1"_"$2"_"$4"_"$5]++}}else{if($0~"^#"||s[$1"_"$2"_"$4"_"$5]==0){print$0}}}' BC.vcf FFG.vcf
# 这个会从 FFG.vcf 中扣除 BC.vcf
image.png
grep
grep是很常用的搜索文本内容的命令，也可以实现求交集、差集功能
- 求交集
$grep -F -f aaa.txt bbb.txt
bbb
ccc
aaa
- 排序去重
$grep -F -f aaa.txt bbb.txt | sort | uniq
aaa
bbb
ccc
- 差集
$grep -F -v -f aaa.txt bbb.txt | sort | uniq
hhh
jjj
ttt
$grep -F -v -f bbb.txt aaa.txt| sort | uniq
111
222
ddd
eee
第一行结果为bbb.txt去除aaa.txt，；第二行为aaa.txt去除bbb.txt。注意顺序很重要！
