sam和bam格式文件的shell小练习

先使用bowtie2软件自带的测试数据生成sam/bam文件,代码如下:

mkdir -p ~/biosoft
cd ~/biosoft
wget https://sourceforge.net/projects/bowtie-bio/files/bowtie2/2.3.4.3/bowtie2-2.3.4.3-linux-x86_64.zip 
unzip bowtie2-2.3.4.3-linux-x86_64.zip 
cd ~/biosoft/bowtie2-2.3.4.3-linux-x86_64/example/reads
../../bowtie2 -x ../index/lambda_virus -1 reads_1.fq -2 reads_2.fq > tmp.sam
# samtools view -bS tmp.sam >tmp.bam
#利用以上命令生成:tmp.sam 与tmp.bam两个文件

1.统计共多少条reads(pair-end reads这里算一条)参与了比对参考基因组

cat tmp.sam | grep -v '^@'|cut -f1|sort |uniq -c|wc -l #去掉三行以@开头的(头文件)
10000

2.统计共有多少种比对的类型(即第二列数值有多少种)及其分布。

cat tmp.sam | grep -v '^@'|cut -f2|sort |uniq -c|less -N
#或
cat tmp.sam | grep -v '^@'|awk '{print $2}'|sort |uniq -c|less -N
>
      1     125 101
      2      16 113
      3      24 129
      4     153 133
      5     165 137
      6     213 141
      7    4516 147
      8     125 153
      9       2 161
     10    4650 163
     11     136 165
     12      16 177
     13      24 65
     14     165 69
     15     153 73
     16     213 77
     17       2 81
     18    4650 83
     19     136 89
     20    4516 99

3.筛选出比对失败的reads,看看序列特征。

cat tmp.sam |grep -v '^@'|awk '{if($6 =="*") print}'|less -S #第6列为" * " 表示比对失败
   1005   12608  255140

4.比对失败的reads区分成单端失败和双端失败情况,并且拿到序列ID

#单端失败
cat tmp.sam |grep -v '^@'|awk '{if($6 =="*") print$1}'|sort -n |uniq -c |grep -w 1 # 序列ID为“$1”,grep -w 1表示ID出现一次

#双端失败
cat tmp.sam |grep -v '^@'|awk '{if($6 =="*") print$1}'|sort -n |uniq -c |grep -w 2

5.筛选出比对质量值大于30的情况(看第5列)

cat tmp.sam |grep -v '^@'|awk '{if($5>30) print}' |less -SN

6. 筛选出比对成功,但是并不是完全匹配的序列

cat tmp.sam |grep -v '^@'|awk '{if($6!="*") print$6}'|grep [IDNXSHP]
“M”表示 match或 mismatch;
“I”表示 insert
“D”表示 deletion
“N”表示 skipped(跳过这段区域)
“S”表示 soft clipping(被剪切的序列存在于序列中)
“H”表示 hard clipping(被剪切的序列不存在于序列中)
“P”表示 padding
“=”表示 match
“X”表示 mismatch(错配,位置是一一对应的)

7.筛选出inset size长度大于1250bp的 pair-end reads

cat tmp.sam |grep -v '^@'|awk '{if($9>1250) print}'|less -SN

8.统计参考基因组上面各条染色体的成功比对reads数量

cat tmp.sam |grep -v '^@'|cut -f 3 |sort -u

9.筛选出原始fq序列里面有N的比对情况

cat tmp.sam |grep -v '^@'|awk '{if($10 ~"N")print}'|less -SN 

10.筛选出原始fq序列里面有N,但是比对的时候却是完全匹配的情况

cat tmp.sam | grep -v '^@'|awk '{if($10 ~"N")print}'|awk '{if($6 !~ "[IDNSHP]")print}'|awk '{if($6!="*")print}'|less -S

11.sam文件里面的头文件行数

cat tmp.sam | grep  '^@'|wc -l

12.sam文件里每一行的tags个数一样吗

cat tmp.sam | grep -v '^@' |cut -f 12- |less -S

13.sam文件里每一行的tags个数分别是多少个

###这里有 问题,不是用空格分开的,所以其实答案是错的
grep -v '^@' tmp.sam |cut -f 12-|awk '{split($0,a, " ");print length(a)}' |sort|uniq -c

14. sam文件里记录的参考基因组染色体长度分别是?

cat tmp.sam | grep '^@' | grep 'LN'

15.找到比对情况有insertion情况的

cat tmp.sam | grep -v '^@'|awk '{if($6~ "I")print}'|less -S

16.找到比对情况有deletion情况的

cat tmp.sam | grep -v '^@'|awk '{if($6 ~"D")print}'|less -S

17.取出位于参考基因组某区域的比对记录,比如 5013到50130 区域

cat tmp.sam |grep -v '^@'|awk '{if($4 > 5013 && $4 < 50130)print}'|less -S

18.把sam文件按照染色体以及起始坐标排序

cat tmp.sam | grep -v '^@'|sort -k4|less -SN
#或
cat tmp.sam | grep -v '^@'|awk '{print $4}'|sort -n

19.找到 102M3D11M 的比对情况,计算其reads片段长度

grep  102M3D11M tmp.sam |cut -f 10|wc -m

20.安装samtools软件后使用samtools软件的各个功能尝试把上述题目重新做一遍

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,734评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,931评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,133评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,532评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,585评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,462评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,262评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,153评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,587评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,792评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,919评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,635评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,237评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,855评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,983评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,048评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,864评论 2 354

推荐阅读更多精彩内容