perl模拟Illumina测序

走过了一路的坑,终于走完了这条路,写下学习总结。

总体想法

要模拟Illumina测序,首先要了解的就必须是Illumina的测序原理和流程,不能凭空造轮子。之后才是代码的编写,还有对结果的检测。所以首先了解下IIIumina测序原理。

IIIumina测序

对于IIIumina测序,概括起来可以分为以下几个简单的步骤,网上有很多我就稍微提下。

1、打断

打断是指将原本一条很长的DNA序列打断为一些较短的序列,因为IIIumina读长一般为100~200,不能对很长的DNA序列进行测序,所以要进行打断操作

2、PCR

基本上高中的时候都有了解了,就是将一个DNA序列进行大量复制,然后目的是进行大规模测序,获得大数据,降低误差等等原因

3、读取

最后一步就是对DNA进行读取,原理是用特殊处理的脱氧核糖核酸来进行基因的复制,然后这样每次就只能增加一个碱基,然后根据不同碱基测出的颜色不同来进行读取。

说的比较简略,了解下大概就行。
再留几个比较好的资料链接。
国外的一篇文章:http://thegenomefactory.blogspot.jp/2013/08/paired-end-read-confusion-library.html
20160405 illumina 测序原理介绍
陈巍学基因

相关名词概念

SNP和Indel

SNP:基因上碱基的变异,原本是A,突变为G、C或者T了。
Indel:基因上碱基的增添、删除,原本是A,然后没有了。

SE和PE

SE:single end 单端读序,短于200的可以采用单端读序,因为可以一次测完。
PE:paired end 双端读序,因为很长,无法从一侧读完,所以采用双端读,延长读长。

coverage

coverage = 总碱基数/DNA长度
这里总碱基数是指的最后读完所有碱基的和,DNA长度是原始DNA未打断前的长度,coverage是人为设定的用于控制最后数据量大小的参数

5' 端和3' 端

DNA的复制是有方向的,必须从5' 端到3' 端进行复制,也就是说读取DNA时也要从5' 端到3' 端。

开始模拟基因测序,双端测序

1、随机模拟DNA序列

这个随便了,找真数据也无所谓,只是我这样做的,好处是可以随时获得指定长度的DNA,方便。
这个很简单就是使用随机数随机选取AGCT,生成伪随机序列。

my @DNA;
my @Nucleotide = ("A", "G", "C", "T");
for(my $i = 0;$i <$len; $i++)
{   
    my $rand = int(rand(4));
    $DNA[$i] = $Nucleotide[$rand];

}

2、在随机的DNA序列中模拟SNP和Indel

对于SNP,在代码中设定一个叫SNP_rate的变量用于设定每个位点发生SNP的概率,根据概率决定是否发生SNP,发生则替换对应位点的碱基。
Indel也是同样,只是将替换改为增加和删除,一般随机添加或删除1~3个碱基(听公司的前辈说的)。

# simulate the SNP and Indel problom
sub SNP_Indel{
    my ($ref, $sRate, $iRate) = @_;
    my $len = length $ref;
    my $sNum = int $sRate * $len;
    my $iNum = int $iRate * $len;
    my @array = ("A", "G", "C", "T");
    for(my $i=0; $i<$sNum; $i++) {
        substr($ref, int rand $sNum, 1) = $array[int rand 4];
    }
    for(my $i=0; $i<$iNum; $i++) {
        if(int rand 2 == 1) {
            substr($ref, int rand $iNum, int rand 3) = "";
        }
        else {
            my $position = int rand $iNum;
            for(my $i=0; $i<rand 3;$i++) {
                substr($ref, $position , 1) = @array[int rand 4];
            }
        }
    }
    return $ref;
}

3、模拟DNA打断

这一步就是将DNA序列进行一个分割操作随机提取一个长度,叫InsertSize,一般指定为500,但实际上不是100%的500,一般认为是根据正态分布,所以要有一个分布区间,可以设定为sd。
但,本人偷了个懒,没写那么复杂,直接随机了。
PCR则感觉在模拟过程中不是很必要,当然也可以做,可以模仿在PCR中可能产生的SNP和Indel情况,在对根据大数据还原原始序列,说着貌似很有道理啊。

# simulate the option of PCR
sub cutSeq{
    my ($ref, $mean, $range) = @_;
    my $len = int($mean + rand 2 * $range - $range);
    my $PCR = substr $ref, int rand(length($ref) -$len), $len;
    return $PCR;
}

4、PCR

(我省略了。。。。)

5、最后,开始读序

读序操作实际上有一点要注意的是,假设变量A读取的是DNA 5’端为始端的链,然后双端读序,变量B要读的就是末端的序列,但因为末端为3' 端所以不能进行读取,只有去读5'端为末端的链,然后必须有一步的操作就是进行基因的互补反向,这个概念一定要清楚。
然后又一个我现在还不是非常理解但是能知道的就是,当打断的序列大于1000时,会形成环来进行读取,这是情况相反,变量A要进行互补反向操作。

# start read the DNA
sub getReads{
    my ($PCR, $rate, $read_len) = @_;
    my @array = ("A", "G", "C", "T");
    state $n = 0;
    my $len = length $PCR;
    my $read1 = substr($PCR, 0, $read_len);
    my $read2 = substr($PCR, -$read_len, $read_len);
    if($len > 1000){
        $read1 = &revcom($read1);
    }else{
        $read2 = &revcom($read2);
    }
    for(my $i=0; $i<$read_len; $i++) {
        if(rand(1) < $rate)
        {
            substr($read1, $i, 1) = @array[int rand 4];
        }
        if(rand(1)<$rate)
        {
            substr($read2, $i, 1) = @array[int rand 4];
        }
    }
    print READ1 ">reads_$n\_100 1\n$read1\n";
    print READ2 ">reads_$n\_100 2\n$read2\n";
    $n++;
}

你以为结束了吗?没呢

对结果进行检验

检验用的是kmer方法,统计长度为k的基因序列在所有读取序列中的出现次数。结果与coverage相关,如coverage设定为20,则kmer最后的峰值也应该在16、7左右。这样才正确。

介绍下kmer

kmer是指长度为k的所有可能的基因在所有读取文件中出现的次数,然后再统计出现相同次数的基因的数目。
举例:

  • 我有1条reads:
    >read1
    ATGCAAA
    >read2
    AGTAGAA
    K取6,则得到四个k-mer, 它们各自出现了一次
    输出1:
    ATGCAA 1
    TGCAAA 1
    AGTAGA 1
    GTAGAA 1
    则输出的统计文件结果如下:
    输出2:
    1 4

具体实现

首先是读入reads文件,按行读取,然后利用hash,用hash{key}++,来做,统计所有数据,最后得到一个hash,在利用相同的方法得到最后的出现x次的有y中kmer这个结果。

# get frequence that length is k
sub k_frequence
{
    my ($seq, $kmer,$modelHash) = @_;
    my $model;
    for(my $j=0; $j < length($seq)-$kmer; $j++)
    {
        $model = substr($seq, $j, $kmer);
        if(!defined($modelHash->{$model})){
            $modelHash->{$model} = 0;
        }
        $modelHash->{$model}++;
    }
}

# get kmer,input values
sub kmer
{
    my @modelArr = @_;
    my %kmers;
    for(my $i=0; $i<@modelArr; $i++)
    {
        if(!defined($kmers{$modelArr[$i]})){
            $kmers{$modelArr[$i]} = 0;
        }
        $kmers{$modelArr[$i]}++;
    }
    return %kmers;
}

验证结果

做完上述所有步骤后,现在只要打开你写入的文件,查看峰值出现的位置,你就可以知道最后做的结果如何了。

结束语

坑还是可以填满的,只要一直努力做下去。继续努力。
仓库地址:https://github.com/MyandMine/simulate_Illumina

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,347评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,435评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,509评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,611评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,837评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,987评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,730评论 0 267
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,194评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,525评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,664评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,334评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,944评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,764评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,997评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,389评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,554评论 2 349

推荐阅读更多精彩内容