CIRCexplorer3 | 踩坑之路

创建circexplorer3环境

python版本需为2.7+

conda create -n circexplorer3 python=2.7.15
conda activate circexplorer3

软件版本问题

注意:Samtools=0.1.18.0,Bowtie=1.0.0.0,tophat=2.0.12

conda install Samtools=0.1.18.0
conda install Bowtie=1.0.0.0

根据官网https://circexplorer2.readthedocs.io/en/latest/tutorial/setup/以及https://github.com/YangLab/CLEAR安装CIRCexplorer2及CIRCexplorer3所需的软件

#安装相关软件
conda install -y Cufflinks BEDTools STAR MapSplice BWA segemehl pysam pybedtools docopt scipy HISAT2 StringTie
conda install -y -c bioconda ucsc-genepredtogtf
conda install -y -c bioconda ucsc-gtftogenepred
#安装CIRCexplorer2
conda install circexplorer2
#安装CIRCexplorer3
git clone https://github.com/YangLab/CLEAR
cd ./CLEAR
python ./setup.py install

注意:tophat=2.0.12

#安装tophat软件
wget http://ccb.jhu.edu/software/tophat/downloads/tophat-2.0.12.Linux_x86_64.tar.gz
tar -zxvf tophat-2.0.12.Linux_x86_64.tar.gz
export PATH=$PATH:/home/user/bioinfo_software/tophat-2.0.12.Linux_x86_64/ #临时加入环境变量(每次登录需要设置)

数据处理

前期准备工作

需根据CIRCexplorer2官网下载GTF及FA等基因注释文件,以及使用HISAT2和Bowtie进行索引构建

#下载GTF以及fa相关文件
fetch_ucsc.py hg19 ref hg19_ref.txt
fetch_ucsc.py hg19 kg hg19_kg.txt
fetch_ucsc.py hg19 ens hg19_ens.txt
fetch_ucsc.py hg19 fa hg19.fa
#转为GTF格
cut -f2-11 hg19_ref.txt|genePredToGtf file stdin hg19_ref.gtf
cut -f2-11 hg19_kg.txt|genePredToGtf file stdin hg19_kg.gtf
cut -f2-11 hg19_ens.txt|genePredToGtf file stdin hg19_ens.gtf 式
#构建tophat所需索引(指定bowtie)
bowtie-build ../hg19.fa bowtie1_index  # bowtie建立索引
bowtie2-build ../hg19.fa bowtie2_index # bowtie2建立索引
hisat2-build -p 70 hg19.fa ../hg19.fa

建立变量中的名称不能含有 “.” ,使用 “_” 代替

hisat_index=/home/user/project/reference/UCSC/HISAT2/hg19.fa
bowtie1_index=/home/user/project/reference/UCSC/bt1/bowtie1_index
hg19_gtf=/home/user/project/reference/UCSC/hg19_ref.gtf
hg19_fa=/home/user/project/reference/UCSC/hg19.fa

单样本测试

注意:运行前,检查环境以及注释文件的路径
!!!-p线程数不能设置过大,否则会超过Linux默认的最大文件描述符数量(1024),一直出现 “too many files open” 或者 “Error opening SAM file” 报错 !!!

nohup clear_quant -p 70 -1 SRRnnnnnn_1.fq.gz -2 SRRnnnnnn_2.fq.gz -g $hg19_fa -i $hisat_index -j $bowtie1_index --gtf $hg19_gtf -o ./SRRnnnnnn_output/ & 

批量处理

#查看文件注释文件路径
echo $hisat_index $bowtie1_index $hg19_gtf $hg19_fa
#链接处理文件
ln -s ../04.trim_galore_clean/*.fq.gz ./
#批量处理脚本
for i in `ls *_1.fq.gz`
 do
id=${i/_1.fq.gz/}
output_dir=./${id}_output/
echo "clear_quant -p 70 -1 ${id}_1.fq.gz -2 ${id}_2.fq.gz -g $hg19_fa -i $hisat_index -j $bowtie1_index --gtf $hg19_gtf -o $output_dir"
done >CIRCexplorer3.sh
#运行
nohup bash CIRCexplorer3.sh 1>nohup.log &

汇总定量文件

#批量处理
ls *_1.fq.gz | while read id
do
id=${id/_1.fq.gz/}
file=${id}_output
echo "cp $file/quant/quant.txt ./quant_file/$id"
done >gather.command
cat gather.command #检查命令的完整性
bash gather.command 2>gather.log #运行命令
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,470评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,393评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,577评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,176评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,189评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,155评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,041评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,903评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,319评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,539评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,703评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,417评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,013评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,664评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,818评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,711评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,601评论 2 353

推荐阅读更多精彩内容