20201023-生信人的Linux考试

一、在任意文件夹下面创建形如 1/2/3/4/5/6/7/8/9 格式的文件夹系列。

mkdir -p 1/2/3/4/5/6/7/8/9/

二、在创建好的文件夹下面，比如我的是 /Users/jimmy/tmp/1/2/3/4/5/6/7/8/9 ，里面创建文本文件 me.txt

cd 1/2/3/4/5/6/7/8/9/
touch me.txt

三、在文本文件 me.txt 里面输入内容:

Go to: http://www.biotrainee.com/
I love bioinfomatics.
And you ?

sudo apt-get install vim-gtk
#之前出现了一个问题，用vim编辑器的时候上下左右键打出来是ABCD，查了一下是Ubuntu自带vi不完整，手动安装完整vi
vi me.txt
#进入编辑器后按i开始编辑，按esc完成，再退出编辑器
#：q!强制退出并不保存修改
#：wq保存修改并退出

四、删除上面创建的文件夹 1/2/3/4/5/6/7/8/9 及文本文件 me.txt

rm -rf 1
#直接跳到1所在目录，删除目录1，1及其子目录和子目录中的文件全部删除

五、在任意文件夹下面创建 folder 1~5这5个文件夹，然后每个文件夹下面继续创建 folder 1~5这5个文件夹

sudo apt-get install tree
#安装树型结构展示
mkdir folder{1..5}/folder{1..5}

六、在第五题创建的每一个文件夹下面都创建第二题文本文件 me.txt ，内容也要一样。

touch me.txt
#先创建一个文件
echo folder{1..5}/folder{1..5} | xargs -n 1 cp -v me.txt

七，再次删除掉前面几个步骤建立的文件夹及文件

rm -rf folder*

八、下载 http://www.biotrainee.com/jmzeng/igv/test.bed 文件，后在里面选择含有 H3K4me3 的那一行是第几行，该文件总共有几行。

wget http://www.biotrainee.com/jmzeng/igv/test.bed
cat test.bed | grep -n H3K4me3
#第几行
cat test.bed |wc
#共几行

九、下载 http://www.biotrainee.com/jmzeng/rmDuplicate.zip 文件，并且解压，查看里面的文件夹结构

wget http://www.biotrainee.com/jmzeng/rmDuplicate.zip
unzip rmDuplicate.zip
tree -a

十、打开第九题解压的文件，进入 rmDuplicate/samtools/single 文件夹里面，查看后缀为 .sam 的文件，搞清楚生物信息学里面的 SAM/BAM 定义是什么。

cd rmDuplicate/samtools/single/
cat tmp.sam
less -SN tmp.sam

参考资料1
参考资料2
参考资料3
参考资料4
参考资料5
十一、安装 samtools 软件

mkdir biosoft
cd biosoft/
mkdir samtools
cd samtools/
#创建目录
wget https://github.com/samtools/samtools/releases/download/1.11/samtools-1.11.tar.bz2
tar -xjf samtools-1.11.tar.bz2
#下载并解压
cd samtools-1.11/
./configure --prefix=/home/zhangliyin/practice/biosoft/samtools/samtools-1.11
#configure: error: no acceptable C compiler found in $PATH
sudo apt-get install -y build-essential
#安装C编译环境
#这里暂时先装在opt/下，到底装哪里要再看看，反正是练手随便装一下
./configure --prefix=/home/zhangliyin/practice/biosoft/samtools/samtools-1.11
#再来一次
#有一系列报错，根据报错下载就行，ubuntu和centos指令有细微差别，我用的Ubuntu
sudo apt-get install bzip2-devel
sudo apt-get install ncurses-dev
sudo apt-get install zlib1g-dev 
sudo apt-get install libbz2-dev
sudo apt-get install liblzma-dev
#完成
make
make install

调用samtools的帮助功能

./samtools --help

把它加入环境变量，之后就可以不需要加绝对路径就可以直接调用

echo 'export PATH="/home/zhangliyin/practice/biosoft/samtools/samtools-1.11/bin:$PATH" ' >>~/.bashrc
source ~/.bashrc

十二、打开后缀为 BAM 的文件，找到产生该文件的命令。提示一下命令是：

/home/jianmingzeng/biosoft/bowtie/bowtie2-2.2.9/bowtie2-align-s --wrapper basic-0 -p 20 -x /home/jianmingzeng/reference/index/bowtie/hg38 -S /home/jianmingzeng/data/public/allMouse/alignment/WT_rep2_Input.sam -U /tmp/41440.unp

samtools view -h tmp.rmdup.bam | grep bowtie
#或者
samtools view -h tmp.sorted.bam |grep '^@PG'|awk 'BEGIN{FS="\t"}{print $5}'|cut -d: -f2

十三题、根据上面的命令，找到我使用的参考基因组 /home/jianmingzeng/reference/index/bowtie/hg38 具体有多少条染色体。

samtools view -h tmp.rmdup.bam | grep -v ^@ | cut -f 3 | uniq -c
#或者
samtools view -H tmp.rmdup.bam | head -n 20
#或者
samtools view -H tmp.rmdup.bam  | awk '{print $2}' | sort |uniq -c| grep -v '_'

十四题、上面的后缀为 BAM 的文件的第二列，只有 0 和 16 两个数字，用 cut/sort/uniq等命令统计它们的个数。

十五题、重新打开 rmDuplicate/samtools/paired 文件夹下面的后缀为 BAM 的文件，再次查看第二列，并且统计

samtools view tmp.sorted.bam | cut -f 2 | sort | uniq -c
samtools view tmp.rmdup.bam | cut -f2 | sort | uniq -c | sort -t' ' -nrk1,1
#输出有差别

十六题、下载 http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip 文件，并且解压，查看里面的文件夹结构，这个文件有2.3M，注意留心下载时间及下载速度。

wget http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip
unzip sickle-results.zip 
cd sickle-results/
tree -a

十七题、解压 sickle-results/single_tmp_fastqc.zip 文件，并且进入解压后的文件夹，找到 fastqc_data.txt 文件，并且搜索该文本文件以 >>开头的有多少行？

unzip single_tmp_fastqc.zip
cd single_tmp_fastqc/
grep -c ">>" fastqc_data.txt

十八题、下载 http://www.biotrainee.com/jmzeng/tmp/hg38.tss 文件，去NCBI找到 TP53/BRCA1等自己感兴趣的基因对应的 refseq数据库 ID，然后找到它们的 hg38.tss 文件的哪一行。

wget http://www.biotrainee.com/jmzeng/tmp/hg38.tss
cat hg38.tss | grep NM_000546
cat hg38.tss | grep -n NM_000546
#TP53
grep 'NM_007294' hg38.tss
grep -rn "NM_007294"  hg38.tss
#BRCA1

十九题、解析 hg38.tss 文件，统计每条染色体的基因个数。

cat hg38.tss |cut -f 2 | sort | uniq -c
grep -oE 'chr[0-9]{1,2} | chr[a-zA-Z] {1,2}' hg38.tss | sort | uniq -c
cat hg38.tss | awk '{print $2}' | sort | uniq -c | grep -v '_'
#去碎片基因

二十题、解析 hg38.tss 文件，统计 NM和 NR开头的熟练，了解 NM和 NR开头的含义。

cat hg38.tss | cut -d "_" -f 1 | sort | uniq -c
# 51064 NM
#15954 NR
cat hg38.tss | awk '{print $1}'| cut -c 1-2 | sort | uniq -c
# 51064 NM
# 15954 NR
grep -E '^(NM|NR)' hg38.tss | wc - l
#67018
#NM：转录组产物的序列mRNA
#NR：非编码的转录组序列ncRNA