我们都知道在Excel中插入行是件比较简单的事情,但是当数据量非常大,而我们又不知道缺失行的具体位置时,逐个添加是件耗时费力的事。相反,R中添加行并不容易,需要一行代码,和Excel类似,具体的运算不得而知,可能会非常复杂,但依赖于许多高手不齿的
for循环
,查找及插入就变得相对容易操作。
今天处理一个相对棘手的问题,耗时5h有余,但值得庆幸的是问题最终得到解决,问题描述及解决方法如下:
问题
需要对一个本地下载的基因数据库数据进行分类汇总,数据库的格式如下:
UniProtID:\tA1CIY4_ASPCL
Gene Symbol:\tACLA_053130
DNA Info:\tEMBL:EAW10839.1
Protein Length:\t139
Organism:\tAspergillus clavatus
Taxonomy ID:\t344612
Description:\tUnknown
Pubmed:\t18404212
NCBI RefSeq:\tXP_001272265.1, XM_001272264.1
Pfam:\tID:PF09044; Description: Kp4
Disease-Host:\thumans,insects
Disease-Hostkey:\tvertebrata
Disease:\tallergic alveolitis
DiseaseKey:\tAllergy
Gene Ontology:\tID:0005576; Method: IEA:InterPro; Description: C:extracellular region; ID:0009405; Method: IEA:InterPro; Description: P:pathogenesis
Protein Sequence:\tMLATTLIMVASALSANALGINCRGSAKCSALWGPSDAAKQLTNVIQGIDTNRWYLNGEHI 60; ACVGNDAGNGGGYCAFLQKTGGTNGGVIKNLAHYINDHGCKQCGSVPYYYPQGNNNVDDG 120; ELTYNYVDNPCVPAGAKLC
每个基因有如上的16个信息,但个别基因缺失部分信息,而且也没有用NA
表示出来,具体哪些基因信息缺失也不得而知。我们需要做的是把这16个信息分类汇总,即转成一个有 16个变量和n个基因的数据框。可能在Perl中或Python中相对容易,无奈并不会,只懂一点R语言,就用这个来处理了。
处理步骤
首先要读取数据。
这是类似文本的文件,每行只有Tab
分隔符,我们不能使用read.
的一类函数,这里选择用scan()
。
te <- scan("database.txt", what="", sep="\n")
注意!!!scan
是逐行扫描的,这里的分隔符是\n
。而文件中有些信息比如蛋白序列是在多行上的,这样的话就会当成多个元素来处理,因此要先将这些不想要的换行符去掉,直接在编辑器中替换即可。
te.2 <- strsplit(te.2, '\t') #按照tab分割信息条目
names(te.2) <- sapply(te.2, `[[`, 1) #按照条目标题(16个)汇总
te.2 <- lapply(te.2, `[`, -1) #转换成含16个元素的list
#----一系列转换
library(plyr)
lnames = names(te.2)
ulnames = unique(lnames)
te.2 = plyr::llply(ulnames, function(x) te.2[lnames == x])
te.2 = llply(te.2, unlist, recursive = F)
names(te.2) = ulnames
#----将处理好的list转成数据框并保存
# te.2<-te.2[-c(10,15)] # 有些条目中缺失信息
df<-as.data.frame(te.2)
write.csv(df,"dfvf.with.pfam.go.csv")
当条目信息有缺失时,每个条目的个数就不一致,所以无法转换,只能将一致的信息条目保存。
将缺失信息补齐
te.3<-te.2
te.3.1<-lapply(te.3, `[[`, 1)
te.3.2<-as.character(te.3.1)
# ---------
df.te.3<-as.matrix(te.3.2)
df.te.3<-as.data.frame(df.te.3)
df.te.3$V1<-as.character(df.te.3$V1)
df.te.3$V2<-NA
str(df.te.3)
te.1<-as.matrix(te)
te.1<-as.data.frame(te.1)
te.1$V1<-as.character(te.1$V1)
te.1$V2<-NA
str(te.1)
te.3<-te.2
str(te.3)
# ------在te.2中补齐Pfam和GO
pfam<-c("Pfam:",NA);go<-c("Gene Ontology:",NA)
pfam.2<-c("Pfam:\tID",NA);go.2<-c("Gene Ontology:\tID",NA)
# existingDF <- rbind(DF[1:r,],newrow,DF[-(1:r),]) #newrow是插入的内容 r是插入位置
for (i in 0:2057) {
a<-10+16*i #缺失信息所在的位置
b<-15+16*i
if(df.te.3[a,1]!="Pfam:"){
df.te.3<-rbind(df.te.3[1:a,],pfam,df.te.3[-(1:a),]) #这里做个判断如果没有就作插入
te.1<-rbind(te.1[1:(a-1),],pfam.2,te.1[-(1:(a-1)),])
}
if(df.te.3[b,1]!="Gene Ontology:"){
df.te.3<-rbind(df.te.3[1:b,],go,df.te.3[-(1:b),])
te.1<-rbind(te.1[1:(b-1),],go.2,te.1[-(1:(b-1)),])
}
}
te.2<-te.1[,1] #补齐信息后按照最开始的流程重新运行一遍就可以了