在小丫画图交付的一个代码项目中，需要先从XENA下载一个表达量数据:https://toil.xenahubs.net/download/tcga_RSEM_gene_tpm.gz
样本大概是10,5,35个, 考虑到人类的基因大概有2w多个，那么这就是一个10000 X 20000的大样本数据，鉴于这还是一个TPM，数据类型是浮点型，文件解压缩之后就是4.61G, 如果全部加载到R语言中，大部分的电脑估计都受不了
library(pryr)
test <- data.table::fread("./tcga_RSEM_gene_tpm.gz")
object_size(test)
# 5.11 GB
考虑到并非所有数据都是我们所需要的，是否可以只读取部分的数据呢？原作者的解决方案是通过R调用命令行的方式，提取部分数据，然后让R语言进行加载。
可是大部分人的操作系统都是Windows，所有运行的时候就会报错，能不能就用户R语言解决这个问题呢？当然可以，只要你认真读过read.table的那么多参数，你就会知道他的那么多参数并不是装饰用的。
读取前几行
让我们先学习一个简单的参数nrows, 他的作用就是读取前N行，知道它之后，那就不需要去调用head了
headtcga <- read.table("./tcga_RSEM_gene_tpm",
sep = "\t",
stringsAsFactors = FALSE,
nrow = 1)
效果就是读取第一行，构建一个数据框，然后将其转成向量。但既然目标是向量，其实还有另一种实现方案，readLines读取的就是一个字符串，然后将其分隔成向量即可。
headtcga <- readLines("tcga_RSEM_gene_tpm", n =1)
headtcga <- strsplit(headtcga, split="\t")[[1]]
读取指定列
读取指定列会稍微困难一些，因为colClasses不太好理解。R语言在用read.table读取数据的时候其实做了很多事情，有一件事情就是负责确认每一列的数据类型，R语言需要根据不同数据类型进行内存分配。
如果你想实现读取指定列，那么你就得自己去设置每一列的数据类型。如果哪些列不需要，就将其它的数据类型定义为NULL，R语言就会忽略它。
读取代码如下：
cat(paste0("Begin at ", Sys.time(),"\n"))
first_5_rows <- read.table("./tcga_RSEM_gene_tpm", nrows = 5,
stringsAsFactors = FALSE,
header = FALSE,
skip = 1,
check.names = FALSE)
classes <- sapply(first_5_rows, class)
# targetnum 你需要读取的列
classes[-targetnum] <- rep("NULL", length(classes) - length(targetnum)) #将非目标列定义为NULL
classes[1] <- "character" # 加上第一列
# 读取文件(跳过第一行)
targetCancerTPM <- read.table("tcga_RSEM_gene_tpm",
sep= "\t",
skip = 1,
colClasses = classes)
colnames(targetCancerTPM) <- tcgasample[targetnum]
targetCancerTPM[1:3, 1:3]
cat(paste0("End at ", Sys.time(),"\n"))
如果仅读取我们需要的列的话，最终只消耗了500M的内存，相对于之前的5G内存，减少了将近10倍。
读取指定行和指定列
这就是需要对文件进行逐行读取解析了，我用readLines造了一个轮子，函数名为read_part,目前能用的参数为
- file: 输入的文件路径，支持.gz文件
- rows: 读取指定行, 比如说1:100, 就是前100行。当为-1时则是读取所有行
- rows: 读取指定列, 比如说
c(1,3,4,5,6), 就是1,3,4,5,6列。当为-1时则是读取所有列 - comment.char = "#", 会把"#"开头的行忽略掉，这个参数我还需要考虑下是否保留。
# 函数目标:
# 读取文件中的指定行和指定列
# 不包括注释行
read_part <- function(file, rows = 1, columns = -1, sep = "\t",
stringsAsFactors = FALSE,
header = FALSE,
check.names = FALSE,
comment.char = "#", ...){
dfl <- list()
if (grepl("gz$", file)){
con <- gzfile(file, open = "rb")
} else{
con <- file(file, open = "r")
}
i <- 0
j <- 1
repeat{
rec <- readLines(con, 1)
if (length(rec) == 0) break
i <- i + 1
# 当rows = -1时, 会读取所有行
# 超过目标行时停止读取
if (i > max(rows) & rows != -1) break
# 不考虑注释行
if (grepl(comment.char, rec )) next
if ( ! i %in% rows & rows != -1) next
items <- strsplit(rec, split = sep, fixed = TRUE)[[1]]
if ( columns == -1){
select_cols <- items
} else{
select_cols <- items[columns]
}
#print(select_cols)
dfl[[j]] <- select_cols
j <- j + 1
}
close(con)
df <- do.call(rbind, dfl)
return(df)
}
