R--去重unique ; duplicated，根据某一列的重复值，去除该重复值所在的整行

unique

语法

unique(x, incomparables = FALSE, fromLast = FALSE,
nmax = NA...)

x 可以是向量、数据框、数组array

incomparables FALSE meaning that all values can be compared.所有的值都可以进行比较

fromLast （from the last） TRUE即保留最后一个，默认是FALSE 保留第一个。(这俩行名是不同的)

nmax : the maximum number of unique items expected (greater than one)

例子

#使用help文档里的例子看看
> x <- c(3:5, 11:8, 8 + 0:5)
> x
 [1]  3  4  5 11 10  9  8  8  9 10 11 12 13
> class(x)
[1] "numeric"
> (ux <- unique(x)) #fromLast默认FALSE，则重复值保留第一个
[1]  3  4  5 11 10  9  8 12 13
> (u2 <- unique(x, fromLast = TRUE))#重复值保留最后一个，与上面的结果，顺序是不一样的
[1]  3  4  5  8  9 10 11 12 13

新建一个数据框，试试

> df <- data.frame(gene = paste0('gene',c(1,2,3,2)),
+                  sam = paste0('sample',c(1,2,3,2)),
+                  exp = c(32,45,32,45))
> df #第2行于第4行是相同的，第1行和第3行只有exp相同
   gene     sam exp
1 gene1 sample1  32
2 gene2 sample2  45
3 gene3 sample3  32
4 gene2 sample2  45
> unique(df) #按 行 去 重
   gene     sam exp
1 gene1 sample1  32
2 gene2 sample2  45
3 gene3 sample3  32
> unique(df,fromLast = TRUE)
   gene     sam exp
1 gene1 sample1  32
3 gene3 sample3  32
4 gene2 sample2  45

上述可以看到，unique去重是一整行完全相同，然后把整行去掉。

如果有这么一个需求，根据某一列的重复值，去除该重复值所在的整行。（麻烦且有局限，可使用duplicated）

如上述例子里的 exp 列，按照要求，应该就剩下2行，第一行和第二行（fromlast默认值）

实现如下：

#先找出不重复的行。然后按照行名取一整行
> unique(df['exp'])
  exp
1  32
2  45
##这里是想直接取，但是报错，因为unique(df['exp'])根本不是数字（表示哪一行的数字）
> df[unique(df['exp']),]
Error in xj[i] : invalid subscript type 'list'

#当行数较少的时候，可以直接把行输入
> df[c(1,2),]
   gene     sam exp
1 gene1 sample1  32
2 gene2 sample2  45

#当行数多时，思路：先把行名提出来（行名未设置，是数字），结果以list形式返回，需要转换成numeric
> rows <- rownames(unique(df['exp']))
> rows
[1] "1" "2"
> class(rows)
[1] "character"
> rows2 <- as.numeric(rows)
> rows2
[1] 1 2
> class(rows2)
[1] "numeric"
> df[rows2,]
   gene     sam exp
1 gene1 sample1  32
2 gene2 sample2  45

duplicated

语法

duplicated(x, incomparables = FALSE,
fromLast = FALSE, nmax = NA, ...)

参数解释，同unique

判定重复元素，返回逻辑值

For a vector input, a logical vector of the same length as x. For a data frame, a logical vector with one element for each row.（x是向量，返回的逻辑向量与x长度相同；x是数据框，每行返回一个逻辑值）

例子

> x
 [1]  3  4  5 11 10  9  8  8  9 10 11 12 13
> duplicated(x)
 [1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE  TRUE  TRUE  TRUE  TRUE FALSE FALSE

> df #第2行于第4行是相同的，第1行和第3行只有exp相同
   gene     sam exp
1 gene1 sample1  32
2 gene2 sample2  45
3 gene3 sample3  32
4 gene2 sample2  45
> duplicated(df)
[1] FALSE FALSE FALSE  TRUE #第4行是重复值

去重，使用！

#duplicated可以放在[]中，因为是逻辑值
> xu <- x[!duplicated(x)]
> xu
[1]  3  4  5 11 10  9  8 12 13
# 与unique结果是一样的

数据框与向量有所不同，[]中不能只放duplicated，而是应该放在行的位置，取“TRUE”的行，右边列的位置为空

> dfu <- df[!duplicated(df)]#这样没有用
> dfu
   gene     sam exp
1 gene1 sample1  32
2 gene2 sample2  45
3 gene3 sample3  32
4 gene2 sample2  45
> dfu <- df[!duplicated(df),]
> dfu
   gene     sam exp
1 gene1 sample1  32
2 gene2 sample2  45
3 gene3 sample3  32

根据某一列的重复值，去除该重复值所在的整行

嗯，干净利落。

> dfuexp <- df[!duplicated(df$exp),]
> dfuexp
   gene     sam exp
1 gene1 sample1  32
2 gene2 sample2  45

保存筛选过后的数据

#保存为文本

write.table(写入的数据名字,file = '输出文件的名字,txt',sep = '分隔符')

#保存为逗号分割文本

write.csv(写入的数据名字,file = '输出文件的名字.csv')

#保存为R格式文件

save(output1,file = 'output1.RData')

以 writer.table 为例

write.table(shh_dxs_unique,file = 'shh_dxs_unique.txt',sep = '\r\n',row.names = FALSE,col.names = FALSE,quote = FALSE)

shh_dxs_unique 是清理过的数据
shh_dxs_unique.txt 是输出文件的名字，储存在工作目录下
\r\n，windows 下的换行符
row.names = FALSE,col.names = FALSE 不输出行名列名（这个因需求而异）
quote = FALSE 输出的字符串不加引号（不加这个参数，输出的每一行都会有引号）