说明
需要样本分组文件f1和数据矩阵文件f2,分隔符都为 \t;f1的第一列为f2的列名,第二列为分组组名(会根据f1文件做计算,只做f1中有的样本与分组,支持无重复样本的分组)
f1示例
f2示例
脚本
awk 'BEGIN{FS=OFS="\t"}NR==FNR{a[$1]=$2;gnum[$2]=strtonum(gnum[$2])+1;guni[$2]}NR>FNR&&FNR==1{for(i=2;i<NF+1;i++){g[i]=a[$i]};printf $0;for(k in guni){printf "\tsum_"k};for(k in guni){printf "\tmean_"k};print ""}NR>FNR&&FNR>1{for(k in guni){s[k]=0};for(i=2;i<NF+1;i++){s[g[i]]=strtonum(s[g[i]])+$i};printf $0;for(k in guni){printf "\t"s[k]};for(k in guni){printf "\t"s[k]/gnum[k]}print ""}' pheno.file matrix.02
转换后的脚本:
awk 'BEGIN{
FS=OFS="\t"
}NR==FNR{
a[$1]=$2
gnum[$2]=strtonum(gnum[$2])+1
guni[$2]
}NR>FNR&&FNR==1{
for(i=2;i<NF+1;i++){
g[i]=a[$i]
}
printf $0
for(k in guni){
printf "\tsum_"k
}
for(k in guni){
printf "\tmean_"k
}
print ""
}NR>FNR&&FNR>1{
for(k in guni){
s[k]=0}
for(i=2;i<NF+1;i++){
s[g[i]]=strtonum(s[g[i]])+$i
}
printf $0
for(k in guni){
printf "\t"s[k]
}
for(k in guni){
printf "\t"s[k]/gnum[k]
}
print ""
}'
输出文件:
执行时间
测试数据为55827行,13列。结果:
这个时间是很快的,比R的aggregate快很多;使用python的group_by 函数也可以实现,就不做比较了