1 本文适合读者
了解awk基本语法,需要用awk对文本进行处理的初级用户
本文主要介绍利用awk的二维数组,把单列数据转为多列和反过来多列数据到单列的方法
2 问题描述
源文件的格式a.txt:
月份 产品 销量 201801 苹果 5 201801 梨 8 201801 香蕉 7 201802 西瓜 4 201803 苹果 6
这是一个常见的单列数据的模型,第一列是月份,第二列是类型,第三列是数据,销售人员常常需要汇总全年的销售数据,并按类型转换为多列的形式,以便用图表来显示各类型的销售走势。
目标文件的格式b.txt:
月份 西瓜 苹果 香蕉 梨 201801 0 5 7 8 201802 4 0 0 0 201803 0 6 0 0
3 问题分析
单列转多列很自然的用到awk的二维数组,array[下标1,下标2],用月份作为下标1,用类型作为下标2。然后遍历数组,格式化输出数据即可。
这里的问题是要按月份输出,每一行是某月的所有数据,因此不能直接用for ( item in array ) 来直接一次遍历数组所有元素,需要分别遍历下标1和下标2。
4 单列到多列的转换
awk -F"\t" '{month[$1]=$1;type[$2]=$2;arr[$1,$2]=$3} END {for (i in month) { printf("%s",month[i]); for (j in type) printf("\t%d",arr[i,j]);printf("\n") }}' a.txt
命令解释:
把月份存放在一维数组month[]中,把类型存放在一维数组type[]中,把数据存在二维数组arr[i,j]中。
第一层for循环对每个月份进行遍历,第二层for循环对每种类型进行遍历,即可得到所要的输出格式。
5 说明
这里没有用二维数组的split()方法来切割下标,然后计算下标数组长度。而是增加了两个一维数组来辅助遍历,这样比较直观。
6 多列到单列的转换
awk -F"\t" 'NR == 1 {for (i=2; i <= NF;i++) type[i]=$i}; NR > 1 { for (j=2;j <= NF; j++) arr[$1,type[j]]=$j } END { for (k in arr) { split(k,idx,SUBSEP); print idx[1]"\t"idx[2]"\t"arr[k]} }' 2.txt | sort -t',' -k1,1 -k2,2
7 输出结果
201801 梨 8 201801 西瓜 0 201801 苹果 5 201801 香蕉 7 201802 梨 0 201802 苹果 0 201802 香蕉 0 201802 西瓜 4 201803 梨 0 201803 西瓜 0 201803 香蕉 0 201803 苹果 6
8 说明
先把标题字段存在type[ ]一维数组中,然后把每一行的值存在arr[ ]二维数组中,最后遍历整个二维数组输出。
如果需要控制字段头输出,可参见下一篇文章
awk实战2-将shell数组传递进awk的用法
awk实战系列
awk实战3-将一个大文件按月拆成多个小文件
====本文为原创,转载请注明出处====