今天分享的内容是从大量文件中提取关键信息的方法（信息的过滤）。

示例数据

下载地址：https://gitee.com/shiying0618/study_shell/raw/master/demofiles/demo_calc_20201120.log
示例文件来自服务器真实的一段程序日志，部分内容已经混淆处理。文件中包括多个任务的工作日志，所以格式比较混乱，不利于阅读和获取关键信息。

可以这样简单的浏览一下文件的格式
看看行数

cat demo_calc_20201120.log |wc -l

==>

100000

打印前10行

cat demo_calc_20201120.log |head -n 10

==>

2020-11-20 00:00:04.293 ChannelCalcOver:XXXXX(465272478) cnt=1791 roamin=9 TimeUsed:4 ms
2020-11-20 00:00:04.293 ChannelCalcOver:XXXXX(465272481) cnt=6234 roamin=108 TimeUsed:5 ms
2020-11-20 00:00:04.293 ChannelCalcOver:XXXXX(465272480) cnt=9744 roamin=99 TimeUsed:4 ms
2020-11-20 00:00:04.294 ChannelCalcOver:XXXXX(465272476) cnt=1193 roamin=21 TimeUsed:4 ms
2020-11-20 00:00:04.294 ChannelCalcOver:XXXXX(465272477) cnt=13141 roamin=180 TimeUsed:4 ms
2020-11-20 00:00:04.294 ChannelCalcOver:XXXXX(465272475) cnt=1855 roamin=32 TimeUsed:4 ms
2020-11-20 00:00:04.294 ChannelCalcOver:XXXXX(465272479) cnt=11261 roamin=228 TimeUsed:5 ms
2020-11-20 00:00:04.295 ChannelCalcOver:XXXXX(465272474) cnt=9238 roamin=175 TimeUsed:4 ms
2020-11-20 00:00:04.296 ChannelCalcOver:XXXXX(465272473) cnt=4324 roamin=111 TimeUsed:5 ms
2020-11-20 00:00:04.297 ChannelCalcOver:XXXXX(465272471) cnt=7304 roamin=43 TimeUsed:6 ms

打印末尾10行

cat demo_calc_20201120.log |tail -10

==>

2020-11-20 17:21:12.187 saveTrafficSurfacePeopleCount 京津高速出京处A->0 B->0
2020-11-20 17:21:12.191 saveTrafficSurfacePeopleCount 京开高速出京处A->0 B->0
2020-11-20 17:21:12.194 saveTrafficSurfacePeopleCount 京承高速出京处A->0 B->0
2020-11-20 17:21:12.198 saveTrafficSurfacePeopleCount 京新高速出京处A->0 B->0
2020-11-20 17:21:12.201 saveTrafficSurfacePeopleCount 通燕高速出京处A->0 B->0
2020-11-20 17:21:12.204 saveTrafficSurfacePeopleCount 京沪高速出京处A->0 B->0
2020-11-20 17:21:12.207 saveTrafficSurfacePeopleCount 京港澳高速出京处A->0 B->0
2020-11-20 17:21:25.618 Invoke qchannel?method=queryhlrgis&resulttype=json&channelid=465236295 Exception SC_INTERNAL_SERVER_ERROR Try Time=0 of 1
2020-11-20 17:21:25.618 计算区域内各HLR用户的经纬度分布 END XXXXX 20201120172000 RecordCount=0 TimeUsed: 50844 ms(T1=50844/T2=0)
2020-11-20 17:21:25.640 Set EmpmAllBaseUserInfoCalcTime to:20201120172000 AllCalcOver TimeUsed:85 sec

★ 知识点

cat
打开文件输出到流，如果没有特别指定，流将显示在屏幕上。也就是打印文件内容
|
管道，接收了上一个程序的输出流，对接到下一个程序的输入流
wc
统计工具，-l表示按行统计
head
截取工具，-n表示行数，输入流中前xx行输出到输出流
tail
截取工具，输入流中后xx行输出到输出流

示例1
程序每隔一段时间会执行一个调度任务，每次调度任务执行完，将会输出这样一条日志

2020-11-20 00:01:13.605 Set EmpmAllBaseUserInfoCalcTime to:20201120000000 AllCalcOver TimeUsed:73 sec

其中前23个字符是这条日志打印的时间，TimeUsed后边就是本次执行所需的时间。
我们想要大概浏览一下每个时间点执行所需时间都是多少，把所有这样的日志全部打印出来，可以这样做

cat demo_calc_20201120.log |grep 'AllCalcOver'

==>

2020-11-20 00:01:13.605 Set EmpmAllBaseUserInfoCalcTime to:20201120000000 AllCalcOver TimeUsed:73 sec
2020-11-20 00:11:17.142 Set EmpmAllBaseUserInfoCalcTime to:20201120001000 AllCalcOver TimeUsed:77 sec
2020-11-20 00:21:14.366 Set EmpmAllBaseUserInfoCalcTime to:20201120002000 AllCalcOver TimeUsed:74 sec
2020-11-20 00:31:29.427 Set EmpmAllBaseUserInfoCalcTime to:20201120003000 AllCalcOver TimeUsed:89 sec
2020-11-20 00:41:12.401 Set EmpmAllBaseUserInfoCalcTime to:20201120004000 AllCalcOver TimeUsed:72 sec
...

★ 知识点
grep
过滤，将符合条件的内容输出给输出流，参数表示过滤的字符串

示例2
程序执行会出现错误，类似这样

2020-11-20 00:30:45.621 计算时长+标签数据 XXXXX(465198394)用户数: (1256960) TimeUsed: 4412 ms(T1=3949/T2=28/T3=0/T4=289/T5=13/T6=36/T7=31/T8=66)
org.postgresql.util.PSQLException: ERROR: missing data for column "op_time"
  在位置：COPY channel_hlr_gis, line 2197: "0   465226089"
        at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2433)
        at org.postgresql.core.v3.QueryExecutorImpl.processCopyResults(QueryExecutorImpl.java:1114)
        at org.postgresql.core.v3.QueryExecutorImpl.endCopy(QueryExecutorImpl.java:963)

对错误的定位只能通过Exception或ERROR，我们希望获得每次异常的时间（前一行的时间），可以这样做

1. 获取关键字PSQLException和它的前一行信息

cat demo_calc_20201120.log |grep 'PSQLException' -B 1

==>

2020-11-20 00:30:45.621 计算时长+标签数据 XXXXX(465198394)用户数: (1256960) TimeUsed: 4412 ms(T1=3949/T2=28/T3=0/T4=289/T5=13/T6=36/T7=31/T8=66)
org.postgresql.util.PSQLException: ERROR: missing data for column "op_time"
--
2020-11-20 01:10:39.501 计算区域内各HLR用户的经纬度分布 END XXXXX 20201120011000 RecordCount=201 TimeUsed: 454 ms(T1=448/T2=6)
org.postgresql.util.PSQLException: ERROR: missing data for column "hlr"
--
2020-11-20 05:20:46.627 计算时长+标签数据 XXXXX(465198394)用户数: (1221738) TimeUsed: 4413 ms(T1=3991/T2=28/T3=0/T4=276/T5=12/T6=34/T7=20/T8=52)
org.postgresql.util.PSQLException: ERROR: invalid input syntax for integer: ""
--
2020-11-20 07:50:44.694 计算常驻用户标签数据  end XXXXX TimeUsed: 4119 ms
org.postgresql.util.PSQLException: ERROR: missing data for column "op_time"

2. 提取带日期的行

cat demo_calc_20201120.log |grep 'PSQLException' -B 1 |grep '2020'

==>

2020-11-20 00:30:45.621 计算时长+标签数据 XXXXX(465198394)用户数: (1256960) TimeUsed: 4412 ms(T1=3949/T2=28/T3=0/T4=289/T5=13/T6=36/T7=31/T8=66)
2020-11-20 01:10:39.501 计算区域内各HLR用户的经纬度分布 END XXXXX 20201120011000 RecordCount=201 TimeUsed: 454 ms(T1=448/T2=6)
2020-11-20 05:20:46.627 计算时长+标签数据 XXXXX(465198394)用户数: (1221738) TimeUsed: 4413 ms(T1=3991/T2=28/T3=0/T4=276/T5=12/T6=34/T7=20/T8=52)
2020-11-20 07:50:44.694 计算常驻用户标签数据  end XXXXX TimeUsed: 4119 ms