需求
临时接到一个需求，需要帮忙check一下线上新老用户区分是否正确。
新老用户确认的方法：
老用户（注册4天以外）， 新用户（注册4天以内）
也就是说，需要check日志中请求的时间点和注册的时间戳，相差是不是超过4天或者小于4天
日志大致如下：
2018-12-28/15:30:57 [strategy.go::xxxx.com/xxx/xxx/xxx.(*Strategy).FindStrategy] [INF] 222222222222222222:new_user_xxx_xxx_xxx, a97774397e994a4d, {"uid":"72666259","device_code":"A000007527957C","page":1,"count":3},1545982248
改掉了一些日志中的敏感信息
思路
- 利用grep 筛选 new_user/old_user，并将这一行日志，重定向到新的文件中
- 读取文件，分别提取前面的请求时间，并转化为时间戳，与这一行日志最后的时间戳对比
所以有了大致结构：
- 1.利用grep awk 缩小日志
- 2.> 将日志重定向到文本文件中
- 3.利用while 循环读取文件
- 4.字符串截取前面的时间，并转换为时间戳
- 5.字符串截取最后的时间戳
- 6.对比两个时间戳的间隔时间
脚本解析
按照上面的思路，最终脚本如下：
grep new_user /logs/engine_info.log |awk -F',' '{print $1,$3}' >new_user.txt
sleep 1
while read line;
do
a=${line:0:19}
#注册时间戳
timestamp=${line:0-10}
#请求时间戳
actualtime=${a/\// }
time=`date -d "$actualtime" +%s`
a=$((timestamp+345600))
#[ $time -gt $a ];echo $?
if [ $time -gt $a ];
then
echo "error"
echo $line
fi;
done <new_user.txt
第一行，结合grep和awk、重定向，将日志输出到new_user.txt中
读取文件
a=${line:0:19}
这边是截取前面19个字符，即
2018-12-28/15:30:57
由于这个格式无法转换为时间戳，所以还需要将中间的 / 替换为空格
actualtime=${a/\// } ----结果 2018-12-28 15:30:57
然后转换为时间戳
date -d "$actualtime" +%s ------结果 1545961368
注册时间戳是日志的最后10位，再次进行截取
timestamp=${line:0-10} ----结果是1545982248
下面只对比二者之间的差距，以新用户为例，是期望注册时间是4天以内的，即时间戳相差 345600
期望请求的时间戳，比注册时间+345600 的结果要小，如果请求的时间戳比它大，那么就是错误的情况，最终逻辑如下：
a=$((timestamp+345600))
if [ $time -gt $a ];
then
echo "error"
echo $line
fi;
done <new_user.txt
以上，所有为一次简单的日志分析实践。
