如何统计日志中每个url的请求次数

以前上线经常关注日志文件中error的情况,那么对于这种简单的想查看上线瞬间是否有服务报错应该怎么操作呢。

如果日志文件名成为: app_20220308.log
查看上线过程中日志是否有error
tail -f app_20220308.log | grep error
会用到 tailgrep 2个命令
简单说下这2个命令吧

tail:用于查看文件的内容

  • -f : 循环读取,意思就是当前比如执行 tail -f fileName 屏幕可能显示一条或者不显示任何日志,但是此时有人访问了你的日志,你的屏幕上就会多出一条相关的访问日志
  • -n<行数>: 显示文件的尾部 n 行内容,这个就很简单了,不做多余解释了
    注意: tail filleName 显示末尾的10行数据

grep: 命令用于查找文件里符合条件的字符串。

  • -v 或 --invert-match : 显示不包含匹配文本的所有行。【这个比较常用些】
  • -E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
  • -i 或 --ignore-case : 忽略字符大小写的差别。
    注意: grep 后面接的词语可以用引号包裹,不用也没关系,可能变成习惯很多人都愿意包裹起来

那么此时当你好好的ip1上观察日志情况的时,你老板来了,对你说,‘比卡丘,去,统计下昨天各个接口访问量是多少’,那么此时你可能默默的打开百度了,正好看到我的文章了,兄弟来,我们造作起来

先直接告诉你答案

grep  api  app_20220307.log | awk -F\" '{print $2}' | sort | uniq -c | sort -n -r

这句话的意思你,我要查询文件名为app_20220307.log中包含api的日志,对于每一行符合要求的数据,用进行分割,分割后取第二个字符,进行统计,然后对于其结果集,进行排序

咱们来一个命令一个命令解释下
grep: 上文已经说过了不在赘述了

akw 这个可是linux的三剑客之一,重头戏,压轴了

sor:用于将文本文件内容加以排序。sort 可针对文本文件的内容,以行为单位来排序。

  • -b 忽略每行前面开始出的空格字符。
  • -n 依照数值的大小排序。举个栗子:
//假如目前统计出来的结果是这样的
123  /api/url
567  /api/name
233 /api/age

那么 sort -n之后是

123  /api/url
233 /api/age
567  /api/name
  • -r 以相反的顺序来排序。

uniq:用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用。uniq 可检查文本文件中重复出现的行列。

  • -c或--count 在每列旁边显示该行重复出现的次数。
  • -d或--repeated 仅显示重复出现的行列。

awk:是一种处理文本文件的语言,是一个强大的文本分析工具。
具体语法为:

awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)

这个命令有兴趣可以自学下,比较强大,对于日常日志分析有很大帮忙
简单介绍下本文用到的一些基础

  • -F fs: 指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F"
    具体来说就是把每一行日志按照"进行分割
  • '{print $8}' 是把分割后的第8个字符打印出来

注意: 在没有-F 时,按照默认空格分割,各个$含义如下:
$0 就是整个记录行
$1 就是第一个字符
$4 就是第4个字符
现在可以搞定你老板的需求了,兄弟看你的了

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,417评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,921评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,850评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,945评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,069评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,188评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,239评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,994评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,409评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,735评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,898评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,578评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,205评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,916评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,156评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,722评论 2 363
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,781评论 2 351

推荐阅读更多精彩内容