linux日志文本过滤

一般日志过滤处理:

  • 查找关键日志grep
  • 精简日志内容sed
  • 对记录进行排序sort
    针对文本文件内容,以行为单位排序
    sort seq 每一行一个单位,从首字符向后,按照ASCII码值进行比较,按照升序输出
    -r 以相反的顺序输出
    -u 去掉重复行
    -n 比较数字,11大于2
    -o 重定向,如sort -nr number -o number
    -t 设定间隔符,-k 指定列数 ,sort -n -k 2 -t'-' date,按照月份升序排序


统计日志相关记录数 awk

awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s) //脚本文件

  • 常用命令选项:
    -F fs fs指定输入分隔符,fs可以是字符串或正则表达式,如-F:
    -v var=value 赋值一个用户定义变量,将外部变量传递给awk
    -f scripfile 从脚本文件中读取awk命令
  • awk 'BEGIN{ commands } pattern{ commands } END{ commands }'
    第一步:执行BEGIN{ commands }语句块中的语句;
    第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{ commands }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕。
    第三步:当读至输入流末尾时,执行END{ commands }语句块
  • e.g. 打印日志中的第2、3列
    awk ‘BEGIN{FS=”@”}{print $2,$3}’ log.file
  • 统计日志中INFO,ERROR出现的总数,以及总记录数


less和more的区别

1、操作
more不可以回去,就是不可以向前,只能向后,况且只能使用Enter和Space向后翻动。
less使用vim中的j,k键盘可以上下翻动,还可以使用上下箭头。
2、速度
less不必读整个文件,加载速度会比more更快。
3、内容
less退出后shell不会留下刚显示的内容,而more退出后会在shell上留下刚显示的内容。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 转载 原文的排版和内容都更加友好,并且详细,我只是在这里贴出了一部分留作自己以后参考和学习,如希望更详细了解AWK...
    XKirk阅读 8,501评论 2 25
  • Linux指令中文说明传送入口 整理自Linux指令中文说明 文本和数据进行处理的编程语言awk 是一种编程语言,...
    释闲人阅读 6,707评论 1 6
  • 第1章 小试牛刀 $ 是普通用户,# 表示管理员用户 root。 shebang:#!。sharp / hash ...
    巴喬書摘阅读 11,572评论 1 4
  • 一. AWK 说明 awk的处理文本和数据的方式:它逐行扫描文件,从第一行到最后一行,寻找匹配的特定模式的行,并...
    西华子阅读 4,502评论 0 4
  • 本章主要学习内容awk介绍 awk基本用法 awk变量 awk格式化 awk操作符 awk条件判断 a...
    楠人帮阅读 5,083评论 0 8

友情链接更多精彩内容