kibana可视化分析nginx日志

简介

将日志存入elasticsearch后就可以使用kibana直观的分析nginx日志。这篇文章主要是记录配置kibana分析nginx日志。

解析日志

虽然在我前面的文章中将nginx日志成功存入elaticsearch了，但是并不方便分析。这篇文章中重新调整logstash的filter配置，对日志做更多格式化处理之后再存入elasticsearch。下面是调整之后的配置

[root@informixtest logstash-8.6.2]# cat config/logstash-test2.conf 
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

filter {
   grok {
     match => { "message" => "%{IPORHOST:clientip} - - \[%{HTTPDATE:htptime}\] \"%{DATA:htpmethod}( (?<htpurl>.*?)(\?(?<htppara>.*?))? HTTP/%{NUMBER:htpver})?\" %{NUMBER:htpstatus} %{NUMBER:htpbytes} \"%{DATA:htpref}\" \"%{DATA:htpagent}\"" }
     remove_field => ["message"]
   }

   date {
     match => ["htptime","dd/MMM/yyyy:HH:mm:ss Z"]
     remove_field => ["htptime"]
   }

   mutate {
     convert => {
        "htpstatus" => "integer"
        "htpbytes" => "integer"
     }
   }

   kv {
     source => "htppara"
     target => "htppara"
         field_split => "&"
   }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "test"
    user => "elastic"
    password => "xxx"
  }
}

解释：

上面grok将请求中参数字段分割出来放到htppara，grok表达式(\?(?<htppara>.*?))?的第一个\?表示匹配url中的字符?（url中一般使用?分割参数，?在正则中表示匹配0或1次，这里使用\进行转义），最后那个?是为了匹配没有参数的url的请求；为了对于异常http请求提供支持，这里将httpmethod后面的全部括起来后加?。
date模块将htptime转为日期格式，转换前htptime是字符串，转换后默认放入timestamp。
mutate模块将htpstatus,htpbytes转为整数。
kv模块将htppara转为键值对，如可以通过htppara.token引用参数token字段。
为了kibana正确显示时间，需要调整kibana的时区:

timezone_set.png

如果需要删除日志重新导入，需要清空filebeat的读取记录:

[root@oneNginx1 filebeat]# pwd
/var/lib/filebeat/registry/filebeat
[root@oneNginx1 filebeat]# > log.json
[root@oneNginx1 filebeat]# systemctl restart filebeat