Nginx访问日志

标签(空格分隔): nginx

日志对于统计排错来说非常有利的。nginx的log日志分为access log 和 error log.nginx。其中access log 记录了哪些用户,哪些页面以及用户浏览器、ip和其他的访问信息。error log 则是记录服务器错误日志。

日志相关的配置有 access_log、error_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、error_log

1 access_log

#语法 
access_log  path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];
access_log  off;

#默认值 
access_log logs/access.log combined;

#上下文
http, server, location, if in location, limit_except

access_log 设定日志的路径、格式、buffer大小,是否压缩等。同一作用于内可以指定多个日志。在第一个路径前面加上 "syslog:" 前缀可以把日志输出到 syslog。关键字 off 可以关闭当前作用于的日志功能。如果没有指定format参数,默认为 “combined” 格式。如果 buffer 或 gzip 参数被指定,日志将会被缓冲。

若gzip被启用,缓冲数据被写入前会被压缩。压缩等级在 1~9之间,等级越高压缩率越高,压缩速度越慢。默认 buffer 是 64 bytes,压缩等级是1.由于压缩是按原子大小的,数据可以通过 zcat 岁时解压。要使用gzip,nginx必须安装zlib模块。
ps:

access_log /path/to/log.gz combined gzip flush=5m;

日志文件的 path 可以包含变量 (0.7.6+), 但此时日志文件有以下限制:

  1. Nginx进程设置的用户和组必须有对该路径创建文件的权限
  2. 缓存将不会被使用
  3. 对于每一条日志记录,日志文件都将先打开文件,再写入日志记录,然后马上关闭。为了提高包含变量的日志文件存放路径的性能,须要使用open_log_file_cache指令设置经常被使用的日志文件描述符缓存。
  4. 在写日志的时候会检查请求的根目录是否存在,若不存在则不会记录。因此最好在同一作用域内指定 root 和 access_log.
    ps :
server {
    root       /spool/vhost/data/$host;
    access_log /spool/vhost/logs/$host;
    ...

2 log_format

2.1 语法

#语法 
log_format name [escape=default|json] string ...;

#默认值    
log_format combined "...";

#上下文
http

日志格式允许包含的变量注释如下:

$remote_addr, $http_x_forwarded_for 记录客户端IP地址
$remote_user 记录客户端用户名称
$request 记录请求的URL和HTTP协议
$status 记录请求状态
$body_bytes_sent 发送给客户端的字节数,不包括响应头的大小; 该变量与Apache模块mod_log_config里的“%B”参数兼容。
$bytes_sent 发送给客户端的总字节数。
$connection 连接的序列号。
$connection_requests 当前通过一个连接获得的请求数量。
$msec 日志写入时间。单位为秒,精度是毫秒。
$pipe 如果请求是通过HTTP流水线(pipelined)发送,pipe值为“p”,否则为“.”。
$http_referer 记录从哪个页面链接访问过来的
$http_user_agent 记录客户端浏览器相关信息
$request_length 请求的长度(包括请求行,请求头和请求正文)。
$request_time 请求处理时间,单位为秒,精度毫秒; 从读入客户端的第一个字节开始,直到把最后一个字符发送给客户端后进行日志写入为止。
$time_iso8601 ISO8601标准格式下的本地时间。
$time_local 通用日志格式下的本地时间。
$sent_http_content_range  这是一个传递到客户端的头,这类头的前缀为"sent_http_" 。
$upstream_http_  这是有upstream模块产生了日志,因此它的前缀将会是这个前缀。 

2.2 预定义格式

2.2.1 combined log_format

log_format  combined   '$remote_addr - $remote_user  [$time_local]  '
                       ' "$request"  $status  $body_bytes_sent  '
                       ' "$http_referer"  "$http_user_agent" ';

2.2.2 main log_format

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '"$status" $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for" '
                  '"$gzip_ratio" $request_time $bytes_sent $request_length';
                                  

2.2.3 proxy log_format

如果nginx位于负载均衡器,squid,nginx反向代理之后,web服务器无法直接获取到客户端真实的IP地址了。 $remote_addr获取反向代理的IP地址。反向代理服务器在转发请求的http头信息中,可以增加X-Forwarded-For信息,用来记录 客户端IP地址和客户端请求的服务器地址。

log_format  porxy   '$http_x_forwarded_for - $remote_user  [$time_local]  '
                    ' "$request"  $status $body_bytes_sent '
                    ' "$http_referer"  "$http_user_agent" ';

3 open_log_file_cache 指令

这个指令为频繁使用的日志文件描述符所在的路径变量设置缓存。
对于 path 含有变量的 log , 定义 一个 cache 来 缓存 经常使用的 log 文件描述符。

#语法
open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time] | off

#默认值
open_log_file_cache off

#上下文
http server location

指令选项:
·max - 缓存中存储的最大文件描述符数。
·inactive - 设置缓存中在某个时间段内没有使用的文件描述符将被移除,默认为10秒。
·min_uses - 在一定时间内(inactive指定),一个文件描述符最少使用多少次后被放入缓存,默认为1。
·valid - 设置检查同名文件存在的时间,默认是60秒。
·off - 关闭 cache

ps:

open_log_file_cache max=1000 inactive=20s min_uses=2 valid=1m;

4 日志切割

通过如下方式达到日志切割:

# vi logcron.sh
log_dir="/usr/local/nginx/log/"
date_dir=`date +%Y%m%d`
/bin/mkdir -p ${log_dir}/${date_dir} > /dev/null 2>&1
/bin/mv ${log_dir}/access.log ${log_dir}/${date_dir}/access.log
kill -USR1 `cat /usr/local/nginx/run/nginx.pid`
定义一个cron,在每天晚上23:59:50执行这个脚本,后面的事情就交给awstats了。

5 Ref

Module ngx_http_log_module

Nginx 日志文件 access_log 详解

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容

  • 1.简介:  Nginx:engine X ,2002年,开源,商业版 http协议:web服务器(类似于ht...
    尛尛大尹阅读 1,858评论 0 3
  • 上一篇《WEB请求处理一:浏览器请求发起处理》,我们讲述了浏览器端请求发起过程,通过DNS域名解析服务器IP,并建...
    七寸知架构阅读 80,921评论 21 356
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,594评论 18 139
  • Nginx简介 解决基于进程模型产生的C10K问题,请求时即使无状态连接如web服务都无法达到并发响应量级一万的现...
    魏镇坪阅读 1,985评论 0 9
  • I/O模型Nginx介绍Nginx的安装和目录结构Nginx的配置Nginx的编译安装 一、I/O模型 (一)I/...
    哈喽别样阅读 889评论 0 4