[译]使用nginxScript格式化输出Nginx访问日志

Getting Started with the NGINX JavaScript Module – A Real‑World Example

正文

我们可以使用nginxScript实现一个模块,并将其编译到开源Nginx中,或动态加载到Nginx或者Nginx Plus中。有关使用NGINX和NGINX Plus开启nginScript的说明,请参见本文末尾。

在此示例中,我们使用NGINX或NGINX Plus作为简单的反向代理,并使用nginScript以专门的格式构造访问日志条目,即:

  • 包括客户端发送的request header
  • 包括后端返回的response header
  • 使用键值对存储访问日志,以高效注入日志处理工具,例如ELK Stack(现在称为Elastic Stack),Graylog和Splunk。

Nginx配置如下:

########### header_logging.conf
js_include conf.d/header_logging.js;             # Load JavaScript code from here
js_set     $access_log_with_headers kvAccessLog; # Fill variable from JS function
log_format kvpairs $access_log_with_headers;     # Define special log format

server {
    listen 80;
    access_log /var/log/nginx/access_headers.log kvpairs;
    location / {
        proxy_pass http://www.example.com;
    }
}
view raw

如您所见,nginScript代码不与配置语法内联。 我们使用js_include指令来指定包含所有JavaScript代码的文件。 js_set指令定义了一个新的NGINX变量$ access_log_with_headers,以及填充它的JavaScript函数。 log_format指令定义了一个名为kvpairs的新格式,它使用$access_log_with_headers的值写入每个日志行。

服务器块定义了一个简单的HTTP反向代理,它将所有请求转发到http://www.example.comaccess_log指令指定将使用kvpairs格式记录所有请求。

现在让我们看一下处理并输出日志行的JavaScript代码。 我们有两个功能:

  • kvHeaders:一个用于将headers对象转换为一串键值对的支持函数。 该函数必须在调用它们的函数之前声明。
  • kvAccessLog: 在NGINX配置中的js_set指令中定义的函数。 它接收两个对象参数,表示客户端请求(req)和后端服务器的响应(res)。 像这样的内置对象可以传递给所有HTTP nginScript函数。
// header_logging.js
function kvHeaders(headers, parent) {
    var kvpairs = "";
    for (var h in headers) {
        kvpairs += " " + parent + "." + h + "=";
        if ( headers[h].indexOf(" ") == -1 ) {
        kvpairs += headers[h];
        } else {
            kvpairs += "'" + headers[h] + "'";
        }
    }
    return kvpairs;
}

function kvAccessLog(req, res) {
    var log = req.variables.time_iso8601;  // nginScript can access all variables
    log += " client=" + req.remoteAddress; // Property of request object
    log += " method=" + req.method;        // "
    log += " uri=" + req.uri;              // "
    log += " status=" + res.status;        // Property of response object
    log += kvHeaders(req.headers, "req");  // Send request headers object to function
    log += kvHeaders(res.headers, "res");  // Send response headers object to function
    return log;
}

kvAccessLog函数中可以看出,它是传递给js_set配置指令的返回值。 请记住,NGINX变量是按需评估的,这反过来意味着, 只有在需要变量值时才会执行js_set定义的JavaScript函数。 在此示例中, $access_log_with_headerslog_format指令中使用,因此kvAccessLog()在日志作业阶段执行。在早期的处理阶段,变量作为map和rewrite指令的一部分触发相关javaScript代码执行。

通过我们的反向代理传递请求并观察生成的日志文件条目,我们可以看到这个nginScript优化的日志处理结果。

$ curl http://127.0.0.1/
$ tail --lines=1 /var/log/nginx/access_headers.log
2017-03-14T14:36:53+00:00 client=127.0.0.1 method=GET uri=/ status=200 req.Host=127.0.0.1 req.User-Agent=curl/7.47.0 req.Accept=*/* res.Cache-Control=max-age=604800 res.Etag=x22359670651+identx22 res.Expires='Tue, 21 Mar 2017 14:36:53 GMT' res.Last-Modified='Fri, 09 Aug 2013 23:54:35 GMT' res.Vary=Accept-Encoding res.X-Cache=HIT

nginScript的大部分功能都是它访问NGINX内部的结果。 此示例使用请求和响应对象的多个属性。 用于TCP和UDP应用程序的Stream nginScript模块使用具有相应属性的单个会话对象。 有关nginScript解决方案的其他示例,请参阅我们的博客:

原文链接

翻译自Introduction to the NGINX JavaScript Module的Getting Started with the NGINX JavaScript Module – A Real‑World Example部分


本文作者: seawish
本文链接: 使用Nginx JavaScript格式化输出访问日志
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,657评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,889评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,057评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,509评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,562评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,443评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,251评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,129评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,561评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,779评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,902评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,621评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,220评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,838评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,971评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,025评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,843评论 2 354

推荐阅读更多精彩内容