Ingress-nginx日志切割与轮循方案

因为公司使用了nginx的ingress方案，其日志切割和轮循也需要跟上。

一，基础镜像
由于我们已解决了权限的问题，所以不需要initContainer来更改权限。日志切割和轮循，基于镜像：hub.c.163.com/combk8s/logrotate:v1.1
从history看，这个镜像也只是在alpine之上，安装了bash,logrotate软件，然后，拷贝并启动了start.sh文件。

二， Dockerfile
为了不与k8s绑死，我们不使用configmap作配置文件，而是使用使用环境变量生成nginx.log配置。
Dockerfile

FROM hub.c.163.com/combk8s/logrotate:v1.1

COPY nginx.log /etc/logrotate.d/nginx.log
COPY start.sh /start.sh

nginx.log模板

/var/log/nginx/*.log {
    PEROID
    create 0644 root root
    rotate ROTATENUM
    missingok
    copytruncate
    notifempty
    COMPRESS
    dateext
    dateformat -%Y-%m-%d-%s
    noolddir
}

start.sh重写

#!/bin/sh


if [ -z "$CRON_EXPR" ]; then
  CRON_EXPR="0 3 * * *"
  echo "CRON_EXPR environment variable is not set. Set to default: $CRON_EXPR"
else
  echo "CRON_EXPR environment variable set to $CRON_EXPR"
fi

if [ -z "$PEROID" ]; then
  PEROID=daily
else
  echo "PEROID environment variable set to $PEROID"
fi

if [ -z "$ROTATE_NUM" ]; then
  ROTATE_NUM=2
else
  echo "ROTATE_NUM environment variable set to $ROTATE_NUM"
fi
if [ -z "$COMPRESS" ]; then
  COMPRESS=compress
else
  echo "ROTATE_NUM environment variable set to $ROTATE_NUM"
fi

sed -i "s/PEROID/$PEROID/g" /etc/logrotate.d/nginx.log
sed -i "s/ROTATENUM/$ROTATE_NUM/g" /etc/logrotate.d/nginx.log
sed -i "s/COMPRESS/$COMPRESS/g" /etc/logrotate.d/nginx.log

echo "$CRON_EXPR        /usr/sbin/logrotate -v /etc/logrotate.conf" >> /etc/crontabs/root

(crond -f) & CRONPID=$!
trap "kill $CRONPID; wait $CRONPID" SIGINT SIGTERM
wait $CRONPID

脚本使用传入的环境变量，替换掉nginx.log模板文件中的对应变量。没有环境变量时，也提供必要默认值。
暂时计划是每天凌晨产生备份，只保存最近两个备份。

三， Yaml集成
在ingress应用的yaml文件里，植入一个新的container即可。

        - name: cl
          image: 'harbor/3rd_part/logrotate:v1.3'
          imagePullPolicy: IfNotPresent
          env:
            - name: CRON_EXPR
              value: "0 */2 * * *"
          volumeMounts:
            - name: logdata
              mountPath: /var/log/nginx

四，验证
kubectl logs -f pod可以看到crontab输出

五， logrotate和crontab联动细节想像
start.sh中写入/etc/crontabs/root文件中的数据：
0 */2 * * * /usr/sbin/logrotate -v /etc/logrotate.conf
表示logrotae命令每2小时执行一次，它会将nginx.log配置中的周期(daily)写入/etc/periodic/daily/logrotate文件(如果设置了size,会无视 daily, weekly,monthly 指令，所以size的优先级比较高。)。
/etc/periodic/daily/logrotate中的动态生成的内容如下：

#!/bin/sh

if [ -f /etc/conf.d/logrotate ]; then
        . /etc/conf.d/logrotate
fi

if [ -x /usr/bin/cpulimit ] && [ -n "$CPULIMIT" ]; then
        _cpulimit="/usr/bin/cpulimit --limit=$CPULIMIT"
fi

$_cpulimit /usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0

此文件会被/etc/crontabs/root中的如下行触发：
0 2 * * * run-parts /etc/periodic/daily
于是，这时就会在每天凌晨2点，生成日志切割和归档文件。
神奇~

六，Logrotate参数
compress/nocompress---gzip压缩/不压缩
copytruncate/nocopytruncate---用于还在打开中的日志，把当前日志备份并截断/备份但是不截断
create mode ower group/nocreate---指定文件模式创建新的日志文件/不创建新的日志文件
delaycompress/nodelaycompress ---和compress一起，日志到下一次转存是压缩/转存同时压缩
ifempty/notifempty ---空文件也转存，默认/空文件不转存
mail address / nomail--- 日志发送到指定的mail地址
olddir directory/noolddir--- 转存后日后i文件放入指定目录，必须和当前日志文件同一个文件系统
prerotate/endscript--- 在执行转存之前需执行的命令，关键字必须单独占行
postroutate/endscript ---在执行转存之后需执行的命令，关键字必须单独占行
daily ---周期每天
weekly ---周期每周
monthly ---周期每月
rotate count ---转存次数，0表示不备份，5表示保留5个备份
size size ---当指定文件达到指定大小时才转存
tabootext[+] list ---不转存指定的扩展名，默认扩展名含.rpm-oring
error address ---错误信息发送到指定的mail地址
missingok ---如果日志文件丢失，进入到下一个不发出错误消息
sharedscripts ---可以写多个日志文件，同时执行一个脚本，搭配脚本关键字
include ---包含文件
dateext ---为日志打上日期标签

七，参考URL

https://my.oschina.net/u/4605142/blog/4521708
https://www.jb51.net/article/183828.htm