shell定时清理过期文件/日志

前言

我从事于一家游戏公司，公司有一台日志服务器，用于临时存储各游戏日志进行以便数据清洗操作。日积月累日志文件耗费大量存储空间，导致磁盘空间不足。以下是我清理过期日志的过程

需求分析

1.有做备份的日志才能清理。那些日志备份做了备份，记录在另外一个备份脚本内。最好是从备份脚本直接读取需要清理的游戏，以免备份日志与清理的日志不一致导致比不必要的问题

2.需求是清理6天前的日志。日志文件是增量写入，可以用文件修改时间筛选6天前的日志。有多个目录的日志需要删除，需要查找指定目录下的过期日志，并用循环进行清理操作

3.开启定时任务执行清理操作，节约人力成本

具体操作

1.读取文件中的变量

同步脚本 rsync_logs.sh ,内容如下需要提取变量log_dirs的值

#!rsync_logs.sh
src="/data/xxx"
log_dirs="aktw mmga nmgf smzx sdfr sgta get asder ersr erar" 
logfile="/home/xxx/scripts/rsync.log"

a.读取文件可以用 cat
b.过滤数据可以用 grep
c.切割出文本内容用 awk

使用cat读取文件，使用grep过滤包含log_dirs的行，使用awk根据 " 切割后取出第二个值。命令如下

cat rsync_logs.sh|grep 'log_dirs='|awk -F '\"' '{print $2}'

结果：

aktw mmga nmgf smzx sdfr sgta get asder ersr erar

2.清理6天前的日志

要清理 /data/logs/aktw/6天前的日志文件

a.遍历目录下的所有文件
b.检查日志文件修改时间
c.删除过期文件

    for file in `find /data/logs/aktw/ -type f -name "*"`   
    do
        local expired_time=$[6*24*60*60]        #此处定义文件的过期时间6天
        local currentDate=`date +%s`            #获取系统时间，所以时间格式为秒
        local modifyDate=$(stat -c %Y $file)    #获取文件修改时间
        local existTime=$[$currentDate-$modifyDate]     #对比时间，算出日志存在时间
        if [ $existTime -gt $expired_time ];
        then
            rm -rf $file    #删除文件
        fi
    done

实际环境要求
a.删除多个目录
b.在清理文件后，一并清理空目录
b.输出日志信息，以便确认/后续观察清理日志操作是否正常。

完善后的脚步如下：

#!clean_logs.sh
cd `dirname $0`     #跳转至当前目录
log_dirs="$(cat rsync_logs.sh|grep 'log_dirs='|awk -F '\"' '{print $2}')"   #读取同步脚本中的游戏配置
data_path="/data/logs/"         #文件根目录
expired_time=$[6*24*60*60]      #此处定义文件的过期时间 6天
function deletefiles {
    #跳过空目录
    if [ ! -d $1 ];
    then
        return
    fi
    #删除过期文件
    for file in `find $1 -type f -name "*"`     #获取目录下的文件，$1 第一个参数
    do
        local currentDate=`date +%s`            #获取系统时间，所以时间格式为秒
        local modifyDate=$(stat -c %Y $file)    #获取文件修改时间
        local existTime=$[$currentDate-$modifyDate]     #对比时间，算出日志存在时间
        if [ $existTime -gt $expired_time ];
        then
            echo "delete file true ,path:"$file",existTime="$existTime
            rm -rf $file    #删除文件
        else
            echo "delete file false,path:"$file",existTime="$existTime
        fi
    done
    #删除空目录
    for file in `find $1 -type d -name "*"`     #获取目录下的目录，$1 第一个参数
    do
        local dircount=`ls -lR $file|grep "^-"|wc -l`   #获取目录下文件个数 0 则是空目录
        if [ $dircount -eq 0 ] && [ -d $file ];
        then
            echo "delete dir  true ,path:"$file",dircount="$dircount
            rm -rf $file    #删除目录
        else
            echo "delete dir  false,path:"$file",dircount="$dircount
        fi
    done
}
#for循环删除多个目录。注意 空格 是linux的转译符之一，因此log_dirs 为集合，非字符串
for dir in $log_dirs
do
    deletefiles $data_path$dir/
done

3.将脚本加入定时任务

使用 crontab -e 编辑定时任务。设置每日02:00:00执行清理脚本，全部日志输出到 /data/scripts/logs/clean_logs.log

0 2 * * * sh /data/scripts/clean_logs.sh >> /data/scripts/logs/clean_logs.log 2>&1;

crontab时间格式：
{minute} {hour} {day-of-month} {month} {day-of-week} {full-path-to-shell-script}
o minute: 区间为 0 – 59
o hour: 区间为0 – 23
o day-of-month: 区间为0 – 31
o month: 区间为1 – 12. 1 是1月. 12是12月.
o Day-of-week: 区间为0 – 7. 周日可以是0或7.

4.确认脚本运行状态

a.先手动执行脚本，完成清理
b.第二天使用 cat /data/scripts/logs/clean_logs.log 查看日志是否有异常

四、相关资料

linux 文件查找 https://www.cnblogs.com/huninglei/p/5824205.html
Linux下统计目录个数、文件个数 https://blog.csdn.net/llq_200/article/details/80506447
crontab 详细用法定时任务 https://www.cnblogs.com/aminxu/p/5993769.html