php自动备份数据库数据到文件的实现

场景：往往在项目中，用户操作日志，用户测试日志，系统访问日志会随着时间的推移而导致数据表变的越来越重，但是用户又不想彻底删除这些日志，应该怎么做？
一个比较好的方案就是：当日志表数据量达到某个值时，应该把老的数据备份到日志文件中，并且将这些数据从数据库中删除。这样如果用户想要查询更早的记录，去按时间点查询相应的日志文件即可！

如何实现

用脚本的方式，每天0时后去检测数据量是否超标，如果超标，则将最早的数据备份到相应的日志文件，并且将多余的数据从数据库中删除。
具体流程如下：

自动备份流程

将启动脚本加入到开机启动任务中，每次开机运行该脚本
首次启动脚本休眠60s，原因是因为服务器刚启动，mysql服务可能还没启动，操作数据库会出错或者脚本死掉，导致不能正常运作。
设置时间开关。该开关用来检测当天是否已经检测过是否要备份数据了。
根据当前时间和时间开关检测当天是否已经检测过是否要备份数据。
如果已经备份过了，则休眠一个小时后再继续检测。
如果当天未检测过备份，则执行检测备份。备份流程如下：
如果数据量大于限定值，则将最早的数据备份写入到文件，并且将大于限定值的数据删除。
执行完上面的步骤休眠一小时，继续检测...

源码实现

<?php

namespace Server\Controller;
use Think\Controller;

/**
 * 本程序基于tp3.2.3
 * 异步计划执行任务。
 * 该任务需要检测是否开启自动同步，并且设置了自动同步时间（通常是多久执行一次）
 * 应用场景： 用户操作日志  用户测试日志 系统访问日志出现大量日志，会导致数据查询变慢，但是用户又不想删除这些日志的情况下
 */
class PlanController extends Controller {
    function _initialize(){
        // 如果非cli模式，则不能运行
        if (!IS_CLI) {
            die();
        }
        // 关闭错误提示，如果需要，请手动打开 
        // 避免开机启动中，终端报莫名的错误。调试的时候可以打开
        ini_set('display_errors', 'off');
    }

    /**
     * 执行备份
     * @param $table_name   要备份的数据表
     * @param $number       限定的条数，默认超过1万条数据后备份
     */
    private function backup($table_name,$number=10000){
        $count=M($table_name)->count("id");
        if ($count>$number) {
            // 查询所有大于限定值的记录
            $data=M($table_name)->order("id DESC")->limit("$number,$count")->select();
            // 备份文件名称，按日期比较好查询
            $file_name=date("Y-m-d").".txt";
            // 存储备份数据日志位置
            $file_path="./Public/Uploads/backup/".$table_name;
            
            // 创建目录
            createPath($file_path);
            // windows环境下，下面授权可以注释掉
            chmod($file_path,0777);

            // 创建文件 备份的数据将以json格式保存，方便再次使用/提取
            $file = fopen($file_path."/".$file_name, "a");
            if (!$file) {
                fclose($file);
                return false;
            }
            fwrite($file, "[");
            $del_number=$count-$number-1;
            // 一条记录一行，写入文件，并且从数据库中将备份过的数据删除
            foreach ($data as $key => $row) {
                // 存储到文件
                if ($del_number<=$key) {
                    $json_str=json_encode($row);
                }
                else{
                    $json_str=json_encode($row).",";
                }
                fwrite($file, $json_str);
                // 删除记录
                $dmap=array();
                $dmap['id']=$row['id'];
                M($table_name)->where($dmap)->delete();
            }
            fwrite($file, "]");
            fclose($file);
            // windows环境可以注释
            chmod($file_path."/".$file_name,0777);
        }
        return true;
    }
    /**
     * 脚本入口
     * 
     */
    public function run()
    {

        sleep(60);
        // 定义每天更新的计划任务标量，设置标量为昨天。这样当天重启也会执行一次，解决了当天重启不生效的问题。
        $date_key= date("Ymd",strtotime("-1 day"));
        //时间开关 
        $day_mark       =   $date_key;
        while (true) {
            // 当天时间开关
            $now_mark=date("Ymd");
            // 检测当天是否已经执行过备份检测
            if ($now_mark != $day_mark) {
                // 未执行过，则去执行备份
                $ret=$this->backup("log");
                // 备份成功，则将时间开关设置为当天
                if ($ret) {
                    $day_mark=$now_mark;
                }
            }
            sleep(3600);
        }
    }
}

文档结束！

更精彩的内容

不懂可以加qq群: 536633782，这里有热情的小伙伴可以帮你解答开发中所遇到的困难！

也可以加qq: 1186969412

官网：http://uminicmf.com/

php在线面试题集：http://cainiaophp.com/
php面试讨论群：536633782