关于数据导出超时的问题

实际工作中,我们经常导出报表的需求,当导出数据量过大的时候,经常会遇到超时和内存溢出的问题。

关于数据导出超时的问题

解决方案一

超时可用: set_time_limit(0) 解决。
内存溢出可用: ini_set('memory_limit', '自定义内存')。

解决方案二

优化程序,利用数据库或文件来缓存中间结果。

解决方案三

利用Ajax分多次请求,写入文件,下载文件,效果如上图。

(方案三)为大家提供一个Demo

  • 设计思路

1.我们将其拆成100次请求,请求成功,进度条前进1%。
2.每次请求都需要写入文件,然后对文件进行追加写入。
3.当文件写入完毕后,显示下载按钮 ,点击下载即可。

  • 功能点

    1. 两种进度条样式。
    2. Jquery Ajax。
    3. 数据写入CSV。
    4. 下载文件。
  • 页面样式:Bootstrap。

  • 代码如下:

<?php
    /**
     * 导出CSV文件
     * @param array  $data               数据
     * @param array  $header_data 首行数据
     * @param string $file_name      文件名称
     * @param int      $type               类别
     * @return string
     */
    function _export_csv($data = [], $header_data = [], $file_name = '', $type = 0)
    {
        $fp = fopen($file_name, 'a+');
        if (($type != 1) && !empty($header_data)) {
            foreach ($header_data as $key => $value) {
                $header_data[$key] = iconv('utf-8', 'gbk', $value);
            }
            fputcsv($fp, $header_data);
        }
        $num = 0;
        //每隔$limit行,刷新一下输出buffer,不要太大,也不要太小
        $limit = 100000;
        //逐行取出数据,不浪费内存
        $count = count($data);
        if ($count > 0) {
            for ($i = 0; $i < $count; $i++) {
                $num++;
                //刷新一下输出buffer,防止由于数据过多造成问题
                if ($limit == $num) {
                    ob_flush();
                    flush();
                    $num = 0;
                }
                $row = $data[$i];
                foreach ($row as $key => $value) {
                    $row[$key] = iconv('utf-8', 'gbk', $value);
                }
                fputcsv($fp, $row);
            }
        }
        fclose($fp);
    }

    /**
     * 下载文件
     * @param string $file_url 文件地址
     * @return string
     */
    function _download_file ($file_url = '')
    {
        if (!isset($file_url) || trim($file_url)=='') {
            die('File URL is empty.');
        }
        if (!file_exists($file_url)) {
            die('File does not exist.');
        }
        $file_name = 'down_'.date('YmdHis', time());
        $file_type = fopen($file_url,'r'); //打开文件
        //输入文件标签
        header("Content-type: application/octet-stream");
        header("Accept-Ranges: bytes");
        header("Accept-Length: ".filesize($file_url));
        header("Content-Disposition: attachment; filename=".$file_name);
        //输出文件内容
        echo fread($file_type, filesize($file_url));
        fclose($file_type);
    }

    //以后是逻辑代码,大家可以根据自己的需求进行编写。
        $path = '文件的绝对地址'; //path 是存放文件的绝对地址。
    if (isset($_POST['start'])) {
          //每一个单独的请求,要保证文件名是唯一的,因为后面要继续进行追加。
              $file_name = 'demo.csv';
        //获取数据,根据自己的业务逻辑,去数据库获取数据。
        $data        = [];
        $header_data = ['执行时间', '随机数']; //首行数据,表头
        //模拟数据如下:
        for ($i=0; $i<=100; $i++) {
            $data[$i]['time'] = date('Y-m-d H:i:s', time());
            $data[$i]['num']  = mt_rand(1000,9999);
        }
        $type = ($_POST['start'] != '0') ? 1 : 0 ;
        //开始将数据写入到文件中
        _export_csv($data, $header_data, $path.$file_name, $type);
        //假设第100次 写入完毕,那么就可以进行下载文件啦。
        //可以先获取需要导出的总量,然后根据实际情况进行拆分数据,每次获取成功,进度条会显示进度。
        if ($_POST['start'] == 100) {
            die(json_encode(['code' => 'ok', 'file_path' => '/index.php?op=down&f='.$file_name]));
        } else {
            die(json_encode(['code' => 'no']));
        }
    }

    //简单的导出逻辑,可根据实际情况,进行开发。
    if (($_GET['op'] == 'down') && !empty($_GET['f'])) {
            _download_file($path.$_GET['f']);
            exit;
    }
?>
<!DOCTYPE html>
<html lang="zh-CN">
    <head>
      <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <meta name="description" content="Demo">
        <meta name="keywords" content="">
        <!-- 新 Bootstrap 核心 CSS 文件 -->
        <link rel="stylesheet" href="//cdn.bootcss.com/bootstrap/3.3.5/css/bootstrap.min.css">
        <!-- jQuery -->
        <script src="//cdn.bootcss.com/jquery/1.11.3/jquery.min.js"></script>
        <!-- Title -->
        <title>Demo</title>
    </head>
    <body>
        <div class="container">
            <div class="row">
                <div class="col-lg-12" style="margin-top:20px">
                    <a id="export_file" href="javascript:void(0);" class="btn btn-primary btn-lg active" role="button">导出CSV文件</a>
                    <a id="download_file" style="display:none;" href="javascript:void(0);" class="btn btn-default btn-lg active" role="button">下载文件</a>
                </div>
            </div>

            <div id="process_one" class="row" style="display:none">
                <div class="col-lg-12" style="margin-top:20px">
                    <div class="progress">
                      <div id="progress-bar-one" class="progress-bar progress-bar-striped active" role="progressbar" aria-valuemin="0" aria-valuemax="100" style="width: 0%">
                      </div>
                    </div>
                </div>
            </div>

            <div id="process_two" class="row" style="display:none">
                <div class="col-lg-12" style="margin-top:20px">
                    <div class="progress">
                      <div id="progress-bar-two" class="progress-bar" role="progressbar" aria-valuemin="0" aria-valuemax="100" style="width: 0%;">
                        60%
                      </div>
                    </div>
                </div>
            </div>
        </div>
    <script>
        $(document).ready(function () {
            //导出CSV文件
            $("#export_file").click(function(){
                _get_data(0);
            });

            //获取数据的方法
            function _get_data(start)
            {
                $.ajax({
                                type: "POST",
                        url : 'index.php',
                        data: {
                            'start' : start
                        },
                        async: true,
                        dataType: "json",
                        beforeSend: function () {
                            $("#download_file").css('display', 'none');
                            $("#process_one").show();
                            $("#process_two").show();
                            },
                        success: function (result) {
                            if (result.code == 'ok') {
                                $("#download_file").show();
                                $("#download_file").attr("href", result.file_path);
                                $("#process_one").css('display', 'none');
                                $("#process_two").css('display', 'none');
                            } else {
                                start ++;
                                _get_data(start);
                                $("#progress-bar-one").css("width", start+'%');
                                $("#progress-bar-two").css("width", start+'%');
                                $("#progress-bar-two").html(start+'%');
                            }
                        },
                        error: function() {
                            alert("Server Error~");
                        }
                    });
            }
        });
    </script>
    </body>
</html>

温馨提示:
Demo 仅供参考,具体开发,请根据需求,严谨处理。


Thanks ~

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,496评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,407评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,632评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,180评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,198评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,165评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,052评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,910评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,324评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,542评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,711评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,424评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,017评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,668评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,823评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,722评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,611评论 2 353

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,651评论 18 139
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 172,077评论 25 707
  • `1.class 和 id 的使用场景?class为类选择器,可以用于标识同一类的多个元素,而id只能用于标识某个...
    datagirl阅读 504评论 0 0
  • 思敏_c5b9阅读 116评论 0 0
  • 一觉醒来离C城已经有了近千公里的距离,阳光透过火车的车窗照在人的身上,格外的热烈而刺目。对一座城的留恋,可能因为那...
    小_Yi阅读 278评论 0 0