PHP多进程初探

最近遇到用phpexcel生成excel文件导出,大数据量的时候会遇到PHP内存不足的问题(memory limit)。经测试差不多生成10M左右的excel文件要占用100M左右的内存。解决这个问题准备了三种方案:

  1. 调大php的执行内存限制

  2. 分批导出excel文件,用php开子进程的方式在每个子进程中处理单个excel的生成,在主进程中用zip打包供用户下载

  3. 分批导出excel文件,用php内部调用接口的方式实现,在接口中生成单个excel文件,通过多次调用接口的方式突破内存限制

第一种方案最简单,在代码执行前通过ini_set('limit_memory','1024M')方法来调整内存限制;

第二种方法通过开子进程的方法,只要每个子进程内处理的的单个excel文件不超过内存限制就可以;

第三种方法通过接口实现单个excel的生成,再在主逻辑中调用接口来拼接zip包,循环中调用接口是串行的,所以效率会比较低,不过用curl_multi方法可以实现并行请求,没有实践,预计可行。

主要介绍第二种方法的实现:

  1. 安装php的zip扩展和pnctl扩展

  2. 概念介绍

    官方wiki:https://www.php.net/manual/zh/book.pcntl.php

    多进程

    几个重要函数:

    pcntl_fork — 在当前进程当前位置产生分支(子进程)。译注:fork是创建了一个子进程,父进程和子进程 都从fork的位置开始向下继续执行,不同的是父进程执行过程中,得到的fork返回值为子进程 号,而子进程得到的是0。

    pcntl_wait — 挂起当前进程的执行直到一个子进程退出或接收到一个信号要求中断当前进程或调用一个信号处理函数。

  3. 伪代码:

//每个excel文件处理2000行数据
$maxCount = 2000;
//带条件的查询
$query = XXXX;
//数据总数
$total = $query->count();
//随机的批次号
$batchId = rand(1000,9999).'-'.date('Ymd-His');
Redis::set('offset_'.$batchId,0);
//zip文件名
$zipFileName = "var/export/" .$batchId . ".zip";
//创建zip对象
$zip = new ZipArchive();
$zip->open($zipFileName,ZipArchive::CREATE);
//存储生成的单个excel文件名
$tempFileArray = [];
//用while循环开多进程
while (Redis::get('offset_'.$batchId) < $total){
        //开子进程
        $pids = pcntl_fork();
        if ($pids == -1) {
            //开子进程失败
            die('fork error');
        } else if ($pids) {
            //这里是主进程
            pcntl_wait($status);    //在子进程结束前挂起主进程,防止出现僵尸进程
        } else {
            //这里是子进程.子进程会复制父进程中的变量,但是如果想要修改值是不行的,变量不共享(这里的$maxCount,$batchId);
            //如果想要共享变量可以使用第三方存储,如redis(这里的$offset);
            //获取分页的数据库数据
            $offset = Redis::get('offset_'.$batchId);
            $collection = $query->limit($maxCount)->offset($offset)->all();
            //生成excel文件的逻辑
            .....
            $excelFileName = 'var/export/'.$batchId.'-'.$offset.'-'.($offset+$maxCount).'.excel';
            //添加excel文件到zip包内
            $zip->addFile($excelFileName);
       }
           //添加excel文件名到临时数组(命名规则保持一致,如果在子进程中记录需要把tempFileArray记录到redis中去)
            $tempFileArray[] = 'var/export/'.$batchId.'-'.$offset.'-'.($offset+$maxCount).'.excel';
           //更新Redis中的offset
           $offset += $maxCount;
           Redis::set('offset_'.$batchId,$offset);
       }
  }
  $zip->close();
  //销毁临时文件
  foreach ($tempFileArray as $fileName) {
       unlink($fileName);
  }
  //返回zip包地址
  return $zipFileName;

4. 可能遇到的坑

  • 控制总的进程数,防止内存爆掉

  • for循环内进程是串行执行的,但是为了以防万一的并发问题,如果操作同一个数据表或者文件还是加个队列比较好

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容