早就知道PHP可以做爬虫,但是一直没做过,旁边的py小哥天天爬的不易乐乎,就想写个简单的爬虫玩玩,单线程的速度确实是慢,运行了大概两个小时,才爬到了4500张图片,这个效率感人

<?php

class Cow{
    public $url = 'http://xxxxx.com'; //就是举个例子,这个要爬的网站就不提供了
    public $img = '/<img src="(.*?jpg)"/';
    public $href = '/(\/arc\/.*?)"/';
    public $boxes = [];

    public function run($url){
        ini_set('memory_limit', '2048M'); //设置使用内存
        set_time_limit(0); //脚本超时时间设置为0
        $url = rtrim($url,'/'); //清洗url
        $content = file_get_contents($url); //获取url内容
        $nname = './xxx/'.strrchr($url,'/').'.txt';
        file_put_contents($nname,$content);

        $fp = fopen($nname, "r") or die("Unable to open file!");
        do{
            $line = fgets($fp); //循环一行一行的读取
              //根据正则匹配需要的字符串 ,保存图片
            if(preg_match($this->img,$line,$matchs)){
                $url = str_replace('https','http',$matchs[1]);
                $img = file_get_contents($url);
                file_put_contents('./npyimg/'.$this->str_random(5).'.jpg',$img);
                echo $url.PHP_EOL;
            }
             //如果匹配到下一页的字符串, 启用递归
            if(preg_match($this->href,$line,$matchs)){
                $url = $this->url.$matchs[1];
                if(!in_array($url,$this->boxes)){
                    echo $url.PHP_EOL;
                    $this->boxes[] = $url;
                    $this->run($url);
                }
            }
        }while(!feof($fp));

        echo 'the end'.PHP_EOL;
    }

//生成随机数
    private function str_random($len){
        $len = $len/2;
        $bytes = random_bytes($len);
        return bin2hex($bytes);
    }
}
$cow = new Cow();
$cow->run($cow->url);
?>