#  phpspider爬虫的方案标签（空格分隔）： phpspider爬虫---> 一、首先是先写一个demo来看看它的大概流程吧，以虎嗅网来说    $configs = array(        'log_show' => true,        'name' => '虎嗅网',        'domains' => array(            "www.huxiu.com",            "huxiu.com"        ),        // 同时工作的爬虫任务数        'tasknum' => 8,        // 采集失败后尝试的次数        'max_try' => 5,        //随机伪造IP，用于破解防采集        'client_ip' => array(            '192.168.0.2',            '192.168.0.3',            '192.168.0.4',        ),        // 导出的数据格式        'export' => array(            'type' => 'db',            'table' => 'pchuxiu',        ),    //    'export' => array(    //        'type' => 'csv',    //        'file' => PATH_DATA.'/Pchuxiu.csv',    //    ),      //这是爬虫入口，但这里是没有任何作用的，后面的回调方法不会经过这个网址        'scan_urls' => array(            "https://www.huxiu.com/"        ),        //这是爬取的内容页，后面的fileds获取的内容都是通过这个内容页去获取的        'content_url_regexes' => array(            "https://www.huxiu.com/article/\d+.html"        ),        //列表页，列出存在的列表页，在后面的回调on_list_page方法中给爬虫添加待爬页面，由于是做个案列，这里其实没有什么用，因为后面的on_scan_page直接爬取所有article页面，因为发现了这个网站的所有内容页统一为https://www.huxiu.com/article/209179.html的这种数字结尾.html的形式，所以爬取很简单，直接先查看最新页面的article的最大数，记录上次爬取的最大数，再用现在的最大数减去上次的最大数就是需要更新的页数了        'list_url_regexes' => array(          "https://www.huxiu.com/channel/\d+.html",            "https://www.huxiu.com/collection/\d+.html",            "https://www.huxiu.com/channel/ajaxGetMore\?huxiu_hash_code=e23fe833e4b323e9a011f4b1d91fe379&page=\d+&catId=21"        ),        //这个就是fields定义一个抽取项, 一个fields可以定义下面这些东西，name就是给变量起名，selector定义抽取规则, 默认使用xpath如果使用其他类型的, 需要指定selector_type目前可用xpath, jsonpath, regex默认xpath，required定义该field的值是否必须, 默认false，赋值为true的话, 如果该field没有抽取到内容, 该field对应的整条数据都将被丢弃，repeated定义该field抽取到的内容是否是有多项, 默认false赋值为true的话, 无论该field是否真的是有多项, 抽取到的结果都是数组结构        'fields' => array(            array(                // 抽取内容页的文章標題                'name' => "article_title",                'selector' => "div.article-wrap > h1",                'selector_type' => "css",                'required' => true            ),            array(                // 抽取内容页的文章头图                'name' => "article_img",                'selector' => "//div[contains(@class,'article-img-box')]/img",                'required' => true            ),            array(                // 抽取内容页的文章發佈時間                'name' => "article_time",                'selector' => "//span[contains(@class,'article-time pull-left')]/text()",                'required' => true            ),            array(                // 抽取内容页的文章作者                'name' => "article_author",                'selector' => "//div[contains(@class,'article-author')]//span/a/text()",                'required' => true            ),            array(                // 抽取内容页的文章内容                'name' => "article_content",                    'selector' => ".article-content-wrap > p",                'selector_type' => "css",                'required' => true            ),            ),        );    $spider = new phpspider($configs);    $spider->on_start = function($phpspider)    {        //設置代理ip，防反爬虫        $ips = array(            "192.168.0.2",            "192.168.0.3",            "192.168.0.4"        );        requests::set_client_ip($ips);        };    $spider->on_scan_page = function($page, $content, $phpspider)    {    //这是最丧心病狂的做法，直接列出可能存在的article的页数，当然在网页中就可以根据点击最新的链接    去查看最大值，然后for循环一次，记录上次爬取的次数就能保证新爬取的数据基本不重复且正确        for($i = 180000; $i <=209123; $i++){            $url = "https://www.huxiu.com/article/{$i}.html";            $phpspider->add_url($url);        }    };    $spider->on_extract_field = function($fieldname, $data)    {            if ($fieldname == 'article_content')        {            $text =null;            foreach ($data as $value)            {                $text.=$value;            }            $data = $text;        }        echo "

";        return $data;    };    $spider->start();以此案列爬取到之后，就会看到cmd里面启动爬虫并且收集到的数据显示