复习PHP基础(网页抓取)

1.通过curl进行网页抓取

curl:基于url的函数库,使用相关的函数模拟协议请求,支持多种协议、认证(可在phpinfo查看)。
(1).最基本的整个网页爬取:

$a = curl_init();//初始化
curl_setopt($a, CURLOPT_URL, 'https://www.aliyun.com/');//指定url
curl_setopt($a, CURLOPT_RETURNTRANSFER, 1);//设定请求后返回结果
curl_setopt($a, CURLOPT_HEADER, 1);//获取header头信息

//中间这块设置可有可无,按照实际需求来设,事实上,参数还有很多,可在http://php.net/manual/zh/function.curl-setopt.php上查看
curl_setopt($a, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_NONE);//让curl自己判断使用哪个http版本(默认值,可以不设)
curl_setopt($a, CURLOPT_SSL_VERIFYPEER, 0);//忽略证书(请求https时会默认报错,因为https需要证书认证,如果本地没有,就会报错,把这个认证关掉就可以爬取了,也可以下个证书)
curl_setopt($a, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($a, CURLOPT_TIMEOUT, 10);//连接超10秒断开
/*如果要发送POST数据,需要加上以下语句:
curl_setopt($a, CURLOPT_POST, 1);//声明使用POST方式发送
curl_setopt($a, CURLOPT_POSTFIELDS, $data);//发送数据$data,其中$data为数组形式的键值对数据
*/

$output = curl_exec($a);//发送请求
curl_close($a);//关闭curl
print_r($output);//返回数据

/*
如果var_dump($output);返回的是false
那么可以var_dump(curl_error($a));来查看具体是什么错误
*/

(2).自定义get方法抓取网页,即抓取指定网页的部分html代码,例如抓取百度新闻里的热点新闻:
首先去百度新闻网页,按f12查看源代码信息,得知其热点新闻连接在<div class="hotnews" alog-group="focustop-hotnews"></div>里。



这样我们就可以先用curl爬取整页的代码,再写个正则来分离出想要的区间,最后输出:

function get($url){
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_TIMEOUT, 10);
    $output = curl_exec($ch);
    curl_close($ch);
    return $output;
}
$connect = get('http://news.baidu.com');
preg_match('/<div class="hotnews" alog-group="focustop-hotnews">(.*?)<\/div>/mis', $connect, $match);
$area = $match[1];
print_r($area);

2.通过file_get_contents()爬取网页内容

$fh = file_get_contents('http://www.baidu.com');
print_r($fh);
/*****
如果使用https协议时报SSL的错,有可能是服务器未正确配置好https证书,解决办法:
1.下载证书http://curl.haxx.se/ca/cacert.pem,然后php.ini 配置openssl.cafile = “/etc/ssl/certs/cacert.pem//你实际下载证书的路径”
2.跳过https验证
$stream_opts = [
    "ssl" => [
        "verify_peer"=>false,
        "verify_peer_name"=>false,
    ]
];
$fh= file_get_contents('https://www.aliyun.com/', false, stream_context_create($stream_opts));
echo $fh;
*****/

3.通过fsockopen爬取网页内容

$url= 'www.baidu.com';
$fp=fsockopen($url,80,$errno,$errstr,5);
if(!$fp){
    echo "$errstr ($errno)<br>\n";
}else{
    fputs($fp,"GET / HTTP/1.1\nHost:".$url."\n\n");
    while(!feof($fp)){
        echo fgets($fp,128);
    }
    fclose($fp);
}
/*
暂时还不知道如何跳过https验证,还是下个证书吧
*/

4.通过file()函数

$url='http://www.baidu.com'; 
$lines_array=file($url);//fiel函数读取内容数组
$lines_string=implode('',$lines_array); //拆分数组为字符串 
echo $lines_string;

5.通过fopen()->fread()->fclose()模式

//定义url
$url='http://www.baidu.com';
$handle=fopen($url,"rb"); //fopen以二进制方式打开  
$lines_string="";
do{    //循环读取数据
    $data=fread($handle,1024);    
    if(strlen($data)==0) {
        break;   
    }    
$lines_string.=$data;
}while(true);
fclose($handle);//关闭fopen句柄,释放资源
echo $lines_string;

用PHP做爬虫挺方便的(还有各种框架和插件如snoopy),一般开发都可以用curl来进行爬取,毕竟curl还是挺强大的。但是,PHP作为单线程的语言,其实是不太适合做爬虫开发的,要是有的url打不开,就会卡死了。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容