1.通过curl进行网页抓取
curl：基于url的函数库，使用相关的函数模拟协议请求，支持多种协议、认证（可在phpinfo查看）。
（1）.最基本的整个网页爬取：
$a = curl_init();//初始化
curl_setopt($a, CURLOPT_URL, 'https://www.aliyun.com/');//指定url
curl_setopt($a, CURLOPT_RETURNTRANSFER, 1);//设定请求后返回结果
curl_setopt($a, CURLOPT_HEADER, 1);//获取header头信息
//中间这块设置可有可无，按照实际需求来设，事实上，参数还有很多，可在http://php.net/manual/zh/function.curl-setopt.php上查看
curl_setopt($a, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_NONE);//让curl自己判断使用哪个http版本（默认值，可以不设）
curl_setopt($a, CURLOPT_SSL_VERIFYPEER, 0);//忽略证书（请求https时会默认报错，因为https需要证书认证，如果本地没有，就会报错，把这个认证关掉就可以爬取了，也可以下个证书）
curl_setopt($a, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($a, CURLOPT_TIMEOUT, 10);//连接超10秒断开
/*如果要发送POST数据，需要加上以下语句：
curl_setopt($a, CURLOPT_POST, 1);//声明使用POST方式发送
curl_setopt($a, CURLOPT_POSTFIELDS, $data);//发送数据$data，其中$data为数组形式的键值对数据
*/
$output = curl_exec($a);//发送请求
curl_close($a);//关闭curl
print_r($output);//返回数据
/*
如果var_dump($output);返回的是false
那么可以var_dump(curl_error($a));来查看具体是什么错误
*/
（2）.自定义get方法抓取网页，即抓取指定网页的部分html代码，例如抓取百度新闻里的热点新闻：
首先去百度新闻网页，按f12查看源代码信息，得知其热点新闻连接在<div class="hotnews" alog-group="focustop-hotnews"></div>里。
这样我们就可以先用curl爬取整页的代码，再写个正则来分离出想要的区间，最后输出：
function get($url){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
$output = curl_exec($ch);
curl_close($ch);
return $output;
}
$connect = get('http://news.baidu.com');
preg_match('/<div class="hotnews" alog-group="focustop-hotnews">(.*?)<\/div>/mis', $connect, $match);
$area = $match[1];
print_r($area);
2.通过file_get_contents()爬取网页内容
$fh = file_get_contents('http://www.baidu.com');
print_r($fh);
/*****
如果使用https协议时报SSL的错，有可能是服务器未正确配置好https证书，解决办法：
1.下载证书http://curl.haxx.se/ca/cacert.pem，然后php.ini 配置openssl.cafile = “/etc/ssl/certs/cacert.pem//你实际下载证书的路径”
2.跳过https验证
$stream_opts = [
"ssl" => [
"verify_peer"=>false,
"verify_peer_name"=>false,
]
];
$fh= file_get_contents('https://www.aliyun.com/', false, stream_context_create($stream_opts));
echo $fh;
*****/
3.通过fsockopen爬取网页内容
$url= 'www.baidu.com';
$fp=fsockopen($url,80,$errno,$errstr,5);
if(!$fp){
echo "$errstr ($errno)<br>\n";
}else{
fputs($fp,"GET / HTTP/1.1\nHost:".$url."\n\n");
while(!feof($fp)){
echo fgets($fp,128);
}
fclose($fp);
}
/*
暂时还不知道如何跳过https验证，还是下个证书吧
*/
4.通过file()函数
$url='http://www.baidu.com';
$lines_array=file($url);//fiel函数读取内容数组
$lines_string=implode('',$lines_array); //拆分数组为字符串
echo $lines_string;
5.通过fopen()->fread()->fclose()模式
//定义url
$url='http://www.baidu.com';
$handle=fopen($url,"rb"); //fopen以二进制方式打开
$lines_string="";
do{ //循环读取数据
$data=fread($handle,1024);
if(strlen($data)==0) {
break;
}
$lines_string.=$data;
}while(true);
fclose($handle);//关闭fopen句柄，释放资源
echo $lines_string;
用PHP做爬虫挺方便的（还有各种框架和插件如snoopy），一般开发都可以用curl来进行爬取，毕竟curl还是挺强大的。但是，PHP作为单线程的语言，其实是不太适合做爬虫开发的，要是有的url打不开，就会卡死了。
