本系列文章共十篇：
【爬虫成长之路】（一）爬虫系列文章导读
【爬虫成长之路】（二）各篇需要用到的库和工具
【爬虫成长之路】（三）【大众点评】selenium爬虫
【爬虫成长之路】（四）【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】（五）【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】（六）【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】（七）【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】（八）【大众点评】安卓APP爬虫
本文需要用到的工具：浏览器
F12控制台
本文需要用到的库：无
爬取目标数据：
- 指定城市的店铺列表及其评分数据
- 指定店铺下的用户评论数据
一、需求分析
这一篇总共需要爬取两个页面的数据，分别是：
- 某城市的
店铺列表页面 - 某店铺的
评论列表页面
二、获取目标页面的URL
这里与前面获取的URL稍有不同，不需要用到登录的URL了，只需要编写能够匹配店铺页面和评论页面的URL即可，如下：
# 这样就能够匹配到点评的全部页面了
// @match http://www.dianping.com/*
三、分析文档结构，使用油猴插件提取数据
这里需要简单的JS语法知识，在前端就可以将要获取的数据提取出来，后端就只进行接收操作就好了。如果不知道如何编写油猴插件的话，可以去学一下怎么写油猴插件，这个会JS的话很快就能上手了。
四、编写程序
这里由于是使用油猴插件，所以操作起来几乎和人在操作一样，服务器后台无法察觉出来，所以只要频率不太快，几乎不会存在反爬的问题，这种方式编写的爬虫能够爬取任何WEB页面，但缺点就是速度比较慢，和selenium一样，都需要浏览器的介入才能完成爬取。
在前端获取到数据后，可以传递到后台进行处理，这里就不提供后端程序的代码了，比较简单，搭建一个简单的服务就好了。
油猴插件代码：
// ==UserScript==
// @name dianping_spider
// @namespace http://tampermonkey.net/
// @version 0.1
// @description 爬取大众点评店铺信息和用户评论
// @author keep1234quiet
// @match http://www.dianping.com/*
// @match http://www.dianping.com/shop/*
// @icon data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==
// @require https://cdn.staticfile.org/jquery/1.10.2/jquery.min.js
// @run-at document-idle
// @grant GM_xmlhttpRequest
// ==/UserScript==
(function() {
'use strict';
console.log("点评爬虫插件启动成功！");
var shop_page = document.getElementsByClassName("txt");
var review_page = $(".review-list-main");
var page,data,score;
if(shop_page.length != 0){ // 判断是否是店铺详情页
console.log("当前页面：店铺列表页");
page = "shop";
var shop_list = [];
for (var i = shop_page.length - 1; i >= 0; i--) {
var shop = shop_page[i];
var shopname = shop.getElementsByTagName("h4")[0].innerText;
score = shop.getElementsByClassName("star_score")[0].innerText;
shop_list.push({'name': shopname, 'score': score});
}
data = {"page": page, "data":shop_list};
console.log(shop_list);
}
else if(review_page){ // 判断是否是评论页
console.log("当前页面：评论页");
page = "comment";
var comment_list = []; // 存放当前页提取的的评论信息
var userlist = $(".reviews-items>ul>li");
for (var i = userlist.length - 1; i >= 0; i--) {
var user = userlist[i];
var username = user.getElementsByClassName("dper-info")[0].innerText;
var item_list = user.getElementsByClassName("score")[0].getElementsByClassName("item");
score = [];
for (var j = item_list.length - 1; j >= 0; j--) {
score.push(item_list[j].innerText);
}
var content = user.getElementsByClassName("review-words")[0].innerText.trim();
comment_list.push({'username':username, 'score': score, 'content': content});
}
data = {"page": page, "data": comment_list};
console.log("comment_list=",comment_list);
}
else{
page = "unkown";
console.log("unkown page");
}
//setInterval(refresh, 1000*30);//30s 刷新一次
function refresh()
{
window.location.reload();
}
var sleep = function(time) {
var startTime = new Date().getTime() + parseInt(time, 10);
while(new Date().getTime() < startTime) {}
};
GM_xmlhttpRequest({
method:'POST',
url:"http://127.0.0.1:8000/index/?name=spider",
data:JSON.stringify(data),
dataType:"json",
headers:{
"Content-Type":"application/json"
},
onload:function(response){
var next_url = response.responseText;
sleep(3000);
//window.location.href = next_url;
//window.location.reload(next_url);
}
});
console.log("刷新成功");
})();
五、程序运行结果
安装好油猴插件，并将代码写入脚本中，浏览器打开店铺列表页面和用户评论页面就会自动爬取了，如果要做批量爬取，需要自己再修改下程序。
以下是程序运行结果：
油猴插件获取到的店铺数据
油猴插件获取到的评论数据
六、优缺点分析
| 序号 | 优点 | 缺点 |
|---|---|---|
| 1 | 程序编写简单 | 运行速度慢 |
| 2 | 几乎没有反爬问题，不用构造参数 | - |
注：
- 如果您不希望我在文章提及您文章的链接，或是对您的服务器造成了损害，请联系我对文章进行修改；
- 本文仅爬取公开数据，不涉及到用户隐私；
