本系列文章共十篇：
【爬虫成长之路】（一）爬虫系列文章导读
【爬虫成长之路】（二）各篇需要用到的库和工具
【爬虫成长之路】（三）【大众点评】selenium爬虫
【爬虫成长之路】（四）【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】（五）【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】（六）【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】（七）【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】（八）【大众点评】安卓APP爬虫
本文需要用到的工具：浏览器
F12控制台
本文需要用到的库：selenium、bs4
爬取目标数据：
- 指定城市的店铺列表及其评分数据
- 指定店铺下的用户评论数据
一、需求分析
这一篇总共需要爬取两个页面的数据，分别是：
- 某城市的
店铺列表页面 - 某店铺的
评论列表页面
但在爬取的过程中，我们只要多爬几页，网站就会要求登录，所以我们这里还要处理一个登录的页面，即先完成登录，再去爬取。
二、URL提取
浏览器F12 切换到Network选项卡下，再使用到Doc过滤器，打卡登录页面，刷新一次就可以看到URL链接了，后面Web端的URL也是这样获取，就不在重复了。
- 获取登录URL
# 登录URL
https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F
- 店铺列表URL
# 店铺列表URL
http://www.dianping.com/guangzhou/ch10/p2
- 评论详情URL
# 评论详情URL
http://www.dianping.com/shop/G8Ieq52Y02jBiXP8/review_all/p2
三、分析文档结构，定位元素位置
在模拟请求之前，就可以先分析文档结构，这一步没什么太大的技术含量，方法也多种多样，一般就是用bs4或正则来提取。定位元素时多是依靠元素的属性来定位，如果元素属性太少了，不足以定位元素，可以考虑使用正则。
如果你不了解bs4这个库，可以参考下面链接：
四、编写程序
这里我将测试通过的代码放在下面，基于selenium的爬虫相对来说没那么容易失效，如果文档结构发生了变化，则需要对提取数据部分进行修改，接口则是相对稳定的，往往不那么容易发生变动。
注：
这里需要注意的是，直接使用
selenium是会被识别为爬虫的，哪怕是手动操作也不行。这是因为大众点评用JS做了检测，需要绕过这个检测有两种方法（这里采用的是第一种）：
- 修改浏览器参数
- 拦截并修改JS
# -*- coding: utf-8 -*-
# @Time : 2021/4/20 11:14
# @Author : keep1234quiet
# @FileName: 03.seleniumSpider.py
# @Software: PyCharm
# @Blog : https://www.jianshu.com/u/2fc23add985d
import random
from selenium import webdriver
from time import sleep
from bs4 import BeautifulSoup as BS
options = webdriver.ChromeOptions()
UA = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.128 Safari/537.36'
options.add_argument(f'user-agent={UA}')
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
# 没有配置环境变量的话需要填写Chromedriver的路径：webdriver.Chrome(executable_path="***")
driver = webdriver.Chrome(options=options)
driver.maximize_window()
# 去掉window.navigator.webdriver字段，防止被检测出是使用selenium
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
def login():
"""
登录函数
"""
login_url = 'https://account.dianping.com/login?redir=http%3A%2F%2Fwww.dianping.com%2F'
driver.get(login_url) # 打开登录页面，手动扫码登录
while True:
try:
driver.find_element_by_class_name('login-container') # 还能找到"请登录"
sleep(2)
except:
driver.find_element_by_class_name('countDown') # 登录成功
break
print('登录成功')
def fetch_shoplist(page_num=1):
"""
获取美食分区下的店铺信息
"""
city = 'guangzhou'
food_shop_url = f'http://www.dianping.com/{city}/ch10' # /p1~
shop_info = []
for i in range(1, page_num+1):
driver.get(food_shop_url+f'/p{i}')
soup = BS(driver.page_source, 'lxml')
page_shop = soup.find_all('div', class_='txt')
for shop in page_shop:
shop_info.append({
'shopid': shop.a['data-shopid'],
'name': shop.a.text.strip(),
'score': shop.find('div', class_='nebula_star').text.strip()
})
return shop_info
def fetch_comment(shopid='H7fXoNAkafmesfFG', page=1):
"""
爬取指定店铺下的用户评论
:param shopid: 店铺ID
:param page: 页码
:return: 解析后的评论信息
"""
url = f'http://www.dianping.com/shop/{shopid}/review_all'
if page != 1:
url += f'/p{page}'
driver.get(url)
soup = BS(driver.page_source, 'lxml')
comments = soup.find_all('div', class_='main-review')
comment_list = []
for item in comments: # 遍历所有评论
username = item.find('div', class_='dper-info').text.strip()
items = item.find_all('span', class_='item') # 各项评分
detail_score = []
for _item in items:
detail_score.append(_item.text.strip())
content = item.find('div', class_='review-words').text.strip() # 获取到的评论不全，做了CSS加密
comment_list.append({'username': username, 'item': detail_score, 'content': content})
return comment_list
if __name__ == '__main__':
login()
shop_info = fetch_shoplist()
# print(shop_info)
for _ in shop_info:
print(_)
shopid = shop_info[2]['shopid'] # 这里也可以用for来遍历，但要适当加延时
comment_list = fetch_comment(shopid=shopid, page=1)
# print(comment_list)
for _ in comment_list:
print(_)
driver.quit()
五、程序运行结果
程序运行结果如下，可以和下面的页面对比看下。
仔细查看可以发现，获取到的用户评论是不完整的，这是因为它的字体使用了CSS加密，将文字保存在一张表里面，通过映射关系找到对应的文字，再在web端完整显示出来。
这里而我没有去做字体的解密，因为其他博主已经给了很详细的解密思路了，这里附上几篇参考文章：
- 大众点评反爬虫解析
- 破解点评网字体反爬，深入挖掘系统背后的原理
- 大众点评美食——SVG字体加密解析（一）
- 大众点评美食——字体字典生成（二）
- 老司机教你用Python爬大众点评上期(2019.8.11最新版)
- python破解大众点评的字体加密，经典的字体反爬教程
- 大众点评字体反爬的反爬虫, 可以解密svg图形文字, woff文件自定义字体
六、优缺点分析
| 序号 | 优点 | 缺点 |
|---|---|---|
| 1 | 程序编写简单 | 运行速度慢 |
在爬取的过程中，我们能明显感觉到太慢了，其中有一些不需要用到的请求加载很耗时，以及一些图片和CSS资源等，再加上是图形化界面，所以给人的感觉就是很慢，在数据量不大的情况下还是可以使用这种方法的，毕竟可以快速开发出一个爬虫出来。
那如果提高速度呢？用requests，但是登陆又十分复杂，需要一堆加密参数，所以我们将采用selenium和requests相结合的方式，具体见第四篇文章。
注：
- 如果您不希望我在文章提及您文章的链接，或是对您的服务器造成了损害，请联系我对文章进行修改；
- 本文仅爬取公开数据，不涉及到用户隐私；
