适用于淘宝、天猫及天猫超市的评论爬取代码
实验环境：Python 3.8
# 引入相关库
import time
import random
import requests
import re
import json
1.获取评论url与伪装头构造
-
于浏览器中打开商品界面，并按F12（快捷键适用于Edge/Firefox浏览器）打开开发者工具，在顶边栏中选中“网络”，如下图所示；
开发者工具界面(Edge) - 再于商品界面中浏览至评论区，并浏览若干页(>1页)评论；
- 在开发者工具中找到文件名称形如'list_detail_rate.htm?itemId=*****'的项目，选中其后，在右侧的“标头”/“消息头”栏目即可见“请求URL”/“GET”为评论的url，形如“https://rate.tmall.com/list_detail_rate.htm?itemId=xxx&****¤tPage=1&***&callback=jsonp351”（如下图所示，上为Firefox界面，下为Edge界面），经观察可知，通过更改currentPage的参数即可实现评论URL的翻页更新
评论URL获取(Edge)
评论URL获取(Firefox)
- 再于右侧滚动到“响应头”即可见用于伪装头构造的Cookie/User-Agent/Referer，如下图所示，上为Firefox界面，下为Edge界面（一般来说，对于同一台设备User-Agent和Referer是固定的，Cookie是定期更新的
Headers构造信息获取(Edge)
Headers构造信息获取(Firefox)
headers = {
'referer': 'https://detail.tmall.com/item.htm?spm=a230r.1.14.15.6bb3416elrsUM7&id=634163567735&ns=1&abbucket=11',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36 Edg/101.0.1210.39',
'cookie':'lid=xxx; cna=xx; enc=xx%3D%3D; sgcookie=xx%xx%xx%xx%xx%xx%3D%3D; uc3=lg2=xx%3D%3D&id2=xx%2BQ%3D%3D&nk2=CMMdPUQ%3D&vt3=F8dCvCl4XAmvoGlsZMw%3D; t=xxx; tracknick=xxxx; uc4=id4=0%40U2%xx%xx&nk4=0%40CqaJkRj1y%xx%3D%3D; lgc=xxxx; _tb_token_=336b160b8bee8; cookie2=1055aa4caa483bd3613760ebad472bc5; xlly_s=1; _m_h5_tk=xx; _m_h5_tk_enc=xx; csa=0_0_0.0; sm4=xxx; l=eBEIduFgLHeo-xxxx..; tfstk=xxx-xx-eiySDq8E3rDOD8sVrW3qqG3-Z4VAc.; isg=xxx-p-xx'
2. 评论爬取
经过上述的分析，得到评论的url之后，可使用requests.get()方法获得url的响应，即我们所需要的评论信息，具体响应的内容（字典形式）可以经开发者工具中的“响应”栏获悉，如下图所示
评论URL响应内容
pat = re.compile('"rateContent":"(.*?)","fromMall"')
comments=[]
for i in range(5): # 以爬取前5页评论为例
i = i + 1
print("Reading the " + str(i) + "-th page...")
first = 'https://rate.tmall.com/list_detail_rate.htm?itemId=***¤tPage='
last = '&***&callback=jsonp711'
url = first + str(i) + last
# 避免网站反爬的随机延时机制
time.sleep(random.randint(3, 8))
data = requests.get(url, headers=headers).text
data = data.split("onp711(")[1][:-1] # 于str中提取字典，根据响应的不同更改。这里图方便就直接用split方法了，正则表达式提取可以分享在评论区
dicts = json.loads(data)
try:
# 字典的键因不同的淘系平台而异，请自行于开发者工具中查阅响应
comment = dicts['rateDetail']['rateList']
# comment = dicts['comments']
except KeyError:
print('Keyerror raised!')
print('dicts:', dicts)
comment = []
break
else:
pass
comments.extend(comment)
print("Comments in page {} are collected".format(i))
3. 存储所爬取评论
以txt文档为例，
fb = open("comments_from_Tmall.txt", 'a',encoding='utf-8')
fb.write('date, VipLevel, sku, dayAfterConfirm, content, addedComment')
for comment in comments:
keys = comment.keys()
# 具体在字典中的键名取决于不同的淘系平台
date, content, sku, dayAfterConfirm, VipLevel = comment['rateDate'], comment['rateContent'], comment['auctionSku'], '', comment['userVipLevel']
# 追评在字典中的键名取决于不同的淘系平台
if comment['appendComment'] is None:
# if comment['append'] is None:
addedComment = ''
else:
addedComment = comment['appendComment']['content']
fb.write('\n'+str(date)+', '+str(VipLevel)+', '+str(sku)+', '+str(dayAfterConfirm)+', '+str(content)+', '+str(addedComment))
print("Comments saved!")
fb.close()
响应中的内容涵盖了评价日期、评价图片（链接）、评价内容、所购sku、确认收货后评价的间隔天数、买家昵称、买家VIP等级、追评内容等，可按需定制提取内容。
4. 声明
以上教程仅用于技术交流，请勿用于商用和恶意竞争。
