废话少说

很庆幸暑假入了python的坑，也很庆幸选择学习爬虫，因为用python真的可以用很少的代码完成很多有趣的事情，爬虫便是其中之一。断断续续学爬虫有几个月了，现在我早已不满足于最开始单进程，单IP，爬豆瓣，糗事百科这种纯静态请求的页面，爬取这种动态请求数据的其实更有意思。因为我自己感觉做爬虫有俩个地方很爽，一个就是成功分析出了目标网站请求数据的策略，另一个地方就是成功爬到数据的时候，看着数据一条条刷刷刷的保存到本地的时候是真的爽。
学习爬虫，一定要尝试爬一爬电商平台的数据，一定要尝试逐步提高自己的爬取数据量，要不你还以为所有的网站那么容易爬呢！今天，我就来爬一爬速卖通（阿里的跨境电商平台）的用户评论。

正文

环境准备

python 环境
request库 用于发送http/https请求，接收响应
BeautifulSoup库 用于解析网页
上述环境只是因为博主习惯了而已，不是爬虫最核心的东西，搞清楚数据是怎么请求的，可以选用不同的语言和库去实现。

分析评论数据请求策略

分析请求就是看看我们目标数据是从哪个http请求请求过来的。在速卖通我们随便打开一个产品页，如下图

image.png

image.png

image.png

可以发现，现在已经有了160多个请求，所以在点击feedback之前一定要先clear掉现在所有的请求，否则你一点feedback，会出现更多请求，就不好判断是哪个请求请求得到了评论数据
clear掉之后，点击feedback,会看到你在点了feedback之后出现的请求，所以评论数据的请求地址一定在这些请求当中

image.png

image.png

image.png

image.png

image.png

requests.get(url,headers=headers) 带header请求发送get请求

可以发现，我们已经正确取到了评论数据，正常人这个时候应该感觉更爽才对。
既然评论的请求地址搞清楚了，那么接下来考虑的是增大数据量爬取，看看会不会遇到什么问题，因为评论有很多页，所以我们很自然的想到可以考虑按页数爬取全部的数据，但是就在我打算写代码的时候，我才突然发现我不知道怎么写!为什么，因为我突然发现刚才这个请求里没有任何有关页数的信息！
不过，没关系，这个办法很好解决，因为页面上是有分页按钮的，所以我们点击第二页，看看第二页数据是怎么请求来的
还是按照之前的办法，先clear掉之前的请求，然后点击第二页，观察有哪些新的请求出现，这个过程和之前类似，我们很快就找到这个第二页数据的请求地址

image.png

image.png

requests.post(url,headers=headers,data=data) 可以带请求头和数据发出请求

可以发现，成功获取到了数据，至此，我找到了数据请求地址，但是接下来还有一个最复杂的问题。
我随便换一个产品ID，甚至让它为空，会发现请求到的数据还是原来的数据，如下图

image.png

我们继续观察post的数据

image.png

数据立刻就请求不到了！！！
搞了这么多，如果不能正确获取token,前边的分析都意义不大，总不能每次换一个产品，就手动去浏览器里手动复制token吧。
那么这个token是怎么来的呢？
经过我一天的摸索（这个我真心没什么技巧，有的是服务器端生成的，有的是通过js执行脚本生成的)，我终于发现了端倪。
还记不记得我们第一次尝试，即第一页的评论是通过GET请求得到的，其实那个页面除了请求第一页评论外，还拿到了这个token值，如图

image.png

结论

所以最终请求策略就是
先根据productid,ownerMemberid,companyId构造一个url，如下

url1=https://feedback.aliexpress.com/display/productEvaluation.htm?productId=32466567934&ownerMemberId=223275770&companyId=232994171&memberType=seller&startValidDate=&i18n=true

向这个url发送get请求，取到token值，同时保存cookie
然后带着这个cookie，以及token和其它数据向

url2=https://feedback.aliexpress.com/display/productEvaluation.htm

post数据，就ok了

 基于python requests库的 伪代码
  session=requests.Session() #用session是为了保存cookie
  res=session.get(url1,header=header)
  # 获取token
  token=get_token(res)
  data={
    ...
    '_csrf_token':token
  }
  comment=session.post(url2,headers=headers,data=data)
  # 解析评论数据
  data_list=parseComment(comment)
  # 保存评论数据
  store_data(data_list)

最后

到此，我们基本已经搞清楚了速卖通评论的请求策略，在下一篇文章中，我们开始采用代理IP以及多线程来编写最终代码。