2017/1/2 22:21:40

京东商品评论爬虫

针对京东不同的商品的评价进行爬虫然后再分析

实例：魅族手机魅族Pro6 Plus###

抓包地址:

    https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv266&productId=3681471&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0

分析：

    请求方式：GET
    请求参数：

    callback:fetchJSON_comment98vv266
    productId:3681471
    score:0
    sortType:5
    page:0
    pageSize:10
    isShadowSku:0

关键词

    callback：测试发现可以取消
    productId：对应具体商品
    ...
    其余参数测试可以发现都一样

返回数据类型：

JSON

请求：

    data={
    'productId':'3742076',
    'score':'0',
    'sortType':'5',
    'page':'0',
    'pageSize':'10',
    'isShadowSku':'0'
    }

    url='https://club.jd.com/comment/productPageComments.action'

    reponse=requests.get(url,data)
    print(reponse.text)

返回数据如下：

    JSON 太长    

下面只需要获取商品id：productId 就可以在京东上获取需要的商品的评论了~

    一抬头：可以看见地址栏如下：此处为京东小米5s
    https://item.jd.com/3742076.html

    这里就有我们需要的productId

就是这么简单！~