京东用户评论图片的抓取

以小度音箱为例:

1、该商品评价的页面:

     https://item.m.jd.com/product/7344084.html#summary

2、异步接口:      https://wq.jd.com/commodity/comment/getcommentlistsorttype=5&sceneval=2&sku=7344084&page=4&pagesize=10&score=4&t=0.3348243901823582

score参数的含义:

score=0 表示全部评论

score=1 表示差评

score=2 表示中评

score=3 表示好评

score=4 表示有图片的评论

异步接口的数据实例:(异步接口的数据是str类型)

为了更好的解析接口数据,可以把字符串转为json数据,可以参考https://blog.csdn.net/lluozh2015/article/details/75092877。

转json之前需要对str做一个预处理:json_data.replace("commentCB(","").replace("})","}")

3、从json数据中提取图片URL信息

从json数据中解析出来的imgUrl是缩图url。

缩图url:http://img30.360buyimg.com/shaidan/s128x96_jfs/t26095/208/148804966/77909/81d91e02/5b678c36N2eb541be.jpg

把url中的“s128x96_”去掉即为原图url:http://img30.360buyimg.com/shaidan/jfs/t26095/208/148804966/77909/81d91e02/5b678c36N2eb541be.jpg

4,得到图片url后通过urllib.urlretrieve即可下载图片:

      抓取的图片如下所示:

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1、通过CocoaPods安装项目名称项目信息 AFNetworking网络请求组件 FMDB本地数据库组件 SD...
    阳明AI阅读 16,032评论 3 119
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,269评论 19 139
  • 1.ios高性能编程 (1).内层 最小的内层平均值和峰值(2).耗电量 高效的算法和数据结构(3).初始化时...
    欧辰_OSR阅读 29,784评论 8 265
  • 我们都知道,由于linux的稳定性,通常被作为服务器系统,要想称为一个PHP的高手,linux是必修之课。那么li...
    dagailv阅读 226评论 0 0
  • 之前在知乎上有个问题“怎么看待平时不关心孩子学习,一到期末考完试就开始问孩子成绩的家长?”,一票的老师在下面吐槽各...
    喵个咪呀阅读 327评论 0 1