使用Fiddler抓取京东商品评论数据

因为京东网页上的商品评论是动态加载的,导致爬虫很难获取到数据。就改用了抓包的方式。因为我本身是做android开发的,所以使用京东app和fiddler进行接口的抓取,最后模拟post参数,进行数据的获取。

具体如何使用fiddler和手机app进行联调抓包我就不说啦,网上有很多教程。

第一步,在京东app中打开你感兴趣的商品评论界面


京东app,商品评论界面

第二步,在fiddler中找到相应的记录


fiddler抓取记录之header

可以看到请求的域名是:api.m.jd.com,

接口是:/client.action

get部分的参数是functionId=getCommentListWithCard&clientVersion=7.0.2&build=58743&client=android&d_brand=HUAWEI&d_model=HUAWEIMLA-AL10&osVersion=4.4.2&screen=800*480&partner=tencent&androidId=e0db55a803f15319&installtionId=5c5dcdaf35134d438ca81220d8dcad7b&sdkVersion=19&lang=zh_CN&uuid=863064010224212-E0DB55A803F1&area=11_891_893_16535&networkType=wifi&wifiBssid=2a90969fc326a92c0b7c799a9a83e6f0&st=1526610721104&sign=116094e4176d92af6e3619d06f6d838a&sv=111

post的部分的参数要打开TextView标签才能看到,是body=%7B%22tagType%22%3A%22%22%2C%22category%22%3A%22670%3B671%3B672%22%2C%22num%22%3A%2210%22%2C%22pictureCommentType%22%3A%22A%22%2C%22isFirstRequest%22%3Atrue%2C%22isCurrentSku%22%3Afalse%2C%22shadowMainSku%22%3A%220%22%2C%22type%22%3A%220%22%2C%22sku%22%3A%225225346%22%2C%22offset%22%3A%221%22%2C%22tagId%22%3A%22%22%7D&

很明显这里使用的url编码,我们使用站长工具解码下这里的数据,可以得到

body={"tagType":"","category":"670;671;672","num":"10","pictureCommentType":"A","isFirstRequest":true,"isCurrentSku":false,"shadowMainSku":"0","type":"0","sku":"5225346","offset":"1","tagId":""}&


fiddler抓取记录之post参数

第三步,使用postman模拟参数,获取接口数据

使用post方法,header复制到header模块,get参数直接拼在url后面即可,post参数复制到body模块。这样就可以拿到数据啦!


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,029评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,395评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,570评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,535评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,650评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,850评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,006评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,747评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,207评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,536评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,683评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,342评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,964评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,772评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,004评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,401评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,566评论 2 349

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,633评论 18 139
  • 前言fiddler是一个很好的抓包工具,默认是抓http请求的,对于pc上的https请求,会提示网页不安全,这时...
    胖子爱猪蹄阅读 12,364评论 4 22
  • 一.什么是fiddler? Fiddler是一款常用的http协议的抓包工具,它的原理是在本机开启一个http的代...
    小时候可牛逼了阅读 5,461评论 3 4
  • 都说眼睛是心灵的窗户 ,而母亲的眼睛就是一道最美的风景。 她的眼睛就像是潺潺流淌的溪水,不是大海那么波涛汹涌却比大...
    李梦吟阅读 225评论 0 0
  • 不能从众亦不能削去 每一个月你就悄悄地生长一公分 印记我的年龄 印记我的情丝 顺便捎带着我的情绪 为了过年而落地的...
    夏虫的晚风疏阅读 372评论 1 8