Amazon采集问题解决记录

输入搜索页,批量提取Amazon的宝贝图片。此问题用了我5天的时间才找到解决办法。

之前只要Cookie+随机UserAgent就可以搞定,基本不会校验。2019年11月以来,这种方式已经失效。

软件中我采用了内置Chrome浏览器来获取Cookie,然后在程序中通过framework4.0的httpwebrequest获取内容。现象是内置Chrome浏览器能够正常打开页面,但是用程序请求的就会出现要求输入验证码的界面,而这并不是每次都出现,大概率的情况是:最初是正常的,访问多次后就出验证码。

我的目标是当软件请求出现验证码时让内置的浏览器也弹出验证码输入框,用户验证通过后继续下载。但当我请求到了验证码后,再弹出内置的Chrome浏览器却一直正常,多少次都不行。

于是开始进行了研究,令我没想到的是这一研究就是5天,每天从早上一直到晚上12点,简直要崩溃... 最终变换思路,问题得到了解决。

以下介绍了我的思考和实验和解决的过程:

还有 81% 的精彩内容
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
支付 ¥2000.00 继续阅读

相关阅读更多精彩内容

  • 前端开发面试题 面试题目: 根据你的等级和职位的变化,入门级到专家级,广度和深度都会有所增加。 题目类型: 理论知...
    怡宝丶阅读 2,717评论 0 7
  • 诞总的金句,第一次看很震撼。魔术师在嘘声中向自己脱帽致敬。 帽子里什么都没掏出来, 魔术师没在意观众嘘声, 感到欣...
    也好啊阅读 499评论 0 6
  • 那是一个阴云密布的早晨,我被召唤似的起了个早,瘫坐在电脑前,一遍又一遍的刷着游戏,排解心里的失落。 大约八点钟的时...
    小城蜉蝣阅读 367评论 0 2
  • 现在很多女孩对爱情都是无感的状态,可有可无,有的甚至觉得没有男朋友,自己过得也很好。但是年龄在那,不可能一辈子不嫁...
    骆驼白杨阅读 444评论 0 0
  • 很喜欢简书里看到的一句话,“我想,爱思考的男人运气应该不会太差!” 其实很早就产生了想要阅读这类书...
    和尚不讲理阅读 755评论 0 1

友情链接更多精彩内容