输入搜索页,批量提取Amazon的宝贝图片。此问题用了我5天的时间才找到解决办法。
之前只要Cookie+随机UserAgent就可以搞定,基本不会校验。2019年11月以来,这种方式已经失效。
软件中我采用了内置Chrome浏览器来获取Cookie,然后在程序中通过framework4.0的httpwebrequest获取内容。现象是内置Chrome浏览器能够正常打开页面,但是用程序请求的就会出现要求输入验证码的界面,而这并不是每次都出现,大概率的情况是:最初是正常的,访问多次后就出验证码。
我的目标是当软件请求出现验证码时让内置的浏览器也弹出验证码输入框,用户验证通过后继续下载。但当我请求到了验证码后,再弹出内置的Chrome浏览器却一直正常,多少次都不行。
于是开始进行了研究,令我没想到的是这一研究就是5天,每天从早上一直到晚上12点,简直要崩溃... 最终变换思路,问题得到了解决。
以下介绍了我的思考和实验和解决的过程: