发简信
IP属地：北京
-
高德地图、淘宝、阿里滑动验证码终极破解
在抓取阿里系页面时，访问频率过多会出现如下所示滑动验证码。发现使用selenium定位到元素拖动不起作用，于是使用暴力法，手动滑动验证码并记录鼠...
-
爬虫ip访问频繁，要求服务器端滑动验证解决方案做了一个分布式的爬虫爬取知乎用户信息，将一个slave端放在了阿里云服务器上，爬了一个小时后提示“ip访问频繁，请进行验证用于确认这些请求不是自...
-
分布式爬虫爬取知乎用户—存储篇
数据爬下来了，需要存储起来，之前用过mysql，感觉关系型数据库不太适用于爬虫，所以这次选用nosql数据库 mongodb。 存入步骤 1. ...
-
分布式爬虫爬取知乎用户—代理ip池篇
如果报requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.zh...
-
分布式爬虫爬取知乎用户—redis篇
使用redis作为缓存存储爬取下来的关注用户列表，使用redis set集合还有一个好处是可以自动去重。 我打算用五个集合，分别是waiting...
-
分布式爬虫爬取知乎用户—页面分析篇使用python3爬取知乎用户信息并分析 参考了：呓语 » 如何写一个简单的分布式知乎爬虫？打算自己做一个python3的分布式爬虫 想要抓取数...
-
修改微信小游戏跳一跳分数python3 代码 import requests import json import time from Crypto.Cipherimp...