4篇文章 · 1669字 · 1人关注
-
分布式爬虫爬取知乎用户—存储篇
数据爬下来了，需要存储起来，之前用过mysql，感觉关系型数据库不太适用于爬虫，所以这次选用nosql数据库 mongodb。 存入步骤 1. ...
-
分布式爬虫爬取知乎用户—代理ip池篇
如果报requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.zh...
-
分布式爬虫爬取知乎用户—redis篇
使用redis作为缓存存储爬取下来的关注用户列表，使用redis set集合还有一个好处是可以自动去重。 我打算用五个集合，分别是waiting...
-
分布式爬虫爬取知乎用户—页面分析篇使用python3爬取知乎用户信息并分析 参考了：呓语 » 如何写一个简单的分布式知乎爬虫？打算自己做一个python3的分布式爬虫 想要抓取数...
文集作者
