python学习—week12

week11总结:

1.给代理池增加了一个很简单的验证代理地址有效性的功能,把地址一个一个读出来,失效的删掉,然后删的只剩下两条了……结论:免费代理真不靠谱

2.利用代理地址对一个网站进行了爬取,整体设计是取出代理,失效的话更换地址,有效的话进行爬取,数据存储到mongoDB,每爬取一页换一个代理地址。

3.犯了一个很经典的错误:

刚开始except里只是调用了函数本身,没有return,这样就造成try可以正常返回值,但是一旦进入except,再调用函数本身得到的返回值后没有接收,因此得到的返回值是None。

week12任务:

学习手机app的爬取

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容