week11总结:
1.给代理池增加了一个很简单的验证代理地址有效性的功能,把地址一个一个读出来,失效的删掉,然后删的只剩下两条了……结论:免费代理真不靠谱
2.利用代理地址对一个网站进行了爬取,整体设计是取出代理,失效的话更换地址,有效的话进行爬取,数据存储到mongoDB,每爬取一页换一个代理地址。
3.犯了一个很经典的错误:
刚开始except里只是调用了函数本身,没有return,这样就造成try可以正常返回值,但是一旦进入except,再调用函数本身得到的返回值后没有接收,因此得到的返回值是None。
week12任务:
学习手机app的爬取