重构人人贷爬虫程序(released)

重构已经完成并发布，在原项目地址，有空之后再写新版本的说明

之前曾经写过一个爬取人人贷交易数据的爬虫，主要用到了urllib2包进行请求，通过re包正则表达式进行提取数据，考虑到需要登陆进行爬取时，urllib2 不如requests 更稳定，同时较为复杂的正则表达式效率较低，准备通过requests包和bs4 进行重构，特开贴记录重构过程中的问题和思考。

原项目地址：View on Github

TODO

  • 重构urllib2 模块
  • 重构re 模块
  • 兼容 Python 2 / 3
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容