爬虫必备

ide

pycharm，有自动提示功能，安装比较简单，先安装python，再安装pycharm就ok。

爬虫依赖库

  • beautifulsoup 处理抓下来的数据
  • urllib、urllib2、requests 网络请求
  • xpath 可用来在 XML 文档中对元素和属性进行遍历

安装命令

sudo pip install BeautifulSoup4
sudo pip install requests
sudo pip install lxml

持续更新中

参考

http://www.jianshu.com/p/d99f6fd8b209

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容