Python爬虫开发

一、爬虫基础

二、基础库的使用

  1. urllib库
  2. requests库

三、网页解析方式

  1. 正则表达式:re模块
  2. xpath语法和lxml库
  3. BeautifulSoup4用法

四、数据库的使用

  1. Mysql数据库
  2. MongoDB数据库
  3.Redis数据库

五、爬虫进阶

  1. 多线程与多进程
  2. Ajax数据爬取原理
  3. Ajax数据爬取实战--以拉勾网为例
  4. 验证码的识别

六、Python爬虫框架

  1. pyspider框架
  2. scrapy框架

七、分布式爬虫

  1. scrapy-redis框架

八、其他

  1. Linux基础
  2. Python基础
  3. 数据结构和算法基础
  4. JavaScript基础
  5. 数据分析与机器学习

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。