import this.
前言
学习 Python,基本语法,常用数据处理库
Python 2.7 教程 - 廖雪峰,学基础看这个完全就够了。
或者看他讲的视频,Python 入门 - 廖雪峰。
了解网页的基本结构、组成 HTML+CSS+JS 三剑客
类比于一个人,HTML 就是骨架、CSS 是衣服、JS 是这个人的一系列动作,比如打自己一巴掌。
了解爬虫工作原理,涉及文件下载,数据解析,以及数据存储
网页下载,HTTP 协议详解,一个非常好用的 Python 库,Requests for Humans
数据解析,深入浅出之正则表达式(一),regex 可视化工具
超越正则表达式,XPath是什么鬼。
数据存储,Python 自带轻量级数据库SQLite。
了解各种坑,模拟登陆,JS 加载、点击动作,请求次数限制
详解抓取网站,模拟登陆,抓取动态网页的原理和实现(Python,C#等)
超级武器,上手 Scrapy 框架
非常好用的大而全功能完备的Scrapy 框架
这里有之前版本的中文翻译,Scrapy 0.25 文档。
一栈式解决方案,直接上浏览器 webkit 解决 JS 动态加载问题
网页动态刷新,什么是AJAX?
两个无图形化的浏览器内核爬虫,spynner,Ghost.py
究极武器,直接使用第三方服务:PQL,Kimono
能够直接把网页变成 API 的Kimono。
像 SQL 查询语句一样调用网站服务的YQL,雅虎出品。
```