前言
最近在搞一些植物信息数据的爬取，开始接触到爬虫这种神奇的东西，这里就简单介绍下我是怎么爬取百度百科的吧
语言用的是python，没有使用现成的python爬虫库，比如：pyspider、scrapy，只使用了BeautifulSoup和requests库，所以算是土枪土炮搞出来的爬虫啦
正文
【1】爬虫世界的页面分类
- 纯html页面，请求url得到的response内容就是整个页面的最终展现的dom树
- js页面，请求url得到的response内容并不是最终展现的dom结构，部分dom结构是浏览器运行js后得到的，这里不包括ajax请求拿到dom结构
- ajax页面，这种算是js页面的一类，但它是发出浏览器异步请求去补充页面dom结构的，不是简单的运行下js
【2】爬虫常见问题
- 多进程 + 多线程，尽可能快的爬取数据
- 分布式部署
- 防反爬虫机制
- 爬取js页面（包含ajax页面）
【3】现成解决方案
针对上述3种页面分类，现成的爬虫库已经有很好的解决方案了，先来张常见爬虫对比图吧
爬虫对比
【4】自己的土方案
google出来一堆爬虫框架，杀鸡焉用牛刀？哈哈，其实是懒得去了解其他的库啦，先从土方案入手了解爬虫
方案大致是：
多线程获得爬取任务 + requests库请求url + BeautifulSoup分析html结构 + mysql保存结果
多线程爬取简要实现大致如下（伪代码，不可直接运行）：
def process(tid):
while True:
try:
task = getTask()
if not task:
print "跑完了"
break
# 请求task的url
resp = requests.get(task['url'], proxies=proxies)
if resp.status_code != 200 or not resp.content:
continue
# 处理html结果
soup = BeautifulSoup(resp.content, "html.parser")
# 保存结果
db = MySQLdb.connect("localhost", "root", "123456", "plant", charset='utf8')
cursor = db.cursor()
cursor.execute(sql)
db.commit()
except:
traceback.print_exc()
if __name__ == "__main__":
pool = ThreadPool(poolSize)
results = pool.map(process, range(0, poolSize))
pool.close()
pool.join()
这种土方案只能cover住纯html页面，js页面和ajax页面就废了，所以还有一个改进版，通过telemetry库对浏览器进行操控，然后拉取html页面进行分析，得到想要的结果（telemetry的具体使用就暂时不写了，以后有空再介绍，可参考:http://tmq.qq.com/2016/12/google_performance_test/）
缺点：严重依赖chrome浏览器，无法服务化，而且爬取速度很慢
优点：基于浏览器渲染得到的页面结果，最贴近于真实页面结果
后语
【留着以后再写。。。】
