静态爬虫和动态爬虫

静态爬虫：页面数据的展示不依靠js等和后台的交互。
动态爬虫：页面的数据需要通过js，ajax等交互才能获得（完整获得）。

静态爬虫

通过使用urllib，beautifulsoup等工具对下载的页面进行xml节点的解析。

一个例子（爬取自己的博客的所有blog）：

#!/usr/bin/env python3
# coding:utf-8

from urllib.request import urlopen
from urllib.error import HTTPError
from bs4 import BeautifulSoup

import asyncio

from openpyxl import Workbook
import datetime

wb = Workbook()
worksheet = wb.active

entry_url = 'http://www.radasm.me:8080'

# 插入一行，行数据使用list来表示
@asyncio.coroutine
def save_one_row(ws_name):
    while True:
        l = yield
        if l is not None:
            l.insert(0, datetime.datetime.now())
            worksheet.append(l)
            print('正在保存中。。。')
            wb.save(ws_name)

pre_url = 'http://www.radasm.me:8080'

@asyncio.coroutine
def begin_scrap(sa, url):
    try:
        html = urlopen(url)
    except HTTPError as e:
        print(e)
    bsobj = BeautifulSoup(html)
    posts = bsobj.find_all(class_='post')
    for post in posts:
        l = []
        blog_href = post.find(class_='title').find('a').attrs['href']
        blog_name = post.find(class_='title').find('a').get_text()
        blog_time = post.find(class_='time').find(class_='date').get_text()
        l.append(blog_time)
        l.append(blog_name)
        l.append('%s%s' % (pre_url, blog_href))
        sa.send(l)
        print('1条数据抓取完毕，正在唤醒save')
        yield

    if posts is not None:
        # 进入下一个页面进行抓取
        next_url = '%s%s' % (entry_url, bsobj.find(class_='pager').find('a').attrs['href'])
        print('开始抓取下一个页面:next is %s' % next_url)
        begin_scrap(sa, next_url)

sa = save_one_row('haha.xls')
sa.send(None)
loop = asyncio.get_event_loop()
loop.run_until_complete(begin_scrap(sa, entry_url))
loop.close()

这种静态爬虫比较简单，只要分析清楚页面结构就可以了

注意点：和协程配合使用；把需要捕获的异常尽量写全，整体代码的逻辑清晰；使用mobile版本的地址进行更快的解析。

动态爬虫

比价麻烦，在没有学习scrapy框架之前(觉得需要慢慢来自己摸索的前进~)，我选择了selenium进行数据的爬取。

这是一个例子的片段：

@asyncio.coroutine
def begin(save):
    coun = 2
    driver = webdriver.Firefox()
    driver.get(entry_url)
    driver.find_element_by_xpath('//*[@id="reSearchForm"]/div/div[3]/input').click()
    time.sleep(2)
    for i in range(2):
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(5)
    flights = driver.find_element_by_xpath('//*[@id="J_flightlist2"]')
    children = flights.find_elements_by_xpath('div')
    print(children)
    for child in children:
        l = []
        # 航班号
        flight_id = child.get_attribute('id').strip()
        if pattern.search(flight_id) is not None:
            # 计划机型
            flight_type = child.find_element_by_xpath('table/tbody/tr/td[1]/div[2]/span').text.strip()
            # 起飞时刻
            flight_dtime = child.find_element_by_xpath('table/tbody/tr/td[2]/div[1]/strong').text.strip()
            # 起飞机场
            flight_dport = child.find_element_by_xpath('table/tbody/tr/td[2]/div[2]').text.strip()
            # 到达时刻
            flight_atime = child.find_element_by_xpath('table/tbody/tr/td[4]/div[1]/strong').text.strip()
            # 到达时刻
            flight_aport = child.find_element_by_xpath('table/tbody/tr/td[4]/div[2]').text.strip()
            # 币种
            money_type = child.find_element_by_xpath('table/tbody/tr/td[8]/span/dfn').text.strip()
            # 最低价格
            flight_lprice = child.find_element_by_xpath('table/tbody/tr/td[8]/span').text.strip()[1:]
            price = int(flight_lprice[1:])
            # 折扣
            discount = price / FULL_PRICE
            l.append(flight_id)
            l.append(flight_type)
            l.append(flight_dtime)
            l.append(flight_dport)
            l.append(flight_atime)
            l.append(flight_aport)
            l.append(money_type)
            l.append(flight_lprice)
            l.append(discount)
            save.send(l)
            yield

从携程上爬取航班的价格情况。

技术点

****XPATH****的使用方法：

selenium最常见的解析节点的方法就是使用xpath进行解析。

//*[@id="reSearchForm"]/div/div[3]/input

找到文档中名为“reSearchForm”的节点，并逐步向下解析。其中类似”input[number]“中的number的起始数字是”1“，这点需要注意。

****time.sleep()****

在经过类似于”click()“等事件之后，需要主动的进行time.sleep()的处理。

****页面的拖拽****

有些js需要经过页面的拖拽才能从后台抓取数据，需要代码中进行拖拽，例如：

for i in range(2):
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(5)