用python写网络爬虫五：动态内容

根据联合国全球网站可访 问性审计报告 ， 73%的主流网站都在其重要功能
中 依赖 JavaScript （ 参考 http : / /www . un . org/esa/socdev/enable/
documents/execsumnomensa . doc）。和单页面应用 的简单表单事件不同 ，
使用 JavaScript 时， 不再是加载后立即下载所有页面内容。 这样就会造成许多
网页在浏览器中展示的 内容不会出现在 HTML 源代码中 ， 本书前面介绍的抓
取技术也就无法正常运转了 。 对于这种依赖 JavaScript 的动态网站，
本章将会介绍两种抓取其数据的方法， 分别是：

  • JavaScript 逆向工程：
  • 渲染 JavaScript。

1. 对动态网页进行逆向工程：

让我们来看一个动态网页的例子。 示例 网站有一个搜索表单， 可 以通过
http : / /example . webscraping . com/ search 进行访 问 ， 该页面用于查
询国家。因 为 该 网 页 中 的数据是使用JavaScript 动态加载的 。 要想抓取该数据， 我们需要了解网页是如何加载该数据 的 ， 该过程也被称为逆 向 工程 。 继续上一节 的例子 ， 在 Firebug 中单击Console 选项卡， 然后执行一次搜索， 我们将会看到产生了一个 AJAX 请求，


图片.png

AJAX 响应返回的数据是JSON格式的 ， 因此我们可以使用 Python 的 j son
模块将其解析成一个字典

import requests
import json
url = 'http://example.webscraping.com/ajax/search.json?page=0&page_size=10&search_term=a'
html = requests.get(url).text
print json.loads(html)

现在， 我们得到 了一个简单的方法来抓取包含字母 A 的 国家。 要想获取
所有国家的信息， 我们需要对字母表中 的每个字母调用一次 AJAX 搜索 。 而
且对于每个字母 ， 搜索结果还会被分割成多个页面 ， 实际页数和请求时的
page si ze 相关。 保存结果时还会遇到一个问题， 那就是同一个国家可能会
在多次搜索时返回 ， 比如 Fij i 会匹配 f, i, j 三次搜索结果。 这些重复的
搜索结果需要过滤处理， 这里采用 的方法是在写入表格之前先将结果存储到
集合中 ， 因为集合这种数据类型不会存储重复的元素。
下面是其实现代码， 通过搜索字母表中 的每个字母， 然后遍历 JSON 响应
的结果页面， 来抓取所有国家信息。 其产生的结果将会存储在表格当 中 。

#!/usr/bin/env python
# -*-coding:utf-8 -*-
import requests
import json
import string

def main():
    template_url = 'http://example.webscraping.com/ajax/search.json?page={}&page_size=10&search_term={}'
    countries = set()
    for letter in string.lowercase:
        print letter
        page = 0
        while True:
            try:
                html = requests.get(template_url.format(page, letter)).text
            except Exception as e:
                print e
                continue
            try:
                ajax = json.loads(html)
            except ValueError as e:
                print e
                ajax = None
            else:
                for record in ajax['records']:
                    countries.add(record['country'])
            page += 1
            if ajax is None or page>= ajax['num_pages']:
                break

        open('countries.txt', 'w').write('\n'.join(sorted(countries)))

if __name__ == '__main__':
    main()

1.1边界情况

前面 的 AJAX搜索脚本非常简单， 不过我们还可以利用一些边界 情 况使其进一 步简化。 目前， 我们是针对 每 个字母执行查询操作 的 ，也就是说我们需要 26 次 单独 的查询， 并且这些查询结果又 有 很多重复。 理想情况 下， 我们可以使用一次搜索查询就能配 所有结果 。接下来， 我们将尝 试 使用不 同 字符 来 测 试这种想法是否可行
使用’ · ’ ， 这是正则表达式里用于匹配所有字符的元字符。

url = 'http://example.webscraping.com/ajax/search.json?page=0&page_size=10&search_term=.'
print json.loads(requests.get(url).text)['num_pages']

页码数为26
测试成功，说明服务端可以通过正则表达式进行匹配。因此可以把依次搜索每个字符替换成只对点号搜索一次了。
提高每个页面显示的数量的值，可以使下载次数减少 page_size 增加为20：

url = 'http://example.webscraping.com/ajax/search.json?page=0&page_size=20&search_term=.'
print json.loads(requests.get(url).text)['num_pages']

页码数为 13
将pagesize改为最大值1000

url = 'http://example.webscraping.com/ajax/search.json?page=0&page_size=1000&search_term=.'
print json.loads(requests.get(url).text)['num_pages']

页码数是1
服务端并没有检查该参数是否与界面允许的选项值相匹配， 而是直
接在一个页面中返回 了所有结果。 许多 Web 应用不会在 AJAX 后端检查这一参数， 因为它们认为请求只会来 自 Web 界面。
现在， 我们手工修改了这个 URL， 使其能够在一次请求中下载得到所有
国家的数据 。 进一步简化之后 ， 抓取所有国家信息的实现代码如下 ：

def main():
    url = 'http://example.webscraping.com/ajax/search.json?page=0&page_size=1000&search_term='
    writer = csv.writer(open('countries.csv', 'w'))
    html = requests.get(url + '.').text
    ajax = json.loads(html)
    for record in ajax['records']:
        writer.writerow([record['country']])

if __name__ == '__main__':
    main()

2.渲染动态网页

选择支持Qt的python库 我选择的是Pyside,下载Pyside
为了确认 WebKit 能够执行 JavaScript， 我们可以使用位于 http://example.webscraping.com/dynamic 上的这个简单示例 。
使用传统的方式，得到的值是空值，使用webkit初始版本代码则得到了需要的值

#!/usr/bin/env python
# -*-coding:utf-8 -*-

from PySide.QtGui import *
from PySide.QtCore import *
from PySide.QtWebKit import *
import requests
import lxml.html

url = 'http://example.webscraping.com/dynamic'
# 传统方式
def normal_main():
    html = requests.get(url).text
    tree = lxml.html.fromstring(html)
    print tree.cssselect('#result')[0].text_content()

# 使用webkit
def main():
    # 初始化QApplication对象
    app = QApplication([])
    # 创建QWebview 对象，该对象是文本文档的容器
    webview = QWebView()
    # 创建QEventloop对象，该对象用于创建本地事件循环
    loop = QEventLoop()
    # QWebView 对象的 loadFinished 回调连接了 QEventLoop 的quit 方法， 从而可以在
    # 网页加载完成之后停止事件循环。将要加载的 URL 传给 QWebViewo PyQt 需要将该 U肚 字符串封装在对象当 中 ，
    # 而对于 PySide 来说则是可选工页。
    webview.loadFinished.connect(loop.quit)
    webview.load(QUrl(url))
    #由于QWebView 的加载方法是异步的 ， 因此执行过程会在网页加载时立即传入下一行。 但我们
    # 又希望等待网页加载完成， 因此需要在事件循环启动时调用    loop.exec_()
    loop.exec_()
    html = webview.page().mainFrame().toHtml()
    tree = lxml.html.fromstring(html)
    # 从最后一行可以看出 ， 我们成功执行了JavaScript, div元素果然抽取出了HelloWorldo
    print tree.cssselect('#result')[0].text_content()

if __name__ == '__main__':
    main()
    # normal_main()

使用webkit与网站交互 :

1、等待结果

#!/usr/bin/env python
# -*-coding:GBK -*-

from PySide.QtGui import QApplication
from PySide.QtCore import QUrl, QEventLoop
from PySide.QtWebKit import QWebView


def main():
    url = 'http://example.webscraping.com/search'
    app = QApplication([])
    webview = QWebView()
    loop = QEventLoop()
    webview.loadFinished.connect(loop.quit)
    webview.load(QUrl(url))

    loop.exec_()
    webview.show()
    frame = webview.page().mainFrame()
    frame.findFirstElement('#search_term').setAttribute('value', '.')
    frame.findFirstElement('#page_size option:nth-child(2)').setPlainText('1000')
    frame.findFirstElement('#search').evaluateJavaScript('this.click()')

    elements = None
    while not elements:
        app.processEvents()
        elements = frame.findAllElements('#results a')
    countries = [e.toPlainText().strip() for e in elements]
    print len(countries), countries

if __name__ == '__main__':
    main()

2. 渲染类

为 了提升这些功能后续的易用性， 下面会把使用 到的方法封装到一个类
中

#!/usr/bin/env python
# -*-coding:utf-8 -*-

import time
from PySide.QtGui import QApplication
from PySide.QtCore import QUrl, QEventLoop, QTimer
from PySide.QtWebKit import QWebView
import sys
import csv

class BrowserRender(QWebView):
    def __init__(self, show = True):
        self.app = QApplication(sys.argv)
        QWebView.__init__(self)
        if show:
            self.show()

    def open(self, url, timeout=60 ):
        loop = QEventLoop()
        timer = QTimer()
        timer.setSingleShot(True)
        timer.timeout.connect(loop.quit)
        self.loadFinished.connect(loop.quit)
        self.load(QUrl(url))
        timer.start(timeout*1000)

        loop.exec_()
        if timer.isActive():
            timer.stop()
            return  self.html()
        else:
            print 'Request timed out:',url

    def html(self):
        return self.page().mainFrame().toHtml()

    def find(self, pattern):
        return self.page().mainFrame().findAllElements(pattern)

    def attr(self, pattern, name, value):
        for e in self.find(pattern):
            e.setAttribute(name,value)

    def text(self, pattern, value):
        for e in self.find(pattern):
            e.setPlainText(value)

    def click(self, pattern):
        for e in self.find(pattern):
            e.evaluateJavaScript('this.click()')

    def wait_load(self, pattern, timeout=60):
        deadline = time.time()+timeout
        while time.time() < deadline:
            self.app.processEvents()
            matches = self.find(pattern)
            if matches:
                return matches
        print 'wait load timed out'


def main():
    url = 'http://example.webscraping.com/search'
    br = BrowserRender()
    br.open(url)
    br.attr('#search_term', 'value', '.')
    br.text('#page_size option:nth-child(2)', '1000')
    br.click('#search')

    elements = br.wait_load('#results a')
    writer = csv.writer(open('countries.csv','w'))
    for country in [e.toPlainText().strip() for e in elements]:
        writer.writerow([country])

if __name__ == '__main__':
    main()

3.selenium

使用前面例子中 的 WebKit 库， 我们可以 自 定义浏览器渲染引擎， 这样就
能完全控制想要执行的行为 。 如果不需要这么高的灵活性， 那么还有一个不
错 的替代品 Selenium 可 以选择 ， 它提供了 使浏览器 自 动化的 API 接 口 。
需要注意的是我们需要前往http://docs.seleniumhq.org/download/
下载所用浏览器对应的第三方driver。官网慢的话可以使用csdn的资源链接
http://download.csdn.net/download/wsryyffs/9658123
在这里，我们使用Firefox浏览器，因此需要下载Mozilla GeckoDriver：
并且把他放到火狐安装位置的路径下，将改路径添加到环境变量中

GeckoDriver配置.png

示例代码：

#!/usr/bin/env python
# -*-coding:utf-8 -*-


from selenium import webdriver
def main():
    driver = webdriver.Firefox()
    driver.get('http://example.webscraping.com/search')
    driver.find_element_by_id('search_term').send_keys('.')
    driver.execute_script("document.getElementById('page_size').options[1].text = '5'");
    driver.find_element_by_id('search').click()
    driver.implicitly_wait(60)
    links = driver.find_elements_by_css_selector('#results a')
    countries = [link.text for link in links]
    driver.close()
    print countries
if __name__ == '__main__':
    main()

总结：
本章介绍 了 两种抓取动态 网 页数据 的方法。 第一种方法是借助 FirebugLite 对动态网页进行逆向工程， 第二种方法是使用浏览器渲染引 擎为我们触发 JavaScript 事件。 我们首先使用 WebKit 创建 自 定义浏览器， 然后使用更高级的 Selenium 框架重新实现该爬虫。
　　浏览器渲染引擎能够为我们节省 了解网站后端工作原理的时间 ， 但是该方法也有其劣势。 渲染网页增加 了 开销， 使其比单纯下载 HTML 更慢。 另外，使用浏览器渲染引擎的方法通常需要轮询网页来检查是否 已经得到事件生成的 HTML， 这种方式非常脆弱 ， 在网络较慢时会经常会失败。 我一般将浏览器渲染引擎作为短期解决方案， 此时长期的性能和可靠性并不算重要： 而作为长期解决方案， 我会尽最大努力对网站进行逆向工程。

不可不读

值得一看的友情链接
这个作者写的很好，其中frame.findFirstElement('#page_size option:nth-child(2)').setPlainText('1000')中的代码也是这里找到的解决方案，大家在学习python爬虫时可以借鉴一下，我这个就献丑了，哈哈，欢迎交流。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 217,542评论 6赞 504
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,822评论 3赞 394
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 163,912评论 0赞 354
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,449评论 1赞 293
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,500评论 6赞 392
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,370评论 1赞 302
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,193评论 3赞 418
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,074评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,505评论 1赞 314
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,722评论 3赞 335
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,841评论 1赞 348
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,569评论 5赞 345
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,168评论 3赞 328
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,783评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,918评论 1赞 269
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,962评论 2赞 370
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,781评论 2赞 354

推荐阅读更多精彩内容