lxml解析网页速度比BeautifulSoup快

我的代码:

# -*- coding: utf-8 -*-
import requests
from time import ctime
from lxml import etree
from bs4 import BeautifulSoup

url = 'http://www.cnblogs.com/descusr/archive/2012/06/20/2557075.html'
tries = 300
web_data = requests.get(url).text

# step 1
print('lxml start at:', ctime())
while tries > 0:
    lxml_page = etree.HTML(web_data)
    tries = tries - 1
print('lxml done at:', ctime())

# step 2
print('soup start at:', ctime())
while tries > 0:
    soup_page = BeautifulSoup(web_data, 'lxml')
    tries = tries - 1
print('soup done at:', ctime())

我是分步运行的:先注释掉step2,运行step1;之后注释掉1,运行2。新手轻拍

运行结果:

解析一个博客页面300次,Beautiful用了约8秒lxml用了约1秒

BeautifulSoup.png
lxml.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,890评论 18 139
  • 一、前言 上一篇演示了如何使用requests模块向网站发送http请求,获取到网页的HTML数据。这篇来演示如何...
    阿里波特阅读 3,032评论 8 23
  • Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实...
    LitOrange阅读 5,309评论 0 4
  • 是什么 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的 Python 库.它能够通过你...
    超net阅读 9,397评论 2 6
  • 古语:“赠人玫瑰,手留余香。”同理,我觉得也会有:“赠人微笑,心存余力。”微笑就是一种无形中的力量,潜移默化地改变...
    孜孜姑娘阅读 1,243评论 0 6