读取网页的三种方式

基于python2的urllib2库

视频界面 https://www.bilibili.com/video/av31369828/?p=4

主要代码如下

#py2
#enconding:utf-8

import urllib2

url = "http://www.baidu.com"#urlopen只能处理http，不可以处理https

def download1(url):
  return urllib2.urlopen(url).read()#读取全部网页

def download2(url):
  return urllib2.urlopen(url).readlines()#读取每一行的网页数据，然后压入列表

def download3(url):
  response = urllib2.orlopen(url)#网页抽象为文件
  while True:
    line = response.readline()#读取一行
    if not line:
      break