1.1. 刀未佩妥,出门已是江湖——第一个爬虫程序
创建自己的爬虫工作目录,我个人工作目录位置:
/home/damu/work_spider/spider_01/
创建第一个爬虫程序:demo01_hw.py
目标:采集新浪网首页数据
资源:url地址(http://www.sina.com.cn)
程序开发:编辑demo01_hw.py
# coding:utf-8
# 引入爬虫模块
import urllib2
# 访问服务器,获取服务器返回的响应数据
response = urllib2.urlopen(‘http://www.sina.com.cn’)
# 控制台打印展示数据
print(response.read())
运行程序:python demo01.py,控制台可以看到采集到的数据
小结:urllib2是Python2版本中专门用于进行网络数据请求访问的一个基础模块,包含了最基本的操作网络数据的各种类型和函数,如上述程序中访问新浪网并获取响应数据的函数urlopen就是一个非常核心重要的操作函数!