爬虫框架Scrapy(二)
使用框架Scrapy开发一个爬虫只需要四步：
创建项目：scrapy startproject proname(项目名字，不区分大小写)
明确目标(编写items.py):明确你想要抓取的目标
制作爬虫(spiders/xxspider.py):制作爬虫开始爬取网页
存储内容(pipelines.py):设计管道存储爬取内容
1、新建项目
在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令：
scrapy startproject scrapy_1
生成项目scrapy_1,目录如下：
scrapy_1/
scrapy_1/
spiders/
__init__.py
items.py
middlewares.py
pipelines.py
settings.py
scrapy.cfg
这些文件分别是:
scrapy.cfg: 项目的配置文件。
scrapy_1/: 项目的Python模块，将会从这里引用代码。
scrapy_1/items.py: 项目的目标文件。
scrapy_1/pipelines.py: 项目的管道文件。
scrapy_1/settings.py: 项目的设置文件。
scrapy_1/spiders/: 存储爬虫代码目录。
2、明确目标
抓取豆瓣电影TOP250网站所有的电影以及评分https://movie.douban.com/top250。
再项目的目标文件创建，制作一个Item容器。
Item容器是存储爬取数据的容器，使用方式类似于python字典Dict，我们需要对爬取的数据分析，定义爬取记录的数据结构，然后建立相应的字段。
在scrapy_1/items.py文件添加:
import scrapy
# 爬取豆瓣电影以及评分
class DouBan(scrapy.Item):
name = scrapy.Field()
score = scrapy.Field()
3、制作爬虫
3.1、创建爬虫douban
在当前目录下输入命令:
scrapy genspider douban "douban.cn"
创建一个名为douban的爬虫，将在scrapy_1/spiders目录下生成一个douban.py文件，并指定爬取域的范围。
import scrapy
class DooubanSpider(scrapy.Spider):
name = 'doouban'
allowed_domains = ['doouban.cn']
start_urls = ['http://doouban.cn/']
def parse(self, response):
pass
3.2、确立属性方法
要实现一个Spider爬虫， 必须有一个继承scrapy.Spider类的子类，并确定了三个强制的属性 和 一个方法。
name属性
name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
allow_domains属性
allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
start_urls属性
start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
parse方法
parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
1、负责解析返回的网页数据(response.body)，提取结构化数据(生成item)；
2、生成需要下一页的URL请求；
3.3、配置爬虫文件
我们爬取的数据是豆瓣TOP250的数据，修改douban.py文件，如下：
import scrapy
# 简单测试 保存html文件中
class DooubanSpider(scrapy.Spider):
name = 'douban'
allowed_domains = ['douban.cn']
start_urls = ['http://movie.douban.com/top250']
def parse(self, response):
filename = 'movie.html'
with open(filename,'w',encoding='utf-8') as f:
f.write(response.text)
运行命令:
scrapy crawl douban
查看生成的movie.html文件
3.4、配置文件
如果执行爬虫过程中，出现403错误：
HTTP status code is not handled or not a llowed
我们需要将自身伪装成浏览器请求
修改配置文件settings.py,添加如下(添加任意一个均可以):
import random
# 需要设置USER_AGENT,假装自己是浏览器访问网页
user_agent_list = [
"Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
"Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
"Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
"Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
]
USER_AGENT = random.choice(user_agent_list)
