1.return与yield
两个关键字都可以返回scrapy.Request
,区别是return返回的是列表,即使是只有一个scrapy.Request
,以必须在外面加上[]
返回;yield
直接返回scrapy.Request
。
2.cookie的使用
访问一个网站时,若要加上cookie,可以在start_requests
函数中加入。
示例:在百度首页加上登录名的cookie
def start_requests(self):
url = 'http://www.baidu.com/'
cookie = {
'BDUSS': '***'
}
return [scrapy.Request(url=url, cookies=cookie)]
# 或者为 yield scrapy.Request(url=url, cookies=cookie)
2.time.time
利用time.time()可实现简单的计算程序耗时功能。