scrapy笔记

1.return与yield
两个关键字都可以返回scrapy.Request,区别是return返回的是列表,即使是只有一个scrapy.Request,以必须在外面加上[]返回;yield直接返回scrapy.Request
2.cookie的使用
访问一个网站时,若要加上cookie,可以在start_requests函数中加入。
示例:在百度首页加上登录名的cookie

def start_requests(self):
    url = 'http://www.baidu.com/'
    cookie = {
        'BDUSS': '***'
    }
    return [scrapy.Request(url=url, cookies=cookie)]
    # 或者为 yield scrapy.Request(url=url, cookies=cookie)

2.time.time
利用time.time()可实现简单的计算程序耗时功能。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容