2018-09-19 scrapy-Pipeline(一)

当item进入pipeline的时候就要经过一个个管道,入库或者进行其他作用。先介绍scrapy内置的Pipeline图片管道和文件管道

图片管道

首先如果要用图片管道那么就必须启用item,用item对象才能完成对图片的读写

在items文件中的某一个Item类中,我们需要img_urls和images作为成员变量

img_urls装载的是图片链接,

images是不需要在spider中被赋值的,在图片管道文件中,如果这个images对应的img_urls是正确的,那么下载到的图片信息会传递给这个images

在settings文件中,我们要指出他的存储路径,用

IMAGES_STORE这个名字(不能乱改的)

并且可以在IMAGES_MIN_HEIGHT和IMAGES_MIN_WIDTH中设置图片的最小宽度和长度设定好这些就直接开始爬就完事儿了

IMAGES_EXPIRES可以设置有效的图片时间,这个90天中是不会再一次下载这个图片

IMAGES_THUMBS这个可以设置缩略图

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 用理工科思维看待这个世界 系列爬虫专栏 初学者,尽力实现最小化学习系统 如何实现项目图片的下载 0:学习理念 推荐...
    谢小路阅读 7,216评论 1 15
  • Media Pipeline Scrapy为下载item中包含的文件(比如在爬取到产品时,同时也想保存对应的图片)...
    cnkai阅读 7,224评论 2 1
  • scrapy学习笔记(有示例版) 我的博客 scrapy学习笔记1.使用scrapy1.1创建工程1.2创建爬虫模...
    陈思煜阅读 14,385评论 4 46
  • 如果我是老师,我更崇尚苏格拉底式的教学方式,但是引导和问出高质量的问题对一个老师的要求太高了 如果我是老师,我必须...
    TinkleJane阅读 1,864评论 4 1
  • 把江南的春天化成烟雨中的山茶花别在发间 把毛乌素灼热的夏天榨成果汁加了冰放在案头 把秋日中山陵满地的梧桐叶写满相思...
    荔枝漫阅读 1,369评论 0 1

友情链接更多精彩内容