Scrapy 图片下载、自定义图片名称

首先说一下工作环境:win10下python3.7、scrapy1.6

接下来一起看下项目需求:

项目需求

创建图片爬虫项目命令:scrapy startproject demo

下面爬虫项目工程图:

项目工程

在spider文件夹创建爬虫文件:auto_logos_spider.py

name是车标爬虫类的唯一标识,为了后面运行爬虫项目用的:scrapy crawl autologos

start_urls 是表示从里面开始爬取数据

图片代码2中img_url一定要加[],是因为scrapy.pipelines.images.ImagesPipeline需要传入列表值

代码1
代码2

在items.py编写车标item,定义需要爬取信息:

车标item

接下来在settings.py配置图片下载信息

图片下载配置

运行一下项目:scrapy crawl autologos

下面是最原始的图片下载,会自动生成full文件夹,并且图片名称都是SHA1 hash名称

下载成功图片


下面对图片进行重命名:

在pipelines.py中编写如下:

代码

在settings.py中更改图片下载配置:

更改配置

再次运行一下项目:scrapy crawl autologos

图片目录
下载图片
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下载即可。 安装...
    怂恿的大脑阅读 5,142评论 0 7
  • 文件目录说明: scrapy.cfg: 项目的配置文件 tutorial/: 该项目的python模块。之后您将在...
    关键先生耶阅读 3,720评论 0 0
  • scrapy框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广...
    糖炒栗子_01c5阅读 7,946评论 0 2
  • 今天中午我去接孩子放学回家,孩子和我说是不是要下雨了,我和孩子说是要下雨了,孩子说妈妈我们快点回家吧
    海低星阅读 1,103评论 0 0
  • 证书可以理解为签发方信息、拥有者信息、公钥以及签名(由签发方私钥签名)的集合(当然还有额外信息)。校验证书是...
    天文单位JM阅读 5,036评论 0 0

友情链接更多精彩内容