# -*- coding: utf-8 -*-
import scrapy
from Air4.items import Air4Item
import time
from scrapy.http import Request
import os
import urllib
class AirSpider(scrapy.Spider):
name = 'air'
def start_requests(self):
self.allowed_domain = 'airdropsmob.com'
for i in range(1,8,1):
time.sleep(2)
yield Request('https://www.airdropsmob.com/page/%s'%i,callback = self.parse)
def parse(self, response):
item = {}
info = response.xpath('//div[@class="logo_post"]/a')
for i in info:
link = i.xpath('./@href').get()
name = i.xpath('./@title').get()
img = i.xpath('./img/@src').get()
if img:
file_name="%s.jpg"%name#拼接文件名,名称
file_path=os.path.join("/home/shanghaimei/Documents/img",file_name)#拼接图片的路径
urllib.request.urlretrieve(img,file_path)#接收img路径和需要保存的路径
item['name'] = name
item['link'] = link
item['img'] = img
yield Air4Item(**item)
scrapy抓取图片配置
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 前言 需求：用scrapy抓取图片思路：scrapy抓取图片的逻辑是，用爬虫抓取图片url输出到pipeline中...
- scrapy 安装自己百度 1.对网站进行分析 使用xpath 进行分析 response.xpath('//di...
- 一：目标 使用Scrapy框架遇到很多坑，坚持去搜索，修改代码就可以解决问题。这次爬取的是一个斗图网站的最新表情图...
