小爬虫实践项目-item相关开发

上一节中将伯乐在线的所有文章进行了抓取并完成解析,接下来就是将解析的数据保存到item容器,并通过项目管道(ipipeline) 将其实体化,最终目的是将数据存放到数据库中

在开始前请童鞋自行恶补一下迭代器的相关知识
首先,编写items.py文件

class JobboleArticleItem(scrapy.Item):
    title = scrapy.Field()
    create_date = scrapy.Field()
    url = scrapy.Field()
    url_object_id  = scrapy.Field()
    front_img_url = scrapy.Field()
    front_img_path = scrapy.Field()
    fav_nums = scrapy.Field()
    comment_nums = scrapy.Field()
    tags = scrapy.Field()
    content = scrapy.Field()
    praise_nums = scrapy.Field()

新建JobboleArticleItem,将我们需要迭代的数据在item中进行定义,这里的变量均为spider中抓取的详情页信息,新增两个字段

url_object_id  = scrapy.Field() # 将我们获取到的文章链接通过md5进行格式化
front_img_path = scrapy.Field() # 收集本地图片存储路径,稍后会将其与front_img_url(图片链接)进行关联

修改我们的spider jobbole.py文件

class JobboleSpider(scrapy.Spider):
    name = 'jobbole'
    # allowed_domains = ['blog.jobbole.com/']
    start_urls = ['http://blog.jobbole.com/all-posts/']

    def parse(self, response):
        # 解析列表页中的所有文章链接交给scrapy
        post_nodes = response.css('#archive .floated-thumb .post-thumb a')
        for post_node in post_nodes:
            # scrapy 的机制,可以直接进行嵌套的select
            image_url = post_node.css('img::attr(src)').extract_first('')
            # 获取封面图片链接
            post_url = post_node.css('::attr(href)').extract_first('')
            # 获取文章链接
            yield Request(url=parse.urljoin(response.url, post_url), meta={'front_img_url': image_url}, callback=self.parse_detail)
            # meta={'front_img_url': image_url}将获取到的封面图片链接传递到回调函数parse_detail中
        next_urls = response.css('.next.page-numbers::attr(href)').extract_first('')
        if next_urls:
            yield Request(url=parse.urljoin(response.url, post_url), callback=self.parse)
    
    def parse_detail(self, response):
        # 实例化一个JobboleArticleItem()对象
        article_item = JobboleArticleItem()
        # 使用get方法获取meta中的数据,默认为空
        front_img_url = response.meta.get('front_img_url', '')
        
        # 提取文章的具体字段
        # 标题
        title = response.xpath('/html/body/div[1]/div[3]/div[1]/div[1]/h1/text()').extract_first('')
        # 文章发布时间
        create_date = response.xpath("//p[@class='entry-meta-hide-on-mobile']/text()").extract()[0].strip().replace("·", "").strip()
        # 文章点赞数
        praise_nums = response.xpath("//span[contains(@class,'vote-post-up')]/h10/text()").extract()[0]
        # 文章收藏数
        fav_nums = response.xpath("//span[contains(@class,'bookmark-btn')]/text()").extract()[0]
        match_fav_re = re.match('(\d+)', fav_nums)
        if match_fav_re == None:
            fav_nums = 0
        else:
            fav_nums = match_fav_re.group(0)
        # 文章评论数
        comment_nums = response.css("span.hide-on-480::text").extract_first('')
        match_comment_re = re.match('(\d+)', comment_nums)
        if match_comment_re == None:
            comment_nums = 0
        else:
            comment_nums = match_comment_re.group(0)
        # 文章整体信息
        content = response.xpath("//div[@class='entry']").extract()[0]
        # 文章领域等
        tag_list = response.xpath("//p[@class='entry-meta-hide-on-mobile']/a/text()").extract()
        for element in tag_list:
            if not element.strip().endswith('评论'):
                tags = ','.join(tag_list)

        # 填充数据
        # 这里的 get_md5是我们接下来要建立的url转化函数
        article_item['url_object_id'] = get_md5(response.url)
        article_item['title'] = title
        article_item['create_date'] = create_date
        article_item['url'] = response.url
        article_item['front_img_url'] = [front_img_url]
        article_item['fav_nums'] = fav_nums
        article_item['comment_nums'] = comment_nums
        article_item['tags'] = tags
        article_item['content'] = content
        article_item['praise_nums'] = praise_nums
        yield article_item

获取了图片链接,就需要进行下载,scrapy为我们提供了图片下载工具,首先需要在setting中进行相关配置
第一,调用ImagesPipeline方法

ITEM_PIPELINES = {
    'Article.pipelines.ArticlePipeline': 300,
    # 参数为执行方案,越小越先执行,在这里,先下载图片,再执行ArticlePipeline(详细数据保存)
    'scrapy.pipelines.images.ImagesPipeline': 1,
}

第二配置图片下载地址

# 配置图片下载地址,直接调用item.py文件中的变量
IMAGES_URLS_FIELD = 'front_img_url'

第三配置图片本地保存路径

# 获取Article文件夹的绝对路径
project_dir = os.path.abspath(os.path.dirname(__file__))
# os.path.dirname(__file__) 获取的是当前文件所在文件夹的名称
# os.path.abspath() 获取的是当前文件的绝对路径

# 配置图片保存路径
IMAGES_STORE = os.path.join(project_dir, 'images')

编写pipeline.py文件,重载图片下载函数,获取image的存储路径并回传item报存

# 重载图片下载函数,将图片的保存地址回传到item中,与图片url变量front_img_url进行关联
class ArticleImagesPipeline(ImagesPipeline):
    def item_completed(self, results, item, info):
        for ok,value in item:
            image_path_item = value['path']
        item['front_img_path'] = image_path_item
        return item

创建common.py文件,编写md5转化url函数

import hashlib

def get_md5(url):
    # 判断url的类型是否为Unicode,在py3中,str就是Unicode类型
    if isinstance(url, str):
        url = url.encode('utf-8')
    m = hashlib.md5()
    m.update(url)
    return m.hexdigest()

之后就可以在spider中进行调用

article_item['url_object_id'] = get_md5(response.url)

至此item相关开发完成,接下来就是讲item中的数据保存到我们的数据库中

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,634评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,951评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,427评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,770评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,835评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,799评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,768评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,544评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,979评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,271评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,427评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,121评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,756评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,375评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,579评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,410评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,315评论 2 352

推荐阅读更多精彩内容

  • scrapy学习笔记(有示例版) 我的博客 scrapy学习笔记1.使用scrapy1.1创建工程1.2创建爬虫模...
    陈思煜阅读 12,692评论 4 46
  • 背景 部门(东方IC、图虫)业务驱动,需要搜集大量图片资源,做数据分析,以及正版图片维权。前期主要用node做爬虫...
    字节跳动技术团队阅读 7,662评论 1 67
  • 2015.2.13 我又梦到你啦 七年啊说长不长说短也不短 只不过是一个人全身细胞更换一次的时间 七年啦我们就是另...
    三生万物阅读 559评论 0 3
  • 双十一刚过,朋友圈还沉浸在晒购物车、晒账单、剁手的氛围中,一则新闻却迅速的止住了购物的热潮。 刘成和妻子都有一份收...
    寒秋露浓阅读 316评论 4 1
  • 孩子不在家 吃饭也不香了 百无聊赖 敲敲坚果吧 两大包 正果才一小瓶 还不到 听着郭德纲 击打壳声 有规律 起来 ...
    一度一阅读 91评论 0 0