scrapy案例总结（一）

第一步：

需求: 爬取https://www.gushiwen.cn/default_1.aspx中的诗词的标题作者朝代内容，以及实现全部翻页并保存，以下保存为两种方式，第一种为csv格式，第二种为txt格式。

第二步：

新建爬虫框架,在pycharm,Terminal中
cd D:\myproject\20210530
scrapy startproject gsw

第三步：

新建爬虫文件
cd gsw
scrapy genspider gs gushiwen.cn

第四步

分析网页结构：
每页古诗文都在class="left"的div标签里，每首古诗文都在@class="sons"的div标签里，那么通过scrapy使用xpath来清洗所需的数据，tags = response.xpath('//div[@class="left"]/div[@class="sons"]')得到每页10首古诗文。通过遍历，得到每首古诗文
网页页面分析
https://www.gushiwen.cn/default_1.aspx
https://www.gushiwen.cn/default_2.aspx
https://www.gushiwen.cn/default_3.aspx
分别代表第一页，第二页，第三页以此类推
网页为静态网页

第五步

settings.py设置

ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 1
DEFAULT_REQUEST_HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8',
'Accept-Language': 'en',
LOG_LEVEL = 'WARNING'
ITEM_PIPELINES = {
'gsw.pipelines.GswPipeline': 300,
}

第六步

items.py
封装字段，在items.py文件中对字段进行定义并封装，如果未定义那么爬虫主程序无法调用。

import scrapy
class GswItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    author = scrapy.Field()
    dynasty = scrapy.Field()
    content= scrapy.Field()
    pass

第七步

爬虫主程序调用items.py中的GswItem(scrapy.Item)类 <class 'gsw.items.GswItem'>
调用方法，右键点击新建工程gsw- Mark Directory as Sources Root设置为当前文件夹
调用GswItem(scrapy.Item)类：from gsw.items import GswItem
实例化类（有两种方法,随便一种都可以）
第一种：
item = GswItem(title = title,author = author,dynasty = dynasty,content = content)
第二种：
item = GswItem
item['title'] = title
item['author'] = author
item['dynasty'] = dynasty
item['content'] = content

第八步

爬虫主程序
gs.py

数据清洗，使用到get()获取一条数据字符串，getall()获得多条数据，形成列表

    for tag in tags:
            title = tag.xpath('./div[@class="cont"]/p/a/b/text()').get()
            source = tag.xpath('.//p[@class="source"]/a/text()').getall()
            try:
                author = source[0]
                dynasty = source[1]
                contents = tag.xpath('.//div[@class="contson"]/text()').getall()
                content =''.join(contents).strip()

列表转字符串方法： ' '.join()
字符串转列表方法：.split()
当爬取的范围不一样的时候(域名不一样的时候) 有最大的就给个最大的 allowed_domains = ['gushiwen.org','gushiwen.cn'] 可以加多个多个数据之间不要出现空格

allowed_domains = ['gushiwen.cn','gushiwen.org']

如何处理列表为空的数据第一个可以做非空判断例如豆瓣第二个可以通过 try语句进行处理

第九步翻页处理：

翻页处理是在爬虫主程序是处理，由于它特别重要，所以另起一步。
翻页总结有两种方式：
1、首先定位（xpath)到翻页所在元素@href网页地址
url_tag = response.xpath('//a[@id="amore"]/@href').get()
如果网页地址不全，可以用next_url = response.urljoin(url_tag)
进行补全。并调用yield scrapy.Request(next_url,callback = self.parse)把下一页用回调函数方法返回上述self.parse()进行调用.

  #第一种翻页方式
        # url_tag = response.xpath('//a[@id="amore"]/@href').get()
        # if url_tag:
        #     next_url = response.urljoin(url_tag)
        #     yield scrapy.Request(next_url,callback=self.parse)

2、第二种方法，利用列表推导式，然后对列表进行遍历方法
urls =['https://www.gushiwen.cn/default_{}.aspx'.format(str(x+1)) for x in range(1,5)]
for url in urls:
yield scrapy.Request(url,callback=self.parse)

   #第二种翻页方式
        urls =['https://www.gushiwen.cn/default_{}.aspx'.format(str(x+1)) for x in range(1,5)]
        for url in urls:
            yield scrapy.Request(url,callback=self.parse)

综合第七至第九步gs.py完整代码如下：

import scrapy
from gsw.items import GswItem


class GsSpider(scrapy.Spider):
    name = 'gs'
    allowed_domains = ['gushiwen.cn','gushiwen.org']
    start_urls = ['https://www.gushiwen.cn/default_1.aspx']

    def parse(self, response):
        tags = response.xpath('//div[@class="left"]/div[@class="sons"]')
        for tag in tags:
            title = tag.xpath('./div[@class="cont"]/p/a/b/text()').get()
            source = tag.xpath('.//p[@class="source"]/a/text()').getall()
            try:
                author = source[0]
                dynasty = source[1]
                contents = tag.xpath('.//div[@class="contson"]/text()').getall()
                content =''.join(contents).strip()
                item = GswItem(title = title,author = author,dynasty = dynasty,content = content)
                yield item
            except:
                print('')

        #第一种翻页方式
        # url_tag = response.xpath('//a[@id="amore"]/@href').get()
        # if url_tag:
        #     next_url = response.urljoin(url_tag)
        #     yield scrapy.Request(next_url,callback=self.parse)

        #第二种翻页方式
        urls =['https://www.gushiwen.cn/default_{}.aspx'.format(str(x+1)) for x in range(1,5)]
        for url in urls:
            yield scrapy.Request(url,callback=self.parse)

第十步数据保存

yield 它是一个迭代器，是将爬虫主程序的item对象（注意：在pipline文件当中注意Item的对象加入你引用了item文件那么这个item不是一个dict对象反之则是一个字典对象）传递至pipline文件中进行数据保存

项目管道pipline文件中def open_spider(self,spider):和 def close_spider(self,spider):相当于init()方法，是自动运行。但书写不能错误，否则会报错
在csv方法中，无法直接writer.writerows(item),因为对象无法直接写入，所以需要用append()方法，lst.append(item)写入
lst和header全局变量，可以在class GswPipeline:上方直接定义，也可以在类中创建构造函数进行定义。
pipline csv保存

import csv

class GswPipeline:

    def open_spider(self,spider):
        print('程序开始运行')

    def __init__(self):
        self.headers = ['title','author','dynasty','content']
        self.lst =[]

    def WriterDate(self,lst):
        with open('古诗文.csv','w',encoding='utf-8',newline='')as f:
            writer = csv.DictWriter(f,self.headers)
            writer.writeheader()
            writer.writerows(lst)

    def process_item(self, item, spider):
        self.lst.append(item)
        self.WriterDate(self.lst)
        return item

    def close_spider(self,spider):
        print('程序运行结束')

文件写入txt,因为item是一个json对象，所以需要将它转化成字符串，才能被txt文件写入。
item_json =json.dumps(dict(item),ensure_ascii=False)
pipline txt保存


class WsyjectPipeline:

    def open_spider(self,spider):
        self.fp = open('gsw.txt','w',encoding='utf-8')

    def process_item(self, item, spider):
        item_json =json.dumps(dict(item),ensure_ascii=False)
        self.fp.write(item_json +'\n')
        return item

    def close_spider(self,spider):
        self.fp.close()

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

scrapy案例总结（一）