集合妙用!对爬虫url进行去重

image.png

笔者上篇文章中遗留了一个问题，那就是关于url去重的操作。然而，在Python中存在着一种没有重复值的数据类型，即集合set。

试想一下，如果我们使用set来作为爬虫数据的存储类型，是不是就可以达到去重的目的呢？

然而，我们也都明白集合的特性，它是不能存储可变类型的(如:list、dict)，所以说，我们需要将链接和标题存放到1个元组中，再向集合中添加，集合便可以依靠本身不可重复的特性，进行数据去重。

引入依赖库

import requests
import fake_useragent
from lxml import etree

依然使用requests模块进行页面请求，fake_useragent进行请求头的自动生成，与上篇文章不同的是，本文使用lxml模块进行页面解析。

请求连接

首先，声明2个全局变量house和num，house类型为set，num类型为int。

house = set()
num = 1

然后开始对接口进行请求。

# 初始页码
page = 0

# 循环请求页面
while True:
    response = requests.get(
        url=url.format(page),
        headers=headers,
        proxies=proxies
    )
    
    page += 1

    # 将html转化为可用xpath解析的对象
    tree = etree.HTML(response.text)
    # 解析并展示数据
    parse_and_show(tree)

    # num长度大于1000，代表已经爬取了1000条数据
    if num > 1000:
        break

关于接口的排查过程以及请求头的配置可参考笔者的上篇文章。

解析并展示数据

此处解析数据，笔者选择的是通过lxml模块，即xpath语法进行页面解析。当然，使用re或者bs4模块等也是可以的。

def parse_and_show(tree):
    """
    解析展示页面
    :param tree: xpath对象
    :return: None
    """
    global num

    title = tree.xpath('//div[@id="list-container"]/ul/li/div[@class="content"]/a[@class="title"]/text()')
    href = tree.xpath('//div[@id="list-container"]/ul/li/div[@class="content"]/a[@class="title"]/@href')
    link = ['https://www.jianshu.com' + i for i in href]
    # 将链接与标题打包为元组
    link_and_title = zip(link, title)
    for i in link_and_title:
        # 计算当前集合中的数据数量
        count = len(house)
        # 向集合中添加数据
        house.add(i)
        # 有新的数据添加到集合中
        if len(house) > count:
            print(f'{num}:{i}')
            num += 1
            if num > 1000:
                break

结语

意外的发现使用集合进行数据去重还蛮简单的，本来本文是要介绍并使用redis的集合进行数据去重的，但突发奇想试了一下Python中的set，也还蛮好用的。

使用redis的集合也是很不错的选择，毕竟上述开发中数据都是展示在终端中的，如果要保存到本地文件或者数据库的话，redis会更适用一些。并且，redis能做到的不止是去重，它最常用的便是用于开发分布式爬虫。

关于使用redis进行爬虫程序开发，笔者将在下篇文章中讲解(下次一定)。

关于本文的完整代码可参考下方GitHub链接。

https://github.com/macxin123/spider/blob/master/jianshu/set_jianshu.py