本次爬取的内容为豆瓣中的讨论精选，主要爬取当时入选精选的论题、组名、概述、获赞及发布时间。共有三十页内容，除首页地址无规律外（缺省page值），其余页面地址page值逐步+1。解决方法：判断是否是首页，给本身的真实地址，之后根据规律生成动态地址即可。

爬取过程

动态生成url -- 判断是否是首页（若是则赋特殊值，若不是则不做任何操作） -- 伪装请求头 -- 获取页面 -- 生成可以调用xpath的对象 -- 根据所需利用xpath解析 -- 将得到的数据以json格式存储到数据库中

import json
import requests

from lxml import etree


# 获取页面
def get_one_page(url):
    headers = {
        "User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)"
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        text = response.content.decode('utf-8')
        return text
    return None


# 解析目标页面
def parse_item_xpath(html):
    # 接收参数，使用解析库生成目标对象
    etree_html = etree.HTML(html)
    # 解析小组讨论题目
    result = etree_html.xpath('//div[@class="bd"]/h3/a/text()')
    # print(result)
    result_title = result
    # 解析小组组名
    result = etree_html.xpath('//div[@class="source"]/span/a/text()')
    # print(result)
    result_source = result
    # 解析小组讨论内容简介
    result = etree_html.xpath('//div[@class="block"]/p/text()')
    # print(result)
    result_block = result
    # 解析当前获得喜欢数
    result = etree_html.xpath('//div[@class="likes"]/text()[1]')
    # print(result)
    result_likes = result
    # 解析发布时间
    result = etree_html.xpath('//span[@class="pubtime"]/text()')
    # print(result)
    result_pubtime = result
    # 解析图片地址
    # result = etree_html.xpath('//div[@class="pic"]/div/img/@src')
    # print(result)
    # result_src = result

    items = []
    for i in range(len(result_block)):
        item = {}
        item['title'] = result_title[i]
        item['source'] = result_source[i]
        item['block'] = result_block[i]
        item['likes'] = result_likes[i]
        item['pubtime'] = result_pubtime[i]
        # 有些讨论没有图片
        # item['src'] = result_src[i]
        items.append(item)

    return items


# 将数据本地化
def write_json(items):
    info_json = json.dumps(items, ensure_ascii=False, check_circular=True)
    filename = './豆瓣小组精选'
    with open(filename, "a", encoding='utf-8') as f:
        f.write(info_json)


# 主程序
def main():
    for i in range(1, 298):
        page = str(i * 30)
        url = "https://www.douban.com/group/explore?start=" + page
        if i == 0:
            url = "https://www.douban.com/group/explore"
        html = get_one_page(url)
        # print(html)
        # parse_with_xpath(html)
        items = parse_item_xpath(html)
        write_json(items)


if __name__ == '__main__':
    main()

总结

对于特殊url的处理一般通过判断得到特殊url再进行相应操作完成url的生成。进一步熟悉将页面数据通过创建列表、字典等操作转换成json数据。写操作因为每次生成url写一次使用追加方式a,避免数据覆盖，最终只得到一条数据。

GitHub地址