python-基础爬虫（爬取数据后生成html、json、xlsx）

一、代码

# 导包
import requests  # 用于发送HTTP请求，获取网页数据
from bs4 import BeautifulSoup  # 用于解析HTML内容
import json  # 用于处理和生成JSON文件
import pandas as pd  # 用于数据处理和生成Excel文件

# 设置url地址（要爬取的PTT NBA版的网页地址）
url = "xxxx"

# 设置headers（请求头，用于模拟浏览器请求，避免被网站识别为爬虫）
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36"}

# 接收响应
response = requests.get(url, headers=headers)  # 发送GET请求，获取网页内容

# 根据响应状态码判断网页是否爬取成功
if response.status_code == 200:  # 判断请求是否成功
    # 响应成功，写入HTML文件中
    print("写入成功！")
    with open("ptt_nba_2.html", "w", encoding="utf-8") as f:  # 以写入模式打开HTML文件
        f.write(response.text)  # 将网页内容写入文件
else:
    # 响应失败，打印失败信息
    print("网页爬取失败！")

# 使用bs4处理数据，解析HTML内容
bs = BeautifulSoup(response.text, "html.parser")  # 将网页文本用BeautifulSoup解析成HTML格式
articles = bs.find_all("div", class_="r-ent")  # 查找所有包含文章信息的div标签（class为r-ent）

data_list: list = []  # 用于存储每篇文章数据的列表

for a in articles:
    data_json: dict = {}  # 用于存储每篇文章的信息
    
    # 处理标题
    title = a.find("div", class_="title")  # 查找标题所在的div
    if title and title.a:  # 如果找到了标题，并且它包含链接
        title = title.a.text  # 获取标题文本
    else:
        title = "无标题"  # 如果标题不存在，则标记为“无标题”
    data_json["标题"] = title  # 将标题添加到data_json字典中

    # 处理热度（看板上的推文数量）
    popular = a.find("div", class_="nrec")  # 查找热度所在的div
    if popular and popular.span:  # 如果热度存在，并且包含span标签
        popular = popular.span.text  # 获取热度的文本
    else:
        popular = "N/A"  # 如果没有热度，标记为“N/A”
    data_json["热度"] = popular  # 将热度添加到data_json字典中

    # 处理日期
    meta = a.find("div", class_="meta")  # 查找包含文章元数据的div
    date = meta.find("div", class_="date")  # 查找日期所在的div
    if date:
        date = date.text  # 获取日期文本
    else:
        date = "N/A"  # 如果没有日期，标记为“N/A”
    data_json["日期"] = date  # 将日期添加到data_json字典中

    data_list.append(data_json)  # 将当前文章的信息添加到data_list中

# 生成json文件，使用json.dump将数据存入文件
with open("ptt_nba_2.json", "w", encoding="utf-8") as file:
    # ensure_ascii=False 用于保证中文能够正确存入文件，indent=4 格式化输出
    json.dump(data_list, file, ensure_ascii=False, indent=4)

# 生成xlsx文件，使用pandas将数据存入Excel文件
pf = pd.DataFrame(data_list)  # 将data_list转换为pandas的DataFrame
# 保存为Excel文件，不需要序号（index=False），使用openpyxl解析引擎
pf.to_excel("ptt_nba_2.xlsx", index=False, engine="openpyxl")