urllibku爬取百度贴吧

import urllib.request
import urllib.parse
import os
import time

# 输入贴吧的名字，输入起始页码和结束页码
baming = input('请输入贴吧的名字-')
start_page = int(input('请输入起始页码-'))
end_page = int(input('请输入结束页码-'))
url = 'https://tieba.baidu.com/f?'

# 创建文件夹
os.mkdir(baming)

# 循环爬取每一页的内容
for page in range(start_page, end_page + 1):
    print('正在爬取第%s页......' % page)
    # 根据page计算出来pn
    pn = (page-1) * 50
    # get参数写出来
    data = {
        'ie': 'utf8',
        'kw': baming,
        'pn': pn
    }
    # 处理这个data
    query_string = urllib.parse.urlencode(data)
    # 拼接url
    url_tmp = url + query_string
    # print(url_tmp)
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    }
    # 构建请求对象
    request = urllib.request.Request(url=url_tmp, headers=headers)
    # 发送请求，得到响应
    response = urllib.request.urlopen(request)
    # 保存到指定的文件夹里面的指定的文件
    
    # 生成特定的文件名
    filename = '%s-第%s页.html' % (baming, page)
    # 生成filepath
    filepath = os.path.join(baming, filename)
    # 保存到文件中
    with open(filepath, 'wb') as fp:
        fp.write(response.read())

    print('结束爬取第%s页' % page)
    time.sleep(5)

gfg.jpeg