1、首先依然是写入入口程序
if __name__ =="__main__":
main()
2、写入主函数
def main():
category =input("请输入贴吧的名字：")
start =int(input("请输入开始页码:"))
end =int(input("请输入截至页码："))
#请求多几页的时候要重复进行以下代码，所以用for循环
#真正写end不会请求到最后一页，所以for循环后面要end+1
for pagein range(start,end+1):
#构建请求,而后面的category是把类别传到我们的url里
#由于pn是随着页面增加的，所以我们要传一个page来控制它
req = create_req(category,page)
#请求下载数据
content = down_load(req)
#保存数据，每次一都存储一个页面，在里面添加Page
save_data(content,page,category)
2、开始写 create_reqt封装函数
def create_req(category,page):
base_url ="http://tieba.baidu.com/f?"
data = {
#此处的pn，由原本页面的0，改成（page-1)*50
"pn":(page-1)*50,
#kw应该改成category
"kw":category,
}
#这是get请求
data = urllib.parse.urlencode(data)
url = base_url + data
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"
}
req = urllib.request.Request(url=url,headers=headers)
return req
#有请求还是不够的，还需要把请求发送出去，还要返回数据
3、写入 def down_load和def save_data封装函数
def down_load(req):
res = urllib.request.urlopen(req)
#已经返回了数据，将二进制流解释称我们能看得懂的语言
content = res.read().decode("utf-8")
return content
def save_data(content,page,category):
#tieba/是文件夹的路径，category是文件名中有python1'2'5等搜索贴吧的名
# str(page)是页面的页码
#注意，传参的时候顺序要和for循环中的一致，否则传参文件名会不是自己想要的
file_name ="tieba/"+category+str(page)+".html"
# 为什么用HTML,因为在Response中，返回的是HTML，所以用HTML
with open(file_name,"w",encoding="utf-8")as fp:
fp.write(content)
