import requests
from parsel import Selector
#将一章小说写入txt中封装成一个函数
def download_one(url):
res = requests.get(url) # 爬取网站
res.encoding = res.apparent_encoding # 设置编码
html = res.text
sel = Selector(html)
#获取的一章的标题
title = sel.css('h1::text').get()
#测试.txt是我本地就有的文件，我直接打开追加写入就好了
f=open('测试.txt',mode='a',encoding='utf-8')
f.write(title)
#获取的一章的内容
for line in sel.css('#content p::text').getall():
print(line.strip(),file=f)
#关闭文件
f.close()
url = '小说目录网址'
res = requests.get(url) # 爬取网站
res.encoding = res.apparent_encoding # 设置编码
html = res.text
sel = Selector(html)
#查看网站的css，找到目录里面的节点
charpter = sel.css('.chapterlist ul li a::attr(href)').getall()
#download_one('网址')
#根据这个目录网址找到规律，找到每章的地址，调用封装好的方法即可
for index in charpter:
print('网址'+index)
download_one('网址'+index)
python学习 从网页上下载一整本小说的完整代码
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
