'''
使用requests进行断点续爬
笔趣阁
'''
import os
import time
import requests
from lxml import etree
url_ = 'https://www.biqooge.com/'
errorFile = 'errorurl.txt' # 记录断点的文件
response = requests.get(url_, timeout=10)
text1 = response.content.decode('gbk') # 主页响应内容
htmlObj = etree.HTML(text1)
titleList = htmlObj.xpath('//div[@class="l"]/ul/li/span[@class="s3"]/a/text()')
urlList = htmlObj.xpath('//div[@class="l"]/ul/li/span[@class="s3"]/a/@href') # 获取所有url
startUrl = urlList[0] # 默认从第一个url开始
# 读取断点文件，获取断点位置
try:
with open(errorFile, 'r') as f:
startUrl = f.read()
except FileNotFoundError as e:
pass
startIndex = urlList.index(startUrl) # 开始index
urlList = urlList[startIndex:] # 更新两个列表
titleList = titleList[startIndex:]
# 如果出现问题就把urlList持久化
try:
for index, url in enumerate(urlList):
response = requests.get(url_[:-1]+url)
print('正在爬取' + titleList[index])
with open(titleList[index]+'.html', 'w') as f:
f.write(response.content.decode('gbk'))
time.sleep(3)
# if index==3: # 进行测试用的
# raise Exception()
except Exception as e:
# 运行出错，就把当时的url记录下来
with open(errorFile, 'w') as f:
f.write(url)
else:
# 当爬取正常时删除断点文件
os.remove(errorFile) if os.path.exists(errorFile) else print('断点文件不存在，不需要删除')
requests断点续爬笔趣阁
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 代码如下： 需要安装的依赖 chromedriver问题 到以下地址下载电脑上安装的chrome版本对应的driv...
- scrapy_redis原理分析并实现断点续爬以及分布式爬虫 学习目标 了解 scrapy实现去重的原理 了解 s...
