这里的url指的是你爬取并保存到本地的url文本
url文本截图
#方法一
with open('02.txt', 'r', encoding='utf-8') as f:
f = f.read()
f=f.replace("\n", "") #去掉换行符
list = f.split('"') #以"为分隔符把f转化为列表
while '' in list: #删除列表中所有的空元素
list.remove('')
print(list)
#方法二
import re
with open('02.txt', 'r', encoding='utf-8') as f:
f = f.read()
pattern = re.compile('http.*?rd', re.S) # 这里url刚好全都以#rd结尾
a = re.findall(pattern, f)
print(a)
for b in a :
print(b)
