模拟 https://news.sina.com.cn/ 并爬取网页上几乎所有连接的网页内容 2019.0403
网页软代码如下： 并找到我们要的内容--红色标识
代码如下：
结果如下：
打开后如下：
可复制代码如下：
import re
import urllib.request
data=urllib.request.urlopen("http://news.sina.com.cn/").read()
data2=data.decode("utf-8","ignore")
pat='href="(https://news.sina.com.cn/.*?)"'
allurl=re.compile(pat).findall(data2)
for i in range(0,len(allurl)):
try:
print("第"+str(i)+"次爬取")
thisurl=allurl[i]
file="E:/py/sinanews/"+str(i)+".html"
urllib.request.urlretrieve(thisurl,file)
print("----成功----")
except urllib.error.URLError as e:
if hasattr(e,"code"):
print(e.code)
if hasattr(e,"reason"):
print(e.reason)
