import re
import urllib.request
#只能爬取非延时加载的图片，匹配方式为正则匹配
def craw(url,page):
#decode之后html字符串将以页面形式展现
# 正则匹配时需要加上re.S来匹配换行符，因为.默认不匹配换行符
#也可以不加re.S,这时就不要decode，html中中文以unicode字符展现，
# 此时html为bytes，需要强转为str进行匹配
html = urllib.request.urlopen(url).read().decode('utf-8')
#html = str(html)
pattern1 = '<div id="plist".*?<div class="page clearfix">'
str1 = re.compile(pattern1,re.S).findall(html)[0]
pattern2 = ')'
imageurls = re.compile(pattern2).findall(str1)
x = 1
para2 = str(x)
for imageurl in imageurls:
imagename = 'D:/image/'+str(page)+str(x)+'.jpg'
print(imagename)
imageurl = 'http://'+imageurl
try:
urllib.request.urlretrieve(imageurl,filename=imagename)
except urllib.error.URLERROR as e:
if hasattr(e,"code"):
x+=1
if hasattr(e,"reason"):
x+=1
x+=1
for i in range(1,79):
url = "https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)
craw(url,i)
爬虫简单应用之爬取京东手机图片
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 这次主要是进行京东具体某个店铺手机评论内容的爬取。 本来是跟上一起写的，只是没有时间一块做总结，现在写上来是有点生...
- 引言 在多线程编程出现之前，电脑程序的运行由一个执行序列组成，执行序列按顺序在主机的CPU中运行。无论是任务本身要...
