今天为了测试一下urllib2模块中的headers部分，也就是模拟客户端登陆的那个东东，就对煎蛋网妹子图练了一下手，感觉还可以吧。分享一下！
代码如下
# coding:UTF-8
import urllib2,urllib,re,random
def getHtml(url) :
request = urllib2.Request(url,headers=headers)
response = urllib2.urlopen(request)
page = response.read()
return page
def getImageUrls(page):
reg = r'src="(.+?\.jpg)"'
imageReg = re.compile(reg)
img_urls = re.findall(imageReg,page)
return img_urls
# 根据给定的路径，文件名，将指定的数据写入到文件中
def writeToFile(path,name,data):
file = open(path+name,'wb')
file.write(data)
file.close()
print name+" has been Writed Succeed!"
#writeToFile(path,str(name)+".jpg",content)
def downloadImages(images_url) :
for i, item in enumerate(images_url):
everypicture = getHtml(item)
# 此处下载之后的文件使用了item来命名是为了避免图片的覆盖
writeToFile(path, str(i+random.randint(1,100000000)) + ".jpg", everypicture)
# --------------------------------------------------------------------------------------------------
# 下面是我们的测试代码
headers = {
'referer':'http://jandan.net/ooxx/page-1986',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36'
}
path = "F:\\pachong\\jiandan\\"
# 注意这里的URL不是全部，按理应该使用url拼接自动完成的，但是我这里是手动修改的
originalurl = 'http://jandan.net/ooxx/page-1986'
page = getHtml(originalurl)
images_url = getImageUrls(page)
downloadImages(images_url)
爬虫结果
这里写图片描述
总结
代码不多，核心在于思想。逻辑如下：
- 使用headers绕开网站的验证
- 获得主页面中所有的图片的url
- 根据图片url循环的读取网页内容
- 再循环中就把图片写入到本地
是不是很简单呢，但是这里有不智能的地方，那就是没有把原始的url做处理，如果再用url拼接技术的话，我们就可以实现“只需要一张网址，就可以抓取我们想要的所有的图片了”。
代码中不可避免的存在一些问题，欢迎大家批评指正！
