import requests
from bs4 import BeautifulSoup
import urllib.request
# 'http://weheartit.com/inspirations/beach?page=8' full url
base_url = 'http://weheartit.com/inspirations/beach?page='
path = '/Users/Hou/Desktop/aaa/'
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.109 Safari/537.36'
}
proxies = {"http": "xxx"}
def get_image_url(num):
img_urls = []
for page_num in range(1,num+1):
full_url = base_url + str(page_num)
wb_data = requests.get(full_url,proxies=proxies)
soup = BeautifulSoup(wb_data.text,'lxml')
imgs = soup.select('img.entry_thumbnail')
for i in imgs :
img_urls.append(i.get('src'))
print((len(img_urls)),'images shall be downloaded!')
return img_urls
# get_image_url(1)
# 'http://data.whicdn.com/images/224263340/superthumb.jpg'
def dl_image(url):
urllib.request.urlretrieve(url,path + url.split('/')[-2] + url.split('/')[-1])
print('Done')
#
for url in get_image_url(10):
dl_image(url)
一周作业4 爬取图片
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 实战计划0430-石头的练习作业 练习的要求 效果如下： 实现代码： 思考、笔记、总结： 1、实现的总体思路比较简...
- 实战计划0430-石头的练习作业 练习的要求 效果如下： 实现的代码 想法、笔记、总结 1、这个的实现，主要有2块...
- 成果展示 我的代码 总结： 1.将第一周课程学的知识整合在一起，成功爬取了58转转的商品信息，加深了各种知识的理解...
