注意事项
import requests
from bs4 import BeautifulSoup
import urllib.request
base_path = '/Users/XXX/python/Swift/'
base_url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page='
# 设置代理,网上百度下具体的IP即可。代理不太稳定,测试过程中,换了好几个代理才成功
proxies = {'http':'http://121.42.178.60:1080'}
# 模拟登录
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
}
# 确定要爬取的页数,并生成对应的url列表
def get_img_url(num):
# 定义一个空列表,存放要下载照片的url
img_urls = []
for page_num in range(1, num+1):
# 字符串连接"+"
url = base_url + str(page_num)
web_data = requests.get(url, headers = headers, proxies = proxies)
if web_data.status_code == 200:
soup = BeautifulSoup(web_data.text, 'lxml')
imgs = soup.select('img.entry-thumbnail')
print(imgs)
for img in imgs:
img_urls.append(img.get('src'))
else:
print('服务器异常')
print(len(img_urls), 'imgs should be downloaded')
return img_urls
def get_img(url):
img_name = base_path + url.split('/')[-2] + '.' + url.split('.')[-1] # split() 函数对url分割,获取文件名
# 方法一:通过urllib.request.urlretrieve方式写数据,失败
# urllib.request.urlretrieve(url,img_name) # img_name表示图片的路径(文件夹的路径+图片的命名)
# 方法二
# 获取到的图片，如何转为 二进制 保存到本地。content是二进制格式的数据，text是自动根据 HTTP 响应头部的编码类型解码为 unicode 的结果
img_data = requests.get(url, headers = headers, proxies = proxies)
with open(img_name, "wb") as fs:
fs.write(img_data.content)
for url in get_img_url(6):
get_img(url)
'''
1、异步加载
通过 JS 实现动态加载数据，在与当前 HTML 页面的加载并不一起进行，比如同时进行，或在加载完当前页面后，在下拉页面时加载，这是通过 JS 的 XHR 实现。
如果是通过 XHR 在当前页面加载完后的异步加载，可以chrome 浏览器中，右击页面-检查-network-XHR，然后下拉页面进行异步加载，能够看到加载的请求url、头部和返回的动态数据。同时，在Elements中可以看到 HTML 元素在动态变化
2、请求的图片保存本地
获取到的图片，如何转为 二进制 保存到本地。content是二进制格式的数据，text是自动根据 HTTP 响应头部的编码类型解码为 unicode 的结果
img_data = requests.get(img_url)
with open(str(img_name), 'wb') as f:
print type(img_data.content)
f.write(img_data.content)
3、霉霉的网站需要翻墙设置代理
4、关于图片的格式类型:jpg、webp
WebP格式，谷歌（google）开发的一种旨在加快图片加载速度的图片格式。图片压缩体积大约只有JPEG的2/3，并能节省大量的服务器带宽资源和数据空间。Facebook Ebay等知名网站已经开始测试并使用WebP格式。
但WebP是一种有损压缩。相较编码JPEG文件，编码同样质量的WebP文件需要占用更多的计算资源。
桌面版Chrome可打开WebP格式。
'''
