跟着老师做的练习，我发现自己没有能独立做出来。算法方面不如老师做的优秀。
爬取得是knewone.com网站，此网站是国内异步加载数据的网站。
跟着麻瓜老师的课程学习的异步加载，第一个难点是，找到page=2，page=3....通过看源代码找到的。
找到之后，就轻松许多了，那就是下载图片了。
代码如下：
#执行的是下载page3页面的图片到本地文件夹。
from bs4 import BeautifulSoup
import requests,urllib.request
url='https://knewone.com/things/categories/ge-ren-pei-shi/xiang-bao?sort_by=latest&page=3'
path='/Users/pro/Desktop/a2/'
#注意一下headers的标准写法
headers={
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36 QQBrowser/4.1.4132.400'
}
# 采用代理，否则打开不了网页。格式留在这里，未必能用到。
proxies = {"http": "127.0.0.1:9743"}
def download(url):
filename=url.split('!')[-2] #[-1]表示倒数第一个。[-2]表示倒数第二个。这里是为了处理链接的格式,因为要把链接的一部分当做图片名字的
urllib.request.urlretrieve(url,path + filename[-10:])
print("done")
#下面的函数测试可以使用,很正常。
def get_one_pagelink(url):
wb_data=requests.get(url,headers=headers)
soup=BeautifulSoup(wb_data.text,'lxml')
imgs=soup.select('a.cover-inner > img')
for img in imgs:
src=img.get('src')
print(src)
download(src) #这里很关键，这是算法方面的提高。我就没有想到这么解决问题。
get_one_pagelink(url)# 执行程序，得出结果。下载图片到本地a2文件夹。
#一开始，我打算下载所有页面的链接，然后再让for遍历，挨个下载到本地，思路我相信没错，但是没有老师的这个思路简洁。
最后升级了一下，下载了前20页的图片到本地文件夹,代码如下
from bs4 import BeautifulSoup
import requests,urllib.request
url='https://knewone.com/things/categories/ge-ren-pei-shi/xiang-bao?sort_by=latest&page=3'
path='/Users/pro/Desktop/a2/'
#注意一下headers的标准写法
headers={
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.75 Safari/537.36 QQBrowser/4.1.4132.400'
}
# 采用代理，否则打开不了网页。格式留在这里，未必能用到。
proxies = {"http": "127.0.0.1:9743"}
def download(url):
filename=url.split('!')[-2] #[-1]表示倒数第一个。[-2]表示倒数第二个。这里是为了处理链接的格式,因为要把链接的一部分当做图片名字的
urllib.request.urlretrieve(url,path + filename[-10:])
print("done")
#下面的函数测试可以使用,很正常。
def get_one_pagelink(url):
wb_data=requests.get(url,headers=headers)
soup=BeautifulSoup(wb_data.text,'lxml')
imgs=soup.select('a.cover-inner > img')
for img in imgs:
src=img.get('src')
print(src)
download(src) #这里很关键，这是算法方面的提高。我就没有想到这么解决问题。
#这段代码,我也不理解,就是抄老师的,原封不动相当于。很成功。这个for遍历有些吊炸天。
all_imglinks = ['https://knewone.com/things/categories/ge-ren-pei-shi/xiang-bao?sort_by=latest&page={}'.format(number) for number in range(1,10)]
for single_url in all_imglinks:
get_one_pagelink(single_url)
