爬取多个url页面时常用到的方法:
1、定义get_page_link(函数):
page_link = [] # <- 每个详情页的链接都存在这里,解析详情的时候就遍历这个列表然后访问就好啦~
def get_page_link(page_number):
for each_numberinrange(1,page_number): # 每页24个链接,这里输入的是页码
full_url ='http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(each_number)
wb_data = requests.get(full_url)
soup = BeautifulSoup(wb_data.text,'lxml')
for link in soup.select('a.resule_img_a'): # 找到这个 class 样为resule_img_a 的 a 标签即可
page_link.append(link)