一、作业目的

从小猪短租上爬取300+房源信息，单个页面的信息是酱紫的。

二、作业代码

from bs4 import BeautifulSoup
import requests
import re

n = 1
urls = []
a_url = 'http://sh.xiaozhu.com/search-duanzufang-p' + str(n) + '-0/'
# 从主页上爬取指向房源的链接
while n < 15:
    homepage = requests.get(a_url)
    homepage_soup = BeautifulSoup(homepage.text, 'lxml')
    links = homepage_soup.find_all(href=re.compile("fangzi"))
    for link in links:
        a_link = link.get('href')
        urls.append(a_link)
    n += 1


def get_url(url):
    wb_data = requests.get(url)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    return soup


def get_data(soup):
    title = soup.select('.pho_info > h4:nth-of-type(1) > em')
    address = soup.select('.pr5')
    rent_money = soup.select('.day_l')
    image = soup.select('#curBigImage')
    owner_pic = soup.select('.member_pic > a > img')
    owner_id = soup.select('a.lorder_name')
    owner_gender = soup.select('.member_pic > div')

    gender = owner_gender[0].get('class')[0]

    def judge_gender(a_gender):
        if a_gender == 'member_ico1':
            return '女'
        else:
            return '男'

    data = {
        '标题': title[0].get_text(),
        '地址': address[0].get_text().replace('\n', '').replace(' ', ''),
        '租金': rent_money[0].get_text(),
        '图片': image[0].get('src'),
        '房东图片': owner_pic[0].get('src'),
        '房东昵称': owner_id[0].get_text(),
        '房东性别': judge_gender(gender)
    }
    return data

if __name__ == '__main__':
    j = 0
    for url in urls:
        soup = get_url(url)
        print(get_data(soup))
        j += 1
    print("总共获取了%d个房源的信息"%j)

运行结果

运行结果

三、作业小结

本次作业的难点在于如何批量获取指向房源信息的url集合，这些信息可以通过对网站结构的分析得知。
例如每一个页面会显示24个房源信息，而搜索也的展示url是这样的：

http://sh.xiaozhu.com/search-duanzufang-p(n)-0/ #其中n为1，2，3...
按照这种方式自动获取每个搜索页的链接，代码如下：

a_url = 'http://sh.xiaozhu.com/search-duanzufang-p' + str(n) + '-0/'

后面才知道可以使用格式化和列表解析式来描述，代码是这样的：

a_url=['http://sh.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1,15)]

我自己的方法获取的是单个搜索页的链接，而后面的方法获取的是多个搜索页的集合。

接下来就是使用bs4来解析这些搜索页，从中提取出包含有房源信息的url，通过对符合条件的url进行观察可以发现，这些url里都包含fangzi这个字符串，所以使用正则表达式来匹配满足要求的url并通过get()方法，提取出href后面的链接，保存到一个列表里。

while n < 15:
    homepage = requests.get(a_url)
    homepage_soup = BeautifulSoup(homepage.text, 'lxml')
    links = homepage_soup.find_all(href=re.compile("fangzi"))
    for link in links:
        a_link = link.get('href')
        urls.append(a_link)
    n += 1

接下来只需要从集合了url的列表里提取并解析每一个url，然后使用上一个作业中提取信息的方法，整合这些信息即可。
更进一步的话可以使用某种数据库来存储这些数据，具体怎样实现还有待后面的学习。