一直想按照某个小区按月统计二手房源的价格趋势，虽然售房网站上点进去某个小区直接看得到，但是总感觉有问题，不如自己直接获取数据来的踏实。如果要买房子，总是有自己的目标范围，像之前我用R提取的房源数据，按照一定特征进行了分类，那么可以按照自己心仪的区域有选择地关注某些小区的价格变动。我关注了若干个小区，从今年开始按月统计二手房源的价格。当然最后统计出来的不可能精确，但是房源价格的趋势我倒是很感兴趣，当作未来的一个参考。
首先找到感兴趣的小区所在网页，比如像中大未来城二手房出售信息-中大未来城小区网-昆山房天下。
网页格式类似于“小区名.http://fang.com/chushou/”，前面的小区名可以用循环列表来处理。接下来需要获得最大的页码。观察最后的翻页，有一个“末页”可以定位。
获取末页所在的URL。
last_page = soup.find_all('a', id='PageControl1_hlk_last')
接着从末页的页面源码获得这一页的页码数字。当然可能有一页或者多页，需要用末页URL是否存在来判断。
if len(last_page) != 0:
last_url = last_page[0].attrs['href']
response_last = requests.get(last_url, headers=headers)
soup_last = BeautifulSoup(response_last.text, 'lxml')
total_page = soup_last.find('a', class_='pageNow').get_text()
else:
total_page = soup.find('a', class_='pageNow').get_text()
获得页码最大数字后可以拼接得到新的URL列表，也就是房源所在的所有页面URL。
for page in range(1, int(total_page)+1):
pageurl = 'http://' + u + '.fang.com/chushou/list/-h330-i3' + str(page) + '/'
从页面中获得房源详细信息，用bs4来解析源码。
res = requests.get(pageurl, headers=headers, timeout=4)
s = BeautifulSoup(res.text, 'lxml')
links = s.find_all('div', class_='fangList')
for i in links:
link = i.find('a')['href']
each = BeautifulSoup(str(i), 'lxml')
title = each.find('p', class_='fangTitle').get_text().replace(',', '').strip()
mianji = each.find('li').get_text()[:-2]
zongjia = each.find('span', class_='num').get_text()
danjia = each.find('li', class_='update').get_text()[:-4]
直接按照每个小区建立一个Excel表，每过一个月直接增加一个sheet，这里需要用到xlwt、xlrd、xlutils这三个库，用来读写数据到Excel表。目前只能用xls格式的文件。
rdbook = xlrd.open_workbook(xiaoqu + '.xls')
wtbook = copy(rdbook)
worksheet = wtbook.add_sheet('201802', cell_overwrite_ok=True)
count = 0
worksheet.write(count, 0, title, xlwt.easyxf('font: height 240, name SimSun'))
worksheet.write(count, 1, int(zongjia), xlwt.easyxf('font: height 240, name SimSun'))
worksheet.write(count, 2, int(mianji), xlwt.easyxf('font: height 240, name SimSun'))
worksheet.write(count, 3, int(danjia), xlwt.easyxf('font: height 240, name SimSun'))
worksheet.write(count, 4, link, xlwt.easyxf('font: height 240, name SimSun'))
count += 1
wtbook.save(xiaoqu + '.xls')
这里需要一个count，用来指定添加到sheet的哪一行。
这样只要事先将小区名命名的Excel表在py同一个文件夹建立好，运行程序后可以直接导入sheet，一个月后把sheet名改成201803。
完整代码如下：
import requests
from bs4 import BeautifulSoup
import random
import xlwt
import xlrd
from xlutils.copy import copy
ua_list = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
]
headers = {'User-agent': random.choice(ua_list)}
urls = ['bojuedadi0512', 'guanhuyihao0512', 'hefengyasong']
for u in urls:
url = 'http://' + u + '.fang.com/chushou/'
response = requests.get(url, headers=headers, timeout=4)
soup = BeautifulSoup(response.text, 'lxml')
xiaoqu = soup.find('a', class_='esfdetailName blueWord').get_text()
#打开excel
rdbook = xlrd.open_workbook(xiaoqu + '.xls')
wtbook = copy(rdbook)
#添加新sheet
worksheet = wtbook.add_sheet('201803', cell_overwrite_ok=True)
#找到最后一页的页码
last_page = soup.find_all('a', id='PageControl1_hlk_last')
if len(last_page) != 0:
last_url = last_page[0].attrs['href']
response_last = requests.get(last_url, headers=headers)
soup_last = BeautifulSoup(response_last.text, 'lxml')
total_page = soup_last.find('a', class_='pageNow').get_text()
else:
total_page = soup.find('a', class_='pageNow').get_text()
#开始提取
count = 0
for page in range(1, int(total_page)+1):
pageurl = 'http://' + u + '.fang.com/chushou/list/-h330-i3' + str(page) + '/'
res = requests.get(pageurl, headers=headers, timeout=4)
s = BeautifulSoup(res.text, 'lxml')
links = s.find_all('div', class_='fangList')
for i in links:
link = i.find('a')['href']
each = BeautifulSoup(str(i), 'lxml')
title = each.find('p', class_='fangTitle').get_text().replace(',', '').strip()
mianji = each.find('li').get_text()[:-2]
zongjia = each.find('span', class_='num').get_text()
danjia = each.find('li', class_='update').get_text()[:-4]
worksheet.write(count, 0, title)
worksheet.write(count, 1, int(zongjia))
worksheet.write(count, 2, int(mianji))
worksheet.write(count, 3, int(danjia))
worksheet.write(count, 4, link)
count += 1
print(count, title)
wtbook.save(xiaoqu + '.xls')
