在MySQL里无意中看到去年利用scrapy爬取的天津是二手房信息,由于当时还不到了解pandas和matplotlib的用法,爬得的数据并没有利用上。既然今天看见了,就拿来尝试着进行一下简单的分析吧~
首先当然是导模块
import pandas as pd
import matplotlib.pyplot as plt
from pymysql import connect
import seaborn as sns
%matplotlib inline
sns.set()
- 查看数据
db = connect('localhost','root','666666','fangtianxia')
df = pd.read_sql('select * from ershou',con=db, index_col='id')
df.head()
首先通过read_sql函数读取MySQL中的叫做‘ershou’的表格
查看表格的前五行如下
咳咳,英文不好,这些字段都是我当时随意起的,知道嘛意思就行拉~
df.info()
可以看到并没有缺失字段,这说明我当时爬取的很完美,嘿嘿。但是数据量就有点少了,879条。
df.describe()
describe()函数返回数据集的一些基本统计值。从上面一些统计值分别表示数据条数、平均数、标准差、最小值、下四分位数、中位数、上四分位数、最大值。从这些统计结果我们可以得出一些结论,最大的房屋面积为900平米,最小的为17平米。最便宜的房子单价为5116平/米,最贵的房子单价为95960平/米。平均房屋面积水平为98平,平均单价为22084平/米(若想追上天津平均水品,本人表示亚历山大。。)
- 单价分析
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.figure(figsize=(16,6))
df.groupby('address')['price'].mean().sort_values(ascending=False).plot(kind='bar')
可以看出,和平区的房价水平遥遥领先于其他区。不出意外,市内六区的房价排名前六。开发区(也就是滨海新区)和西青区房价紧跟市内六区。另外,数据中并没有蓟州区的房价信息。
plt.figure(figsize=(16,6))
sns.boxplot(x='address', y='price', data=df)
从箱线图上可以看到,最贵单价房子位于和平区。我对这个房子还是比较好奇的,这到底是一个什么样的房子价格如此优秀~
df[df['price'] > 90000]
经过查找发现,单价超过9w的房屋只有这么一个,属于所谓的独单,39平380万!经过初步了解忠厚里是一个非常老的小区,得益于它的地理位置,临近滨江道、实验小学、耀华中学、天津一中,占尽资源优势,不贵没才没天理呀。。。另外,这是去年年底抓取的数据,现在这小区已经破10w了。
- 户型分析
df['mode'].value_counts()
发现户型中有叫‘暂无’的户型,总数不多,只有8条,可以考虑直接删掉。
df = df[df['mode'] != '暂无']
df['mode'].value_counts(ascending=True).plot(kind='barh', figsize=(6,15))
大多数都属于常见户型,其中两室户型是绝对的主力。当然一室是很多刚毕业的年轻人首选户型,三室也是那些有些经济实力的,或者有首套房子,考虑换个空间宽裕的家庭的选择。这里看到有六室和八室的户型,这是什么样的房子呢,我又有些好奇了。
df[df['mode'].isin(['8室4厅5卫', '6室2厅4卫'])]
通过筛查发现,原来这两个是别墅。好吧,果然贫穷限制了我的想象。
- 面积分析
f, [ax1, ax2] = plt.subplots(1, 2, figsize=(16,6))
sns.distplot(df['area'], bins=30, ax=ax1, color='g')
sns.kdeplot(df['area'], shade=True, ax=ax1)
sns.regplot(x='area', y='total_price', data=df, ax=ax2)
通过左图可以知道面积的分布情况,属于右偏分布,说明有不少超出正常房屋面积范围的二手房。右图描绘了房屋面积和总价之间的关系,可以看到两者呈正相关性,即面积大,价格也会相应高些,符合大家的认知。
- 楼层分析
df['floor'].value_counts().plot(kind='bar')
可以看到中层二手房数量较多,但是三种类型的数量相差不大。单独的比较楼层数量意义并不大,我们关心的是,各类型的楼层是否对房价有影响?这里简单的比较一下各类型楼层二手房的平均房价。
df.groupby('floor')['total_price'].mean().plot(kind='bar')
通过比较发现,低层的二手房均价较高,中高层价格相差无几。这与我的常识有些相悖。。。
- 总结
本次只是练习了一下Python常用的数据分析模块,为了分析而分析,并没有什么目的性。不过也能大概了解一下天津二手房的一些行情。比如哪个区的房子最贵,哪个区最便宜。户型和面积都是怎么样的,分布如何。也见识到了市中心那一骑绝尘的老学区房价格。这些单纯看躺在数据库中的数据,是不可能看到的。
本次简单的进行了一次描述性分析,接下来我会尝试建立一个回归模型(如线性回归,KNN,决策树等)来进行一次预测性分析。