第二部分：数据的清洗
数据的预处理主要是对原始数据进行一些清洗和整理工作，由于数据的质量影响着分析结果的质量，因此提高数据的质量对于后续的研究十分必要。
本文的数据清洗工作主要是用了python的numpy和pandas两个工具包,具体内容如下：
（1）excel数据的读写操作通过爬虫的数据保存在本地的excel文件里，现在要做的就是pandas读取这些文件，以便进行后续操作，具体代码如下行：
df = pd.read_csv('desktop/house_old_shanghai.csv',encoding='gbk',index_col=0,header=0)
本行代码读取了存贮路径为‘desktop/house_old_shanghai.csv’的excel文件，并且指定编码格式为gbk，注意如果不指定编码格式，读取的内容可能会出现乱码。
（2）选取某一列的部分字段
原始数据中评分列的数据类型是object,比如某些数据带有单位如评分：4.0分，要删去评分的单位‘分’才能将该列转还为数值型，具体python操作如下：
df['评分']=df['评分'].apply(lambda x:x[:-1])
此处用到了apply和lambda函数，功能是对列标签为’评分‘的列区取从0到倒数第一位字符，也就是删去了原有的倒数第一个字符“分”。
(3)选取部分行
在原始数据中，’评分‘这一列可能包含着其它杂乱数据，需要把这些数据删去，具体代码如下：
df['评分'].str.contains('0|1|2|3|4|5')
此处用到了contains函数，该函数的功能是对于包含括号里的值的行返回为True，因为我们需要的是评分的数据（去掉单位），所以包含数字0～5的就是我们需要的行。如果想知道有哪些数据不是我们想要的，～取反即可，如下所示
df1[~df1['评分'].str.contains('0|1|2|3|4|5')]
(4)选某列需要的数据
除了上述contains方法外，还可以使用extract搭配正则表达式选取满足需要的数据，python代码如下所示：
df['评分']=df['评分'].str.extract('(\d+\.\d+)')
使用该方法既可以在列上进行选取，也可以同时在行上进行选取。简单说一下此处正则表达式的用法，因为原始的数据格式是“4.0分”，\d+表示匹配数字，\.表示.符号(\为转义）,\d+表示匹配数字，这样就可过滤掉其他字符了。
（5）删除含有空值的行
在上一个步骤筛选后的列中可能有空值，需要删除这些含有空值的行可以采用如下代码：
df.dropna(axis=0,how='any')
其中，参数axis=0表示按照行删除，axis=1表示按照列删除，how=‘any’表示含有空值就删除，how=‘all’表示所有的元素都是空值才删除
（6）删除重复的行
爬虫获取的数据可能有重复的数据，因此需要删除重复的行，具体python代码如下：
df.drop_duplicates(keep='first')
参数keep可以设置是否保留重复的行，keep=False表示不保留
（7）转化数据类型
首先可以用df.info()查看每列的数据类型，可以看到在未对数据类型更改之前，G列数据的数据类型是object，改变后某一列的数据类型是float32，如下所示：
df['G'].astype('float32')
（8）添加列标签
按照上述步骤，将每一列的数据都清洗完毕并添加列标签，最终得到的数据如下图所示：
a=['介绍','地址','价格','面积','房间','地产公司','评分']
df.columns =a
（9）列的拆分
如下图中，第一列的数据包含了好几个属性值，因此需要拆分，代码如下所示：
df['A'].str.split('|',expand=True)
（10）按照某个字段的内容添加另一列
如上图中的第二列是房屋详细的地址，现在需要添加一列，内容是小区的地区，可以从第二列中提取相关信息，具体代码如下所示：
a=['浦东','闵行','宝山','徐汇','松江','嘉定','静安','普陀','杨浦','虹口','长宁','黄浦','青浦','奉贤','金山','崇明']
for循环遍历列表 loc函数指定对应的列
for i in a:
df.loc[(df['B'].str.contains(i)),['E']]=i
