下次的文章会分享toB端产品经理的内容，数据分析的内容会放到周末发，作为一个产品岗的人老是发数据分析确实有点离谱。
这一章主要说的是数据的清洗步骤，过程比较简单，没有用到插值法，各位凑合欣赏
1.数据初步缺失值处理
a.先进行数据源的检索如图
b.统计列缺失值，行缺失值如图
c.检查并删除房屋名称，地址，户型面积三列缺失值所在的行，因为这三列的缺失值无法填补，因为周边均价和均价意义一致，所以将周边均价一列插入到价格一列，再将价格一列的缺失值所在的行删除。
c=df.isnull().sum(axis=1)#查看缺失值
print(c)
d=df.isnull().sum(axis=0)
print(d)
df=df.dropna(subset=['房屋名称','地址','户型面积'])#删除此列缺失值行
df=df.fillna(axis=1,method='backfill')#将周边均价插入到价格中
df=df.dropna(subset=['价格'])#删除价格的缺失值
2.文本去重
检索第一列的重复的名称，进行去重
data = df.drop_duplicates(subset=['房屋名称'], keep='first', inplace=False)
3.删除最后一列
留下必要的数据，现在数据暂时无缺失、无重复，如图
4.数据分类
因为安居客的房价的计量单位不同，所以进行区分周边均价和均价放在一类，最低放在一类，总价放在一类，分类分析，如图
5.数据变换和提取面积上下限
a.先将数据中不重要的字符串删除，将数据冗余清除，例如房价的“周边均价”、“均价”、计量单位等，这里需要注意将“万”替代成“0000”如图，便于以后的分析，清除后得到如图所示的内容，得到最终清理后的文件。因为房子的面积是一个范围，所以要进行分离面积的上下限。
b.将房价对应的户型面积，写入文档
for a in reader:
a=a['户型面积']
b = re.split('：|-|㎡|m²',a)
print(b[1:3], file=convert)
c.提取户型的所在地址关键字，写入文档：
for c in reader1:
c = c['地址']
print(c[1:3],file=out3)
最后数据如图展示，形成fen均价.csv，fen总价.csv，fen最低.csv三个文件。
6.缺失值进一步处理
进一步删除缺失值所在行，最终得到如图文件
数据的0-1标准化
选择对数据进行0-1标准化处理，需要处理的数据有：“房价：元/m²”、“'最少面积：m²”、“'最多面积：m²”，对三个文件的此三类数据都要进行标准化，核心代码如下：
df1['房价0-1'] = ((df1['房价：元/m²']) -df1['房价：元/m²'].min())/(df1['房价：元/m²'].max() - df1['房价：元/m²'].min())
df1['最少面积0-1'] = ((df1['最少面积：m²']) -df1['最少面积：m²'].min())/
(df1['最少面积：m²'].max() - df1['最少面积：m²'].min())
df1['最多面积0-1'] = ((df1['最多面积：m²']) -df1['最多面积：m²'].min())/(df1['最多面积：m²'].max() - df1['最多面积：m²'].min())
老规矩上源码：
#清洗
import numpy as np
import pandas as pd
import csv
file=open("C:\\Users\\admin\Desktop\\天津房屋数据.csv",encoding="utf-8-sig")
out = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件.csv",'w',encoding='utf-8-sig',newline="")
out1 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件1.csv",'w',encoding='utf-8-sig',newline="")
out2 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件2.csv",'w',encoding='utf-8-sig',newline="")
out3 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件3.csv",'w',encoding='utf-8-sig',newline="")
out4 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen均价.csv",'w',encoding='utf-8-sig',newline="")
out5 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen最低.csv",'w',encoding='utf-8-sig',newline="")
out6 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen总价.csv",'w',encoding='utf-8-sig',newline="")
df=pd.read_csv(file)
b=df.info()
a=df.describe()#查看详细描述
print(b)
print(a)
c=df.isnull().sum(axis=1)#查看缺失值
print(c)
d=df.isnull().sum(axis=0)
print(d)
df=df.dropna(subset=['房屋名称','地址','户型面积'])#删除此列缺失值行
df=df.fillna(axis=1,method='backfill')#将周边均价插入到价格中
df=df.dropna(subset=['价格'])#删除价格的缺失值
df=df.drop_duplicates(subset=['房屋名称'], keep='first', inplace=False)#去重
df=df.drop(["周边均价"],axis=1)
df1=df[df["价格"].str.contains('均价')]
df1.to_csv(out1)#输出到csv
df2=df[df["价格"].str.contains('最低')]
df2.to_csv(out2)#输出到csv
df3=df[df["价格"].str.contains('总价')]
df3.to_csv(out3)#输出到csv
df.to_csv(out)#输出到csv
#标准化
import numpy as np
import csv
import pandas as pd
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore")
out1 =open("C:\\Users\\admin\Desktop\\处理后数据\\最终\\均价数据.csv",'r',encoding='utf-8-sig',newline="")
out2 =open("C:\\Users\\admin\Desktop\\处理后数据\\最终\\低价数据.csv",'r',encoding='utf-8-sig',newline="")
out3 =open("C:\\Users\\admin\Desktop\\处理后数据\\最终\\总价数据.csv",'r',encoding='utf-8-sig',newline="")
#均价0-1化
df1=pd.read_csv(out1,engine='python')
df1['房价0-1'] = ((df1['房价：元/m²']) -df1['房价：元/m²'].min())/\
(df1['房价：元/m²'].max() - df1['房价：元/m²'].min())
df1['最少面积0-1'] = ((df1['最少面积：m²']) -df1['最少面积：m²'].min())/\
(df1['最少面积：m²'].max() - df1['最少面积：m²'].min())
df1['最多面积0-1'] = ((df1['最多面积：m²']) -df1['最多面积：m²'].min())/\
(df1['最多面积：m²'].max() - df1['最多面积：m²'].min())
df1.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\最终\\均价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')
#低价0-1化
df2=pd.read_csv(out2,engine='python')
df2['房价0-1'] = ((df2['房价：元/m²']) -df2['房价：元/m²'].min())/\
(df2['房价：元/m²'].max() - df2['房价：元/m²'].min())
df2['最少面积0-1'] = ((df2['最少面积：m²']) -df2['最少面积：m²'].min())/\
(df2['最少面积：m²'].max() - df2['最少面积：m²'].min())
df2['最多面积0-1'] = ((df2['最多面积：m²']) -df2['最多面积：m²'].min())/\
(df2['最多面积：m²'].max() - df2['最多面积：m²'].min())
df2.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\最终\\低价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')
#总价0-1化
df3=pd.read_csv(out3,engine='python')
df3['房价0-1'] = ((df3['房价：万元/套']) -df3['房价：万元/套'].min())/\
(df3['房价：万元/套'].max() - df3['房价：万元/套'].min())
df3['最少面积0-1'] = ((df3['最少面积：m²']) -df3['最少面积：m²'].min())/\
(df3['最少面积：m²'].max() - df3['最少面积：m²'].min())
df3['最多面积0-1'] = ((df3['最多面积：m²']) -df3['最多面积：m²'].min())/\
(df3['最多面积：m²'].max() - df3['最多面积：m²'].min())
df3.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\最终\\总价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')
#可视化图例
#均价
plt.figure(1)
plt.rcParams['font.sans-serif'] = 'Microsoft YaHei'
plt.rcParams['axes.unicode_minus'] = False
plt.figure(num='Title', facecolor='lightgray', figsize=(6, 3))
# 均价处理前
plt.subplot(3, 2, 1)
plt.title('均价-房价', fontsize=10)
plt.bar(df1['地址'], df1['房价：元/m²'], 0.5, color='dodgerblue', label='房价')
plt.legend()
# 均价01标准化后
plt.subplot(3, 2, 2)
plt.title('0-1 标准化', fontsize=10)
plt.bar(df1['地址'], df1['房价0-1'], 0.2, color='orangered', label='房价0-1')
plt.legend()
plt.tight_layout()
# 低价处理前
plt.subplot(3, 2, 3)
plt.title('均价-房价', fontsize=10)
plt.bar(df2['地址'], df2['房价：元/m²'], 0.5, color='dodgerblue', label='房价')
plt.legend()
# 低价01标准化后
plt.subplot(3, 2, 4)
plt.title('0-1 标准化', fontsize=10)
plt.bar(df2['地址'], df2['房价0-1'], 0.2, color='orangered', label='房价0-1')
plt.legend()
plt.tight_layout()
# 总价处理前
plt.subplot(3, 2, 5)
plt.title('房价：万元/套', fontsize=10)
plt.bar(df3['地址'], df3['房价：万元/套'], 0.5, color='dodgerblue', label='房价')
plt.legend()
# 总价01标准化后
plt.subplot(3, 2, 6)
plt.title('0-1 标准化', fontsize=10)
plt.bar(df3['地址'], df3['房价：万元/套'], 0.2, color='orangered', label='房价0-1')
plt.legend()
plt.tight_layout()
plt.show()
