处理丢失数据
由np.nan 填充丢失的数据
df.dropna(axis=0, how='any')
- axis 根据行或者列丢弃，0 是行，1是列
- how，指定丢弃行为
- any，只要有一个nan就丢弃，，默认
- all，所有的都为nan才丢弃
df.fillna(value=0), 为nan填上数据
- value, 指定需要填入的数据
其他相关方法
- df.isnull() 检查dataFrame中是否有缺失数据
- np.any(df.isnull() = True) 针对超大表格，找到是否有nan
Panda导入导出
可以读取的格式
- read_csv 这个常用
- read_excel
- read_hdf
- read_pickle python自带压缩格式
- read_json
可以导出的格式
- to_csv
- to_json
data = pd.read_csv("\*.csv")
read 进来以后会自动加上索引
data.to_csv("***.csv") 直接使用dataframe调用to_*** 来输出
合并多个DataFrame
df10 = pd.DataFrame(np.ones((3,4))*0, columns=['a', 'b', 'c', 'd'] )
df11 = pd.DataFrame(np.ones((3,4))*1, columns=['a', 'b', 'c', 'd'] )
df12 = pd.DataFrame(np.ones((3,4))*1, columns=['b', 'c', 'd', 'e'] )
res = pd.concat([df10 , df11], axis=0, ignore_index=Ture)
- asix 为0是为上下合并（有相同的列），为1时为横向的合并（有相同的行）
- ignore_index=True 对index重新安排, 为False的时候会保留之前的index
- join, ['inner', 'outer'] 在contact的时候处理不一样的行或列数据
** res = pd.concat([df1, df2]), 默认会有广播机制并使用nan填充 相当于['outer'], res = pd.concat([df1, df2], join='outer')
** 'inner', concat 之后就只包含相同的部分 - join_axes, res = pd.concat([df10, df11, df12], axis=1, join_axes=[df10.index])
** 使用join_axes 指定的index进行合并，对于df11没有的index使用nan进行填充 ，对于df10中不存在的忽略掉
** 对于列的话需要使用 df10.columns
** 注意这里和join的区别 - append，竖向或者横向的添加数据
res = df1.append(df2, ignore_index=True)
res = df1.appends(s1, ignore_index=True), 一行一行的添加
Merge多个DataFrame
res= pd.merge(df1, df2, on='key')
pd.merge(df1, df2, on=['key1', 'key2'])
- 可以指定合并的方法，
** inner，key的值必须一样的才和并
** outer, 不管值是不是一样都会合并， 对于不一样的值填充NAN
** left， 只靠一边的数据，另一边不一样的填充NAN
** right - indicator, 显示是如何merge的
- index, 通过对比index来进行merge
res = pd.merge(df21, df22, left_index=True, right_index=True, how='outer')
- left_index 考虑df21中的index
- right_index 考虑df22中的index
合并过程中如何处理重复数据（index名称相同，但是内涵不同的数据）
使用参数suffixes， 对于那些列名相同，但是又不在merge范围内的数据
res = pd.merge(df20, df21, on='d', suffixes=['_df20', '_df21'], how='inner')
Pandas Plot
其实还是使用matplotlib来画图的，但是可以集成到pandas的使用中去
data = pd.Series(np.random.randn(1000), index=np.arange(1000))
data.plot()
plt.show()
首先是data.plot()，然后在调用plt.show() 将图片显示出来，这种方法对于Series和DataFrame都适用
画其他类型的图：
plot method:“bar”, “hist”， “box”， “area”
data.plot.scatter(x='a', y='b')
将两组数据画在同一张图上：重点在于指定ax
ax = data.plot.scatter(x='a', y='b',color='blue', label='Class 1')
data.plot.scatter(x='c', y='d',color='red', label='Class 2', ax=ax)
