0、pandas常用方法
import pandas as pd
df = pd.read_csv("chicago.csv")
df.head() # 返回前5项内容
df.columns # 返回数据集中的列名
df.columns.size # 返回数据集的列数
df.describe() # 返回数据集的统计信息，如min、max、std等
df.info() # 返回数据集的基础信息，每一列数量统计，内存消耗、哪些列有缺失值等
df.mean() # 返回各列的平均值
df.iloc[2:4,] #取第二行和第三行所有数据
df['column_name'].value_counts() # 'column_name'这个列中各个值出现的次数统计
df['column_name'].min() # 该列中最小值
df['column_name'].max() # 该列中最大值
df['column_name'].unique() # 'column_name'这个列中各个数据去重后的list集合
df['column_name'].mode()[0] # 查看这列中各数据出现次数最多的数据
df.sort_values(by=['column_name']) # 按某一列顺序排列df表
df[df['column_name']=='xxxxx'] # 获column_name值等于xxxx的这一行的值
np.repeat(3, 4) # array([3, 3, 3, 3]) # 重复一个numpy数据的值
red_df = red_df.rename(columns={'total_sulfur-dioxide': 'total_sulfur_dioxide'}) # 重新命名数据集的一个列名
df.drop([a, b, c], axis=1, inplace=True) # 删除数据集中的某些列a, b, c, axis=0按行操作 ，axis=1按列操作
1、计算相关性
相关性，简单讲就是：
正相关和负相关，值的大小在-1和1之间，越接近1，相关性越大
import pandas as pd
import numpy as np
filename = '/datasets/ud170/subway/nyc_subway_weather.csv'
subway_df = pd.read_csv(filename)
# 计算相关性的一个函数，类似于numpy的corrcoef()的原理
def correlation(x, y):
std_x = (x - x.mean()) / x.std(ddof = 0)
std_y = (y - y.mean()) / y.std(ddof = 0)
return (std_x * std_y).mean()
entries = subway_df['ENTRIESn_hourly']
cum_entries = subway_df['ENTRIESn']
rain = subway_df['meanprecipi']
temp = subway_df['meantempi']
print correlation(entries, rain)
print correlation(entries, temp)
print correlation(rain, temp)
print correlation(entries, cum_entries)
# 用numpy的corrcoef()方法也是可以直接计算相关性的
print np.corrcoef(entries, rain)
2、DataForm apply()和applymap()的区别
applymap是对DataForm中的每一个单独的元素进行操作
import pandas as pd
if True:
df = pd.DataFrame({
'a': [1, 2, 3],
'b': [10, 20, 30],
'c': [5, 10, 15]
})
def add_one(x):
return x + 1
print df.applymap(add_one)
'''
a b c
0 2 11 6
1 3 21 11
2 4 31 16
'''
grades_df = pd.DataFrame(
data={'exam1': [43, 81, 78, 75, 89, 70, 91, 65, 98, 87],
'exam2': [24, 63, 56, 56, 67, 51, 79, 46, 72, 60]},
index=['Andre', 'Barry', 'Chris', 'Dan', 'Emilio',
'Fred', 'Greta', 'Humbert', 'Ivan', 'James']
)
def convert_grades(grades):
if grades >= 90:
return 'A'
elif grades >= 80:
return 'B'
elif grades >= 70:
return 'C'
elif grades >= 60:
return 'D'
else:
return 'F'
print grades_df.applymap(convert_grades)
'''
exam1 exam2
Andre F F
Barry B D
Chris C F
Dan C F
Emilio B D
Fred C F
Greta A C
Humbert D F
Ivan A C
James B D
'''
apply()是对某一列数据进行操作
import numpy as np
import pandas as pd
df = pd.DataFrame({
'a': [4, 5, 3, 1, 2],
'b': [20, 10, 40, 50, 30],
'c': [25, 20, 5, 15, 10]
})
if True:
print df.apply(np.mean)
print df.apply(np.max)
'''
a 3.0
b 30.0
c 15.0
dtype: float64
a 5
b 50
c 25
dtype: int64
'''
# ascending=False表示降序排列
def second_largest_in_column(column):
sort_column = column.sort_values(ascending=False)
return sort_column.iloc[1]
def second_largest(df):
return df.apply(second_largest_in_column)
second_largest(df)
'''
a 4
b 40
c 20
dtype: int64
'''
3、在jupter notebook中将数据图形化
%pylab inline
import seaborn as sns
#如果data是一个DataFrame
data.plot()
4、如何处理数据集的缺失值NaN
如果是数字，一般用这一列的平均值去填充缺失值，如下方法：
mean = df['column_name'].mean()
df['column_name'].fillna(mean, inplace=True)
# df_08.dropna()删除缺失行后的数据
# 想要得出数据集中具有缺失值的行数，可以用总行数减去删除缺失行后的数据
5、查看并删除数据集中的冗余行(即和其他行数据一模一样)
df.duplicated() # 查看冗余行，非首次出现的冗余行标为True
df.drop_duplicates() # 删除冗余行后的数据
# 想要得出数据集中重复的行数，可以用总行数减去删除冗余行后的数据
如果是一个比较复杂的数据，比如一家医院的患者数据集，如果只是用户ID相同，患者情况描述不同，也算是冗余，需要给duplicated和drop_duplicates方法添加参数subset
6、pandas绘图
import pandas as pd
% matplotlib inline
df = pd.read_csv('aaa.csv')
df['column_name'].hist() # 绘制该列数据分布的直方图
# 或者如下：
df['column_name'].plot(kind='hist')
df['column_name'].value_counts.plot(kind='pie') # 绘制该列中各个值出现次数的饼状图
df.plot(x='AT', y='PE', kind='scatter') # 表示x轴为AT，y轴为PE时，绘制散点图
df['column_name'].plot(kind='box') # 绘制箱线图
