import pandas as pd
importrandom
df01 = pd.DataFrame(np.random.randint(1,9),size = (4,4))
print(df01)
df01.ix[1:2,1:2] = np.NaN #从0开始算的第1,2行的第1,2列赋为空值
print(df01)
print(df01.dropna()) #只要包含NaN的数据行都删掉
print(df01.dropna(axis = 1)) #只要包含NaN的数据列都删掉
print(df01.dropna(how = 'all')) #必须全是NaN的数据行才删除
print(df01.fillna(0)) #将所有NaN变成0
print(df01.fillna({0:1,1:4,2:3,3:8})) #将每列的NaN指定变成不同的数
-
pandas常用数学统计方法(默认都按列)
count(): 非NaN数据的个数
sum(): 默认按列求和 sum(axis = 1)按行求和
min()/max(): 最大最小值
quantile(0.25): 计算样本分数位(0到1),参数默认0.5,即中位数
median(): 中位数
cumsum(): 累加和
pct_change(): 计算百分数的变化
std(): 标准差
var(): 方差
describe(): 得到以上一堆方法及各列结果的表
- 相关数据与协方差
df01 = pd.DataFrame({'year':[1,2,3,4],'money':[40,50,60,70]})
df01.cov() #协方差: 正数正相关,负数负相关
df01.corr() #相关数 : -1到1之间
ser01 = pd.Series(['a','b','c','d','a','b','c'])
ser01.value_counts() #统计数
ser01[ser01.isin(['b','c'])] #分别判断是否在列表当中,相当于过滤,成员资格
ser01.unique() #去重
-
pandas层次索引
swaplevel交换内外层索引
-
matplotlib绘图库
import matplotlib.pyplot as plt
import numpy as np
plt.plot([1,2,7],[3,5,2]) #绘制 折线图
plt.show() #显示图片
#显示情况
%matplotlib tk #在GUI中显示
%matplotlib inline #在行内显示
#figure
x = np.arange(-3,3,0.1)
y1 = np.sin(x)
y2 = np.cos(x)
plt.figure(num = 5,figsize = (8,5)) #创建第一个图形,figsize单位为100像素
plt.plot(x,y1)
plt.plot(x,y2)
plt.show() #两条曲线在一个图里显示
#也可以
plt.plot(x,y1,x,y2)
plt.show()
plt.plot([2,3,4,5],color = 'red',linestyle = 'dashed',marker = 'o',alpha = 0.5)
#一维数组为y值,index为x值(从0开始)
#颜色也可以同RGB格式,即'#FF0000'
#dashed参数表示虚线,虚线也可以用'--'表示,还有'-.'也可以用
#marker 的 'o'参数表示用圆点标记点
#alpha表示透明度
#具体各种style可查看帮助 help(plt.plot)
#简写方式
plt.plot(x,y1,'ro--')
'''
刻度,标题,标签,图例
'''
x1 = [1,2,3]
y1 = [5,7,4]
x2 = [1,2,3]
y2 = [10,12,14]
#解决中文显示问题
import matplotlib as mpl
mpl.rcParams['font.sans-serif'] = ["SimHei"]
mpl.rcParams['axes.unicode_minus'] = False
plt.figure()
plt.plot(x1,y1,'ro-',label = '红实线)
plt.plot(x2,y2,'bo--',label = '蓝虚线')
#设置标题标签
plt.xlabel('月份')
plt.xlabel('美元/亿')
plt.xlabel('月份')
plt.title('进出口数据')
#设置范围
plt.xlim(0,6)
plt.ylim(0,15)
#设置刻度
plt.xticks([1,2,3,4,5,6],str(i)+'月' for i in range(1,7))
plt.yticks(np.arange(2,16,2),['200','300','400','500','600','700','800'])
#设置坐标轴信息
ax = plt.gca()
#设置边框
ax.spines['top'].set_color(none)
ax.spines['right'].set_color(none)
#生成默认图例
plt.legend()
plt.show()
- subplot子图:
subplot(numRows,numCols,plotNum)
import matplotlib.pyplot as plt
import numpy as np
x1 = [1,2,3]
y1 = [5,7,4]
x2 = [1,2,3]
y2 = [10,12,14]
plt.figure() #创建图像
plt.subplot(221) #创建第1个子图,2行2列的第1个位置
plt.plot(x1,y1,'ro--')
plt.subplot(223) #创建第2个子图,2行2列的第3个位置
plt.plot(x2,y2,'bo-')
plt.show()
#面向对象的形式
x1 = [1,2,3]
y1 = [5,7,4]
x2 = [1,2,3]
y2 = [10,12,14]
fig = plt.figure() #创建图像(实例化对象)
ax1 = fig.add_subplot(221)
ax2 = fig.add_subplot(222)
ax3 = fig.add_subplot(212)
#在ax123上画图
ax1.plot(np.random.randn(50).cumsum(),'g--')
ax2.plot(np.random.randn(50).cumsum(),'b--')
ax3.plot(np.random.randn(50).cumsum(),'r--')
plt.show()
import matplotlib.pyplot as plt
fig,axes = plt.subplots(2,2)
#也可以fig,axes = plt.subplots(nrows = 2,ncols = 2,sharex = True,sharey = True)
'''
print(axes) #输出: 由图片object构成的 2x2的列表
'''
#axes是一个列表
axes[0].plot(range(10),'ro-')
axes[1].plot(range(10),'bo-')
axes[2].plot(range(10),'yo-')
axes[3].plot(range(10),'mo-')
plt.show()
- 柱状图
hist代替plot
-
numpy以矩阵为基础的数学计算模块
import numpy as np
#创建数组 help(array)
np.array([1,2,3]) #用一维列表创建
np.array((1,2,3)) #用元组创建
np.array([
[
[1,2,3],
[4,5,6]
],
[
[3,4,6],
[8,6,4]
]
]) #多维数组
np.zeros((3,3)) #创建元素为0的数组,用元组(3,3)表示3行3列
np.zeros((2,3,3)) #三维0数组
np.ones((3,3)) #创建元素为1的数组
np.empty((3,3)) #初始化一个空矩阵
np.arange(1,9,2) #一维数组
np.linspace(1,10,5) #生成等差数列
np.logspace(0,2,5,base = 10) #生成等比数列,从1(10**0)到100(10**2)生成5个数,base默认为10
np.random.random((3,3)) #0到1的随机数二维数组
np.random.randn((3,3)) #-1到1的随机数二维数组
np.random.randint(10,20,size = (3,3)) #范围内随机数二维数组
import numpy as np
#基本属性
arr = np.random.randint(1,9,size = (3,3))
print(arr.ndim) #维数,输出: 2
print(arr.shape) #形状,输出: (3,3)
print(arr.dtype) #类型,输出: int32
print(arr.itemsize) #字节长度,输出: 4
print(arr.size) #大小,输出: 9(=3x3)
#改变数组形状
arr2 = np.random.randint(1,9,size = (2,5))
#shape修改
arr2.shape(5,2) # 5x2=2x5 !!! 必须相等,也可以arr2.shape(5,-1),让电脑自己算
print(arr2)
#reshape修改
arr3 = np.arange(9)
arr4 = arr.reshape(3,3)
print(arr4)
arr4[0][1] = 100 #改变新数组的一个元素
print(arr4)
print(arr3) #发现原数组对应的数据也被改了,类似浅拷贝
#所以,一般这样创建
arr5 = np.arange(9).resahpe(3,3)
-
numpy基本操作
数组不再用循环,直接就能批量运算
import numpy as np
#数组与标量运算
arr = np.anrange(0,9).reshape(3,3)
print(arr)
print(arr + 2)
#数组间运算
arr1 = np.array([
[1,2,3],
[4,5,6]
])
arr2 = np.array([
[10,20,30],
[40,50,60]
])
print(arr1+arr2) #大小要相等,才能一一对应
'''
输出:[
[11,22,33],
[44,55,66]
]
'''
#数组的矩阵积(矩阵点积)
arr1 = np.array([
[1,2,3],
[4,5,6]
])
arr2 = np.array([
[10,20],
[40,50,,
[70,80]
])
print(np.dot(arr1,arr2))
#多维数组的索引和切片
arr3 = np.array([
[
[1,2],
[3,4]
],
[
[5,6],
[7,8]
]
])
print(arr3[0][1][0]) #输出: 3
print(arr3[1,:,1]) #输出: [6,8]
print(arr3[:,:,0]) #输出: [[1,3],[5,7]]
#花式索引
arr = np.random.randint(1,9,size = (8,4))
print(arr)
print(arr[(0,3,5)]) #获取0,3,5行数据
print(arr[[0,3,5],[0,3,2]]) #获取0,0 3,3 5,2 数据
print(arr[np.ix_([0,3,5],[0,3,2])] #索引器,分别获取0,3,5行的0,3,2数据,返回一个3x3数组
#布尔索引
arr2 = np.random.random((3,3))
print(arr2)
arr3 = arr2 < 0.5
print(arr3) #布尔值构成的3x3数组
#应用
name = np.array('joe','susan','tom')
score = np.array([
[70,80,90],
[77,88,99],
[66,86,96]
])
classes = np.array('语文','数学','英语')
print(score[name = 'joe']) #输出第一行数据
name2 = name=='joe' #name2为布尔一维数组[true,false,false]
score[name2].reshape(-1) #相当于score[[true,false,false]],只输出第一行
score[name = 'joe',classes = '数学']
#输出: [80],相当于score[[true,false,false],[false,true,false]]
#数组转置
arr2 = arr.T
-
numpy常用一元函数
np.abs(arr)绝对值
np.sqrt(arr)平方根
np.exp(arr)计算指数e的多少次方
np.log2(arr)log默认为10
np.isnan(arr)判断is not a number?
np.isfinite(arr)有穷的
np.isinf(arr)无穷的
np.sin(arr)各种三角函数和反三角函数
-
numpy常用二元函数
np.dot(arr1,arr2)点乘
np.greater(arr1,arr2)比较if arr1>arr2
np.logical_and np.logial_or np.logical_xor相当于 与 或 异或
np.power(arr,3)幂
-
numpy聚合函数
arr.min() arr.max() arr.sum() arr.mean() arr.std()最小 最大 总和 平均 标准差
参数加上axis = 0按列算,axis = 1按行算
-
np.where函数,三元表达式x if condition else y的矢量化版本
语法:np.where(codition,x,y)
np.where([[True,False],[True,True]],[[1,2],[3,4]],[[9,8],[7,6]])
输出: [ [ 1 , 8 ] , [ 3 , 4 ] ]
-
unique去重
arr = np.array(['a','b','c','a','b'])
arr2 = np.unique(arr)
