你还记得吗?这几个重要的初中公式
1. 方差: 组内差异,一般为一维数据
标准差(均方差、均方根差)【总方差】: 反映检测值与样本平均值间的偏差,为有偏估计。
在实际情况中,总体均值很难得到,往往通过抽样来计算,于是有样本方差S(无偏估计)
def cal_vars(X):
""" 计算方差, 标准差 """
m = sum(X)/len(X)
varX = sum(map(lambda i: abs(i - m)**2, X))/len(X)
stdX = math.sqrt(varX)
return varX, stdX
### 手动计算
X = np.arange(10)
v, s = cal_vars(X)
print(f"方差1: {v}, 标准差1:{s}" )
### numpy 计算
varX = np.var(X)
stdX = np.std(X, ddof=0)
print(f"方差2: {varX}, 标准差2:{stdX}" )
print(f"方差3: {varX}, 标准差3:{math.sqrt(varX)}" )
''
方差1: 8.25, 标准差1:2.8722813232690143
方差2: 8.25, 标准差2:2.8722813232690143
方差3: 8.25, 标准差3:2.8722813232690143
''
2. 数学期望E(xi)
数学期望:离散型随机变量 xi 和对应概率的乘积。公式如下:
应用场景
3.协方差:组间差异,描述多维数据
概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。
X = np.arange(5)
Y = np.array([10, 12, 14, 16, 18])
plt.figure(figsize=(12,6))
plt.subplot(131) ,plt.bar(X, X), plt.title("X")
plt.subplot(132) ,plt.bar(Y,Y), plt.title("Y")
plt.subplot(133) ,plt.plot(X,Y, 'o:'), plt.title("X vs Y")
covX = np.cov(X, ddof=0)
covY = np.cov(Y, ddof=0)
covXY = np.cov(X,Y, ddof=0)
print(f"X协方差:{covX}, Y协方差:{covY}, XY斜偏差: {covXY}")
##
方差:2.0,协方差:2.5
X协方差:2.0, Y协方差:8.0, XY协偏差: 4.0
X, Y 协方差为4.0 ,是正相关,从上面的图像我们也可以看到像x,y 变化是一致的。
注意:numpy cov 默认自由度为1.
协方差矩阵:[[2. 4.] [4. 8.]], 既然协方差反应了相关性,那我们怎么衡量呢?皮尔逊相关性, 很简单,用协方差除以标准差即可,就是协方差归一化的过程:
4.标准误:衡量抽样误差,越小代表抽样数据越能反应总体的特征
5. 均方误差(Mean Squared Error,MSE):均方误差是指参数估计值与参数真值之差平方的期望值。
6. 均方根误差(Root Mean square Error, RMSE): MSE的平方根,反映真实值和预测值间的偏差。
7.平均绝对误差(Mean absolute Error, MAE): 真实值与预测值绝对误差的平均值,与标准差相比,MAE离差被绝对值化,不会出现正负相抵消的情况,更好地反映预测值误差的实际情况。
今天就分享到这里, 我是paperClub。
备注:WeiXin 搜索paperClub, 添加关注并回复【paperClub】即可获取使用方法。
1. 感谢各位小伙伴的关注, 您的点赞、鼓励和留言,都是我深夜坚持的一份动力,无论褒贬,都是我们行进途中最好的回馈,也都会被认真对待。
2. 我将持续分享各类、好玩且有趣的算法应用及工程和项目,欢迎分享和转发。沟通、学习和交流,请与我联系,虽然平时忙,但留言必回,勿急,感谢理解!
3. 分享内容包括开源项目和自研项目,如在引用或使用时,考虑不周、遗漏引用信息或涉及版权等,请您及时联系。如果您对某些内容感兴趣,我们可以一起讨论、交流和学习。