大师兄的数据分析学习笔记(二）：探索性数据分析（一）
大师兄的数据分析学习笔记(四）：探索性数据分析（三）

三、单因子与可视化

3. 偏态与峰度

3.1 偏态系数

• 偏态系数是指对数据分布对称性的测度。

• 对称性分布数据的中位数和均值应该是非常接近或相等的；
• 换而言之，偏态系数就是计算偏态数据中位数和均值之间的关系。

• 偏态系数公式：
• 中等偏态
• 对称，无偏态
• 右偏， 左偏

>>>import pandas as pd
>>>test_data = [1, 2, 3, 4, 1, 2, 3, 1, 2, 1, 5, 6, 1, 1, 2]
>>>test_data = pd.Series(test_data)
>>>skewness = test_data.skew()
>>>print('偏态系数:',skewness)
偏态系数: 1.2150779271256849

3.3 峰态系数

• 峰态系数是对数据分布集中强度的衡量。
• 公式：
• 正态分布的峰态系数为3，如果一个数据的峰态系数小于1或大于5，则可以断定不是正态分布。
• K>0为尖峰分布。
• K<0为偏平分布。

>>>import pandas as pd
>>>test_data = [1, 2, 3, 4, 1, 2, 3, 1, 2, 1, 5, 6, 1, 1, 2]
>>>test_data = pd.Series(test_data)
>>>kurtosis = test_data.kurt()
>>>print(kurtosis)
0.6895144727113385

4. 数据分布简介

4.1 正态分布

• 统计学中常见的连续概率分布。
• 概率密度函数:
• 期望:
• 方差:

>>>import numpy as np
>>>import matplotlib.pyplot as plt
>>>from scipy import stats as ss

>>>mean,var,skew,kurt = ss.norm.stats(moments="mvsk")
>>>print(f"均值:{mean}")
>>>print(f"方差:{var}")
>>>print(f"偏态系数:{skew}")
>>>print(f"峰态系数:{kurt}")
均值:0.0
方差:1.0
偏态系数:0.0
峰态系数:0.0

>>>fig,ax = plt.subplots(1,1)
>>>x = np.linspace(ss.norm.ppf(0.01),ss.norm.ppf(0.99),100)
>>>ax.plot(x,ss.norm.pdf(x),label="norm pdf")
>>>ax.legend()
>>>plt.show()

4.2 卡方分布

• k个相互独立的随机变量 ，均服从标准正态分布（均值为0，方差为1），则这k个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为卡方分布（chi-square distribution）。
• 卡方分布可以用来检验模型的适合性和变量的独立性等。
• 数学定义：

• ;
• ;
• ~ ~

• 概率密度函数：

>>>import numpy as np
>>>import matplotlib.pyplot as plt
>>>import random
>>>from scipy import stats as ss

>>>x = np.linspace(0,20,100)
>>>for i in range(5):
>>>    plt.plot(x,ss.chi2.pdf(x,df=random.randint(1,10)),label=f"df{i+1}")
>>>plt.legend()
>>>plt.show()

4.3 t-分布

• t-分布是指正态分布的一个随机变量除以一个服从卡方分布的变量，用于根据小样本来估计呈正态分布且方差未知的总体的均值。
• 公式：
• 概率密度函数：

>>>import numpy as np
>>>import matplotlib.pyplot as plt
>>>from scipy import stats as ss

>>>x = np.linspace(-3,3,100)
>>>plt.plot(x,ss.t.pdf(x,1),label='df=1')
>>>plt.plot(x,ss.t.pdf(x,100),label='df=100')
>>>plt.plot(x[::5],ss.norm.pdf(x[::5]),'kx',label='normal')
>>>plt.legend()
>>>plt.show()

4.4 f-分布

• f分布是由构成两个服从卡方分布的随机变量的比构成，常被用于似然比检验。
• 如果随机变量有参数为 ，写作：~。
• 概率密度函数：

>>>import matplotlib.pyplot as plt
>>>from scipy import stats as ss

>>>x = []
>>>count = 0
>>>for i in range(50):
>>>    count = round(count+0.1,2)
>>>    x.append(count)
>>>plt.plot(x,ss.f.pdf(x,20,20),label='df=f(x,20,20)')
>>>plt.plot(x,ss.f.pdf(x,10,50),label='df=f(x,10,5)')
>>>plt.plot(x,ss.f.pdf(x,100,100),label='df=f(x,100,100)')
>>>plt.legend()
>>>plt.show()

5. 抽样理论

5.1 抽样方式

5.2 抽样误差与精度

(1) 抽样平均误差计算公式：

• 重复抽样：
• 不重复抽样：

• 假设对男学生体重进行抽样，共有学生2000人，男生平均体重70公斤，标准差15公斤，95.45%概率保证，估计平均重量的误差值：

>>>import math

>>>n = 2000
>>>d = 15
>>>m = round(math.sqrt((d^2)/n),2)
>>>print(f"平均重量误差值为{m}公斤")
平均重量误差值为0.08

(2) 估计总体时抽样数目的公式：

• 重复抽样：
• 不重复抽样：

• 假设对男学生体重进行抽样，共有学生2000人，标准差15公斤，误差不超过0.08公斤，95.45%概率保证，估计平均重量，需要多少学生样本：

>>>import math

>>>m = 0.08
>>>d = 15
>>>Z = 2
>>>N = 2000
>>>n = (N*Z*math.pow(d,2))/(1000*math.pow(m,2)+Z*math.pow(d,2))
>>>print(f"需要{n}个样本。")
需要1971.9544259421561个样本。