大师兄的数据分析学习笔记(二):探索性数据分析(一)

大师兄的数据分析学习笔记(一):关于数据分析
大师兄的数据分析学习笔记(三):探索性数据分析(二)

三、单因子与可视化

1. 集中趋势
  • 集中趋势是数据聚拢位置的一种衡量,主要有以下衡量值:
1.1 均值
  • 符号: \mu\overline{x}(样本均值)

1)简单平均数(mean)

  • 公式:\overline{x}=\frac{\sum_{i=1}^nx_i}{n}
>>>import numpy as np
>>>test_data = [1,2,3,4,1,2,3,1,2,1,5,6,1,1,2]
>>>mean = np.mean(test_data)
>>>print('平均数:', mean)
平均数: 2.3333333333333335

2)加权平均数(Weighted mean)

  • 加权平均数中每个点对于平均数的贡献并不是相等的,有些点要比其他的点更加重要。
  • 公式:\overline{x}=\frac{\sum_{i=1}^nw_ix_i}{\sum_{i=1}^nw_i}
  • w:权重
>>>import numpy as np
>>>def calculate_weighted_mean_np(data):
>>>    t = np.arange(len(data)) 
>>>    result = np.average(data,weights=t)
>>>    return result
>>>if __name__ == '__main__':
>>>   test_data = [1,2,3,4,1,2,3,1,2,1,5,6,1,1,2]
>>>   print('加权平均数:', calculate_weighted_mean_np(test_data))
加权平均数: 2.4095238095238094

3)几何平均数(Geometric mean)

  • 几何平均数通过值的乘积来指示一组数字的集中趋势或典型值。
  • 公式:\overline{G}=\sqrt[n]{x_1x_2...x_n}
>>>import numpy as np
>>>geometric_mean = np.power(np.prod(test_data),1/len(test_data))
>>>print('几何平均数:', geometric_mean)
几何平均数: 1.916473929999829
1.2 中位数
  • 按顺序排列的一组数据中居于中间位置的。
  • 公式:Q_\frac{1}{2}(x)=\begin{cases}x'_\frac{n+1}{2}, &\text{if $n$ is odd number.} \\ \frac{1}{2} (x'_\frac{n}{2}+x'_{\frac{n}{2}+1}), &\text{if $n$ is even number.}\end{cases}
>>>import numpy as numpy
>>>test_data = [1,2,3,4,1,2,3,1,2,1,5,6,1,1,2]
>>>median = numpy.median(test_data)
>>>print('中位数:',median)
中位数: 2.0
1.3 众数
  • 一组数据中出现最多的值。
>>>import numpy as numpy
>>>def descriptive_mode_numpy(list):
>>>    # [第1步] 获取 所有不重复的变量值 在 变量值列表 中的 出现频数
>>>    frequency_dict=numpy.bincount(list)
>>>    # [第2步] 获取 出现频率 最高的变量值
>>>    return numpy.argmax(frequency_dict)
>>>if __name__ == '__main__':
>>>    test_data = [1,2,3,4,1,2,3,1,2,1,5,6,1,1,2]
>>>    print('众数:',descriptive_mode_numpy(test_data))
众数: 1
1.4 分位数
  • 一组数据排序后处于Q_n位置上的值。
>>>import numpy as np
>>>test_data = [1,2,3,4,1,2,3,1,2,1,5,6,1,1,2]
>>>quantile = np.percentile(test_data,(25,75),interpolation='midpoint')
>>>print('下四分位数:', quantile[0])
>>>print('上四分位数:', quantile[1])
下四分位数: 1.0
上四分位数: 3.0
2. 离中趋势
  • 离中趋势是数据离散程度的衡量:
2.1 异众比率(variation ratio)
  • 用来衡量众数对一组数据的代表程度
  • 公式:V_r = 1- \frac{f_m}{\sum{f_i}}
  • f_m:众数组的频数
  • \sum{f_i}:总频数
>>>import numpy as np
>>>def calculate_frequency_of_mode(data):
>>>    frequency_dict = np.bincount(data)
>>>    return frequency_dict[np.argmax(frequency_dict)]

>>>def calculate_variation_ratio(data):
>>>    # 计算众数的频数
>>>    frequency_of_mode = calculate_frequency_of_mode(data)
>>>    # 计算异众比率
>>>    result = 1-(frequency_of_mode)/len(data)
>>>    return result
>>>if __name__ == '__main__':
>>>    test_data = [1, 2, 3, 4, 1, 2, 3, 1, 2, 1, 5, 6, 1, 1, 2]
>>>    print(‘异众比率:’,calculate_variation_ratio(test_data))
异众比率: 0.6
2.2 平均绝对偏差(Mean Absolute Deviation)
  • 各个变量值同平均数的的离差绝对值的算术平均数。
  • 公式:M_d = \frac{\sum{\mid{x_i-\overline{x}\mid}}}{n}
>>>import numpy as np
>>>def calculate_mean_absolute_deviation(data):
>>>    # 求平均值
>>>    mean = np.mean(data)
>>>    # 求平均差
>>>    result = sum([abs(x - mean) for x in data])/len(data)
>>>    return result
>>>if __name__ == '__main__':
>>>    test_data = [1, 2, 3, 4, 1, 2, 3, 1, 2, 1, 5, 6, 1, 1, 2]
>>>    print('平均绝对偏差:',calculate_mean_absolute_deviation(test_data))
平均绝对偏差: 1.2444444444444442
2.3 方差(Variance)
  • 描述数据的离散程度,也是数据离其期望值的距离。
  • 总体(样本)方差公式:\sigma^2 =\frac{\sum{(x_i-\overline{x})^2}}{n}
  • 样本方差公式:s^2 = \frac{\sum{(x_i-\overline{x})^2}}{n-1}
>>>import numpy as np
>>>test_data = [1, 2, 3, 4, 1, 2, 3, 1, 2, 1, 5, 6, 1, 1, 2]
>>>variance = np.var(test_data)
>>>print('方差:',variance)
方差: 2.3555555555555556
2.4 标准差(Standard Deviation)
  • 方差的平方根。
  • 公式:\sigma = \sqrt{方差}
>>>import numpy as np
>>>test_data = [1, 2, 3, 4, 1, 2, 3, 1, 2, 1, 5, 6, 1, 1, 2]
>>>standard_deviation = np.std(test_data)
>>>print('标准差:',standard_deviation)
标准差: 1.5347819244295118
2.5 标准分数(z-score)
  • 代表着原始分数和母体平均值之间有多少个标准差。
  • 在原始分数低于平均值时Z为负数,反之则为正数。
  • 公式:z = \frac{x_i-\mu}{\sigma}
>>>import numpy as np
>>>def calculate_zscore(x,data):
>>>    # 求平均值
>>>    mean = np.mean(data)
>>>    # 求标准差
>>>    std = np.std(data)
>>>    # 计算z-score
>>>    result = (x-mean)/std
>>>    return result
>>>if __name__ == '__main__':
>>>    test_data = [1, 2, 3, 4, 1, 2, 3, 1, 2, 1, 5, 6, 1, 1, 2]
>>>    print('标准分数:',calculate_zscore(test_data[0],test_data))
标准分数: -0.8687444855261388
2.6 四分位距(interquartile range)
  • 与方差、标准差一样,表示统计资料中各变量分散情形,但四分差更多为一种稳健统计。
  • 公式:Q_d = Q_U - Q_L = Q_3 - Q_1
>>>import numpy as np
>>>def calculate_QPR(data):
>>>    # 获取上下四分位数
>>>    Q_L = np.quantile(data,0.25,interpolation='lower')
>>>    Q_U = np.quantile(data,0.75,interpolation='higher')
>>>    result = Q_U - Q_L
>>>    return result
>>>if __name__ == '__main__':
>>>    test_data = [1, 2, 3, 4, 1, 2, 3, 1, 2, 1, 5, 6, 1, 1, 2]
>>>    print('四分位距:',calculate_QPR(test_data))
四分位距: 2
2.7 离散系数(coefficient of variation)
  • 是概率分布离散程度的一个归一化量度。
  • 只在平均值不为零时有定义,而且一般适用于平均值大于零的情况。
  • 公式:c_v = \frac{\sigma}{\mid\mu\mid}
>>>import numpy as np
>>>def calculate_coefficient_of_variation(data):
>>>    # 计算平均差
>>>    std = np.std(data)
>>>    # 计算平均值
>>>    mean = np.mean(data)
>>>    # 计算离散系数
>>>    result = std/abs(mean)
>>>    return result
>>>if __name__ == '__main__':
>>>    test_data = [1, 2, 3, 4, 1, 2, 3, 1, 2, 1, 5, 6, 1, 1, 2]
>>>    print('离散系数:',calculate_coefficient_of_variation(test_data))
离散系数: 0.6577636818983621
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容