视频来自 youtube 的 StatQuest with Josh Starmer,我翻了翻小破站,看看我发现了什么:基础篇...
因为去年技能树有做过一期学习statquest的活动,所以有一些大佬的笔记可以参考,比如详细视频翻译、思维导图等等,除了看视频外,我对于有些实在不理解的概念还翻阅了《白话统计》等等,视频看下就能明白的就不赘述了,开坑啦...
直方图
我们在记录一些数据的时候,可以用图形可以直观看到分布,比如直方图。
当然,除了直方图,还有饼图、柱状图、箱线图、散点图、密度图等等。
正态分布(Normal Distribution)
t分布
不是一个分布,而是一簇分布,随着自由度的变化而变化,自由度越小,t分布与正态分布偏离越大;当自由度很大(约30以上)的时候,t分布接近正态分布。
中心极限定理(Central Limit Theorem)
敲黑板!!补充理解
指给定一个任意分布的总体,每次从总体中随机抽样n个抽样,一共抽取m次,然后把这m组抽样分布求出平均值,这些平均值的分布接近正态分布。
- 总体的本身分布不要求正态分布
- 样本每组要足够大(一般认为每组大于等于30)
以抛掷骰子为例,随机生成10000次结果,结果的数字在1到6之间,计算这6个数字的频数,基本趋于平均。再从这10000次结果中,任取1000组,每组50例,再计算这1000组数的平均数分布,呈正态分布。
import numpy as np
import pandas as pd
from matplotlib import pyplot as plt
np.random.seed(1)
a = np.random.randint(1,7,10000) # 以投掷骰子结果
print(type(a))
# 建立一个数字对象 ndarray, 用于存放同类型元素的多维数组
print(np.mean(a),np.std(a))
## 3.5252 1.7113050458641206
data = pd.value_counts(a)
bins=range(1,7)
plt.bar(bins,data)
plt.title("histogram")
plt.show()
# 抽样 1000组每组50个
means = []
for n in range(1,1000):
sample = np.random.choice(a,50)
means.append(np.mean(sample))
print(np.mean(means),np.std(means))
## 3.526706706706707 0.24534967195126153
plt.hist(means)
plt.show()
如何展示你的数据
标准差和标准误
平均值 mean µ
标准差
样本离散程度的一个度量,用来描述数据的波动性。σ
按照中心极限定理,将正态分布记为 N(, )
标准误
衡量对应样本统计量抽样误差大小的尺度。
标准误越小,表明样本统计量与总体参数的值越接近,样本对总体越有代表性,用于统计推断。
(n为样本例数)
自由度(Degree of Freedom,df)
总体分母是n,样本分母就是n-1,n为例数,公式证明这样得到的才是无偏估计。
标准化、中心化
标准化就是计算Z值:
Z值反映了某个值 x 偏离均数 的标准差倍数,按照正态分布的规律,一旦标准化就成了以0为均数,1为标准差的标准正态分布。
中心化就是Z值的分子部分,x=0 就是 x=均值,使数值有意义。
总体参数(population parameter)
之前的那篇量包子的文章里,要研究的对象,食堂这段时间做出过的所有包子为总体,测量一小部分为样本,通过样本来对总体的统计特征做判断的方法为假设检验(参数的无偏估计)。
零假设 、备择假设
P-value
a p-value is the probability that random chance generated the data, or something else that is equal or rarer。
生成某数据的随机机率,或者是和这个机率相等或更小的值。
- 随机产生这个事件的概率
- 产生和该事件相同概率的其他事件
- 产生比该事件的概率更小的事件
与样本有关的指标称为统计量,与总体有关的指标称为参数,根据样本信息来估计总体信息,只能获得样本数据,来估计总体参数,这就是参数估计。
样本估计 —> 总体参数
-
点估计
计算样本均数、方差等,作为总体均数、方差等的估计值。
-
最小二乘估计 (Least Square Estimation)
主要用于线性回归的参数估计,求一个使得实际值与模型估计值之差达到最小的值作为参数估计值
-
最大似然估计 (Maximum Likelihood Estimation)
将带估计的参数看作确定的量,只是值未知,将使得产生训练样本的概率最大的参数值作为参数的最佳估计
-
贝叶斯估计
将带估计的参数看作符合某种先验概率分布的随机变量,通过观察样本,将先验概率密度通过贝叶斯规则转化为后验概率密度
-
-
区间估计
用一个区间来估计参数值。
Bootstrap 自举法
从给定训练集中有放回的均匀抽样,也就是说,每当选中一个样本,它等可能地被再次选中并被再次添加到训练集中。从初始样本重复随机替换抽样,生成一个或一系列待检验统计量的经验分布。 无需假设一个特定的理论分布,便可生成统计量的置信区间,并能检验统计假设。
-
95%置信区间
参数估计值 1.96 x 标准误
-
我的基础比较薄弱,做不到很快更新,缓缓再来,有同行的小伙伴嘛?
更多学习资源:
生信技能树公益视频合辑
生信技能树简书账号
生信工程师入门最佳指南
生信技能树全球公益巡讲
招学徒
...
你的宣传能让数以万计的初学者找到他们的家,技能树平台一定不会辜负每一个热爱学习和分享的同道中人 😎