概率与数理统计学习笔记2-假设检验

假设检验的目的：判断样本与样本，样本与总体的差异是由抽样误差造成还是本质差别造成；或是为了判断推断总体特征作出的假设是否应该接受

名词解释

显著性水平：原假设为真却被拒绝的概率（简称弃真概率）
提出相互对立的两个假设。原假设H0通常是要被反驳的假设，备择假设H1是认为相对正确的假设
检验统计量：统计量差值做过标准化之后的值（下文用差异标准值代替）
拒绝域：检验结果落入此区域会被拒绝

假设检验的验证方式有2种：

1.统计量值作判断：

根据实际情况，提出假设，通常是统计量之间的对比，比如样本1的平均值<=样本2的平均值。对统计量差值进行标准化操作，得到标准值。要判断差异标准值在什么范围算是显著差异，什么范围算是正常差异值，就规定一个k值作为判断差异值大小的衡量标准，也就是在差异标准值>=k时算是样本差异显著。但是不能直接判断出k值的大小，所以通过运用弃真概率控制在小概率的方法，得到差异标准值与k的比较结果，以此来拒绝或者接受原假设。

弃真是指原假设为真却被拒绝的情况，这种情况为不能消除的小概率事件，所以将差异标准值>=k（拒绝情况）的概率控制在a，a在概率密度曲线上的面积称为拒绝域，在原假设成立的情况下，比较差异标准值是否在拒绝域内，如果是，则证明差异显著，需要拒绝原假设，否则接受原假设。

2.p值作判断：

根据实际情况，提出假设，通常是统计量之间的对比，比如样本1的平均值<=样本2的平均值。对统计量差值进行标准化操作，得到标准值。和统计量值判断方式不一样的是，根据差值出现的概率判断是否是小概率事件，也就是判断是不是极端情况的出现。

要判断差值出现的概率在什么范围算是小概率，什么范围算大概率，就规定了显著性水平a作为判断标准，如果差值出现的概率比a大，说明是大概率范围事件，即抽样误差造成，所以接受原假设。如果差值出现的概率比a小，说明样本差值为极端情况，属于小概率事件。根据小概率事件原理，小概率事件是不会在一次试验中出现的，所以说明差值为本质差异，不是误差造成，所以拒绝原假设。

abtest假设检验运用操作流程：

实验背景：做abtest的项目介绍
1.1 实验策略：ab对比具体内容
1.2 策略目标：目的是为了改变什么
指标选择：
2.1 第一类指标：健康检验指标，为确保新上线策略不会发生原则性错误，并对每个指标确定一个dmin，实际最小变化，以防即使结果显著，但是对企业来说不切实际
2.2 第二类指标：希望有所变化的指标，和产品商业目标有关
2.3 收集基线数据：得到日常指标数据用做对比
样本选择：
3.1 选出ab实验样本：抽取4-5份流量空跑，对比指标，得到数据最接近的两组数据，作为ab实验样本总体数据
3.2 样本量计算：计算出多大的样本就能计算出样本间的差异，使用功效函数
3.3 确定样本量并开始做ab实验
abtest实验数据分析：
4.1 收集数据
4.2 估计统计量的总体分布：一般符合正态分布
4.3 结合实际判断检验类型：（类型总结在附录）
4.4 作出假设
4.5 计算结果分析：是否拒绝原假设，是否符合dmin
4.6 总结反思出报告

takeaway：

我自己在做了几次abtest假设检验之后有些反思和感悟：

假设检验本就是验证相近数据的差异是否显著，所以对于原数据相差较远的数据没有必要进行假设检验。所以检验前的描述性统计也很重要
样本估计是估计在一定概率下，能检测出数据显著结果的最小样本容量。是帮助减少第一类错误的方式，同时也帮助成本优化
置信区间与假设检验的关系就是可以互相印证的关系，置信区间计算出的结果是假设检验的非拒绝域，假设检验计算出的结果是置信区间的非区间域，置信区间用的是1-a，假设检验用的是a而已。

附录：

image.png

参考文献[推荐文章]：
[1] https://zhuanlan.zhihu.com/p/145416879
[2] https://zhuanlan.zhihu.com/p/128435866
[3] https://zhuanlan.zhihu.com/p/26810566
[4] https://www.jianshu.com/p/11f91c292bd1
[5] [概率论与数理统计（第四版）].盛骤&谢式千&潘承毅