在做有一个项目时,发现AB测试的波动很大,虽然实验组的平均指标要好于对照组,但这种幅度的波动让人不踏实,于是想到了假设检验。我粗略理解假设检验的思想,不过因为大学没有学过,一上来就遇到了问题:我想检验实验组的指标大于对照组,但是看了些百度搜索的结果,都是检验某个统计量是否等于某值的情况。难道这种大于或小于的检验不普遍吗?果断google之,一下就找到了:https://www.analyticsvidhya.com/blog/2021/07/t-test-performing-hypothesis-testing-with-python/
原来检验分为双边和单边检验,双边检验的假设是A=B,备择假设是A!=B,两边都有拒绝域。而单边检验的假设是A=B,备择假设是A>B或A<B, 拒绝域只分布在一边。具体可以见这个:https://sphweb.bumc.bu.edu/otlt/mph-modules/bs/bs704_hypothesistest-means-proportions/bs704_hypothesistest-means-proportions3.html
这里用的是T检验,T检验有几种方式,一是单样本T检验,就是样本均值与常数的比较。二是两样本的T检验,就是两样本均值的比较。这里依据两样本是否能一一对应(配对),又分为独立样本T检验和配对T检验,这里我发现配对T检验的结果,等于对两样本的差做与0的检验。关于这几种类型的详细说明可见:https://blog.csdn.net/m0_37777649/article/details/74938120
最后说下大于或小于的判断,看t_value就可以了。以python对的scipy库为例,想检验数组R均值是否大于常数a, 直接调用stats.ttest_1samp(R, a),会返回t_value和p_value, t_value>0且p_value小于显著性值(一般是0.05),才表示R均值确实大于a。
关于假设检验的记录
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- Chapter 6 Hypothesis Test 本篇是第6章,内容是假设检验。 1.基本思想 我们还是从问题开...
- “假装自己是学霸,像学霸一样早起、去图书馆、去看书,后来,你就成了学霸!” 文:蓝兔子读难NOTES 图: 配图 ...