AB测试原理(五)非参数检验(2)

1. Wilcoxon Signed-rank test

前提:若数量型匹配(成对)样本观测值若成对称分布,可以用Wilcoxon检测两个总体中位数差异

目标:检测差值成对称分布的两个总体中位数是否有差异:

(1) 给定N对样本观测值,其中一个来自总体1,一个来自总体2

(2) 对两总体中位数之差进行检测,

H0: 总体1中位数-总体2中位数=0 , H1:总体1中位数-总体2中位数≠0

(3) 计算每对差值

(4) 以差值绝对值顺序得到秩(rank)

(5) 以差值符号作为秩的符号,得到符号秩

(6) 所有正的符号秩之和为随机变量T^+, 计算得值为t^+_0T^+作为随机变量服从N(\mu_{T^+}, \sigma_{T^+}),

\mu_{T^+} = \frac{n(n+1)}{4}, \sigma_{T^+} = \sqrt{\frac{n(n+1)(2n+1)}{24}} ,   n>= 10

(7) t^+ 是 t^+_0的连续矫正后的值,  

若 t^ >\mu_{T^+}, p-vlaue=2*(1-P(T^+ >= t^+)) = 2*(1-P(z>=\frac{t^+-\mu_{T^+}}{\sigma_{T^+}}))

若 t^+ <\mu_{T^+}, p-vlaue=2*P(T^+ <= t^+) = 2*P(z<=\frac{t^+-\mu_{T^+}}{\sigma_{T^+}}),                                 (8). p-value<α, 拒绝H0(中位数有差异),否则无法拒绝H0。

2. Mann-Whitney-Wilcoxon test

前提:数量型、顺序型数据,不需要假定总体服从正态分布

目标:检测量总体是否有差异

(1) 给定来自总体1的n1个样本,来自总体2的n2个样本,和两个总体同一维度的观测值

(2) H0:两总体相等, H1:两总体有差异, 指定显著性水平α的值

(3) 将全部样本混合,排序,得到每个样本的秩,同序采用平均秩值

(4) 分别计算两个总体的样本秩和R1、R2, 以总体1样本集的秩和作为检验统计量W

(5) 当两个样本容量都大于或等于7时,W的抽样分布可以用正态分布近似,即W ~N(\mu_w, \sigma_w)\mu_w = n_1(n_1+n_2+1)/2, \sigma_w = \sqrt{n_1n_2(n_1+n_2+1)/12}

(6). 若 W>\mu_w, p-value=2*P(W>=R_1)=2*(1-P(z>=\frac{R_1-\mu_w}{\sigma_w})

若 W <= \mu_w, p-value=2*P(W<=R_1)=2*P(z<=\frac{R_1-\mu_w}{\sigma_w})       

 (7). 若p-value<α,拒绝H0(两总体有差异), 否则不能拒绝H0

若量总体形态相同,MWW可用于两总体中位数差异的双侧、单侧检验,

 即H0:中位数1- 中位数2=0, H1:中位数1-中位数2≠0。

3. 克鲁斯卡尔--沃利斯检验

前提:数量型、顺序型数据,不需要假定总体服从正态分布

目标:对K个总体的K个独立随机样本集的分析

(1) 来自K个总体的K个独立随机样本集的观测值

(2) H0:所有总体相同;H1:并非所有总体都相同, 指定显著性水平α

(3) 将所有数据混合排序得到所有样本值的秩,同序采用平均秩值

(4) 分别计算来自K个总体的样本秩和R1,...., Rk

(5) 计算统计量H=(\frac{12}{n_T(n_T+1)}\sum_{i=1}^k \frac{R_i^2}{n_i})-3(n_T +1) , n_T = \sum_{i=1}^k n_i

(6)  当每个总体容量都>=5, H的抽样分布近似服从自由度为k-1的\chi^2分布, 利用\chi ^2分布求p-value

(7)  若p-value<α,拒绝H0(k个总体不全相同), 否则不能拒绝H0

若k个总体形态相同,可用于k个总体中位数是否相同的检测。

4. 秩相关 Spearman rank-correlation coefficient (相关性检测)

目标:两个变量的相关关系是否显著的检测

(1) 对两个变量分别排序得到每个样本每个变量值的秩;

(2) 计算样本集两个变量的Spearman 秩相关系数, r_s = 1-\frac{6\sum_{i-1}^n d_i^2}{n(n^2+1)}, 推断总体变量1和变量2的相关秩为\r_s

(3) H0: H0: \r_s = 0, H1:\r_s \neq 0 , 确定显著性水平α;

(4) 当n>=10时,r_s的抽样分布近似服从N(\mu_{r_s}, \sigma_{r_s}), \mu_{r_s} = 0, \sigma_{r_s} = \sqrt{\frac{1}{n-1}}

(5) 若r_s>\mu_s, 2*(1-P(z>= \frac{r_s-\mu_s}{\sigma_s}))若r_s<=\mu_s, 2*(P(z<= \frac{r_s-\mu_s}{\sigma_s}))

(6) 若p-value<α,拒绝H0(即总体的变量1与2显著相关), 否则不能拒绝H0。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,033评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,725评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,473评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,846评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,848评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,691评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,053评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,700评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,856评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,430评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,034评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2 343

推荐阅读更多精彩内容