你拍脑袋做的策略对吗?用统计学检验决策可信率

避免极端错误的决策发生

决策的制定是基于因果关系的调整,在制定决策前需要明确洞察因果关系。这时需要统计性假设检验的思维方式,帮助判断特定区间内的因果关系可信的概率。

统计性假设检验在做假设时不考虑0或1,这种全称性命题,也不考虑我们已经预判的结果的假设。而是要考察一个完全颠覆自己认为的结果的一个假设。

如果能够证明这个颠覆自己主张假设成立的概率微弱,就可以证明自己原有主张很可能是正确的。最后用p值衡量假设所描述的情况的概率。

简单理解就是做一个相反的假设,然后证明它不太可能发生。

为啥反着证呢,因为正着的时候一般数据量都很大,我们往往不能收集到那么多数据。比如“乌鸦都是黑的”,我们不能把所有乌鸦都抓过来看看颜色。那这样,我们反着假设“天下乌鸦黑色和非黑色各一半”,或者“天下乌鸦九成是黑的”,如果能够证明“乌鸦只有九成是黑的”不太可能成立,那八成,七层就更不可能了,同时也说明了“九成以上的乌鸦是黑的”是非常可能是成立的。

J·内曼把表示“不可能的原假设”和“无法否定的原假设”到底处于何种范围,定义为置信区间。

无论是何种类型的假设,我们都可以说明“该假设在哪种范围以外”是可以推翻的,“在哪种范围之内”是可信的。

统计学上,把“明明不存在差异却认为存在”的错误称为α错误,把“明明存在差异却没有发现”的错误称为β错误。可以理解α错误是过分激进的错误,β错误是过于保守的错误。(统计功效=1-β)

通过统计性假设检验让我们找到这些过分激进或者过分保守的错误,帮助决策者更好的洞察业务。

用z检验来避免过分激进的错误(比例)

利用数据量很大(数百至数千)时比例或平均值之差服从正态分布的性质,检验该差距是否因数据分散而偶然产生,这种假设检验的方法称为z检验。

看下图一组数据,如果不了解统计学,就很可能激进的得出结论。从交叉表中得出“参加过体育社团的人中成功人士较多”的结论,从占比图中得出“参加过体育社团的人更容易成功”的结论。

上面两个结论都太激进了,不能单纯从数量上就判定因果关系。我们通过统计性假设检验的思维方式来寻找因果关系。

假设:两者的升任率没有差别

步骤一:确定范围

我们要分析的范围,一定是我们所能收集数据的范围,否则得出的结论就会被以数据不完整为由轻易推翻。

先给自己画个圈,圈外的没有数据,也不能证明,以后都在圈里说事

步骤二:计算标准误差

这样就可以得出参加过体育社团并升任主任的概率在(21%±2×2.35%),即16.3%~25.7%之间。

同样的方法可以计算未参加过体育社团并升任主任的概率在(18.5%±2×2.75%),即13.0%~24.0%之间。

可见是否参加体育社团,在升任主任方面结合标准误差后看到有很大重合区域。在这种程度的误差下,两者比例之差到底是不是偶然的是难以判断的。

根据置信区间的思考方法,在5%显著性水平下,参加体育社团升任主任占比16.3%~25.7%,没参加的升任占比13%~24%,是无法否定的。

步骤三:比例之差的标准误差

我们的检验不是为了得到各组的升任率如何,而是为了知道哪组更容易升任主任。当两者升任率没有差别时,比例之差应该为0,接下来我们验证一下假设。

在多次抽取时,因为只要是从分散数据中算出的某个值,数据的比例或者平均值之差是服从正态分布的。就一定存在相对这个值的标准误差。因此,比例之差的标准误差也是存在的。

是否参加体育社团中主任占比二者的差是21%-18.5%=2.5%

根据置信区间的思考方法,在双侧5%的显著性水平下,参加过体育社团升任主人的占比高于未参加者9.8%(2.5%+2×3.65%),和参加过体育社团升任主人的占比低于于未参加者4.8%(2.5%-2×3.65%),都是无法否定的。结论是无法确定哪一方更高。

步骤四:计算假设成立的p值

我们假设“两者的成功率没有差别”,那么就意味着二者占比之差应该是0。

实际上求得的差是2.5%,标准误差是3.65%。计算得到2.5%偏离正太分布中心0.685(2.5%÷3.65%)个标准差。正态分布中偏离0.685个标准差的概率是25%(excel中用“=1-normsdist(0.685)”计算可得)。那在双侧检验的思考方式下就可以得出“两方差距大于0.685个标准差的概率”是50%。

也就是说,在“两者的成功率没有差别”这一原假设下,两组之间出现现在这种(2.5%或更大)的升任率之差“的概率是50%。

这个结果我们不能判断两组是否具有显著性差异。

为了进一步验证需要扩大数据范围,如果随着数据范围的扩大,升任率之差在增大,则说明某一方确实对升任有优势;如果随着数据范围扩大,升任率趋之差趋近于0,则说明我们看到的差真的是由偶然产生的。

用z检验来避免过分激进的错误(平均值)

平均值和比例是本质是相同的,z检验也可以用于考察平均值之差。看下面例子:

数据中可以发现,参加社团的人平均奖金比未参加社团的平均奖金高2W,我们用z检验来验证这个2W的差距是不是偶然产生的。

假设:是否参加社团奖金没有差别

步骤一二:是否参加体育社团奖金平均值之差是2W。

步骤三:是否参加体育社团奖金平均值之差的标准误差是9900

这样若以平均值±2SE的95%置信区间来表示这一结果,可以大致认为参加体育社团奖金高出0.02W(2W-2×9900)到3.98W(2W+2×9900)是不可否认的。

步骤四:计算假设成立的p值

计算得到奖金平均值之差2W,偏离正太分布中心2.02倍标准误差

计算可得出现的概率p=0.043(excel中用“=1-normsdist(2.02)”计算可得),这一数值低于显著性水平5%,表明 “平均奖金没有差别” 的原假设是十分不可能的。

商务中运用假设检验

对于商务人士来说,机遇和风险并存,需要通过已知的有限信息数据制定决策,承担风险,把握商机。基于数据的分析是有限的,市场的变化是无限的,“以有涯随无涯,殆已!”。

假设检验的p值和置信区间能告诉决策者,自己的判断是否很激进。但是,更需要决策者灵活运用它们,结合自己的经验和直觉制定策略。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,542评论 6 504
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,822评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,912评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,449评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,500评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,370评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,193评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,074评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,505评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,722评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,841评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,569评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,168评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,783评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,918评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,962评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,781评论 2 354