《赤裸裸的统计学》读书笔记

由于最近工作上都做数据分析的内容,所以根据众产品大神推荐的数据分析应读书单找了不少书来充电。《赤裸裸的统计学》是第一本,它的作者是Charles Wheelan,一名财经记者,他尝试着用通俗易懂的笔法和具体的例子来向读者介绍一些统计学的基础理论。同时也是向另一本类似风格的统计学书籍——《统计数字会撒谎》致敬。

图片来自网络

读完后,个人觉得部分内容有一定统计学基础的人才比较容易理解,但整体而言,全书还是能符合作者的初衷的。现将部分自己可以理解且可能对数据分析工作有启发的内容摘录如下。

1 描述统计学

作者在这章中提出了平均数、中位数、百分位数和标准差等几类常用于事实描述的数据。
平均数:用于描述整体情况的基础数据。例如想知道全体用户的活跃情况,可以看人均每天访问次数。
中位数:用于描述数据集中的趋势。例如用户每天访问次数中位数是2,证明至少有一半的人的每天访问次数是≤2的。
百分位数:用于描述某个数据在整体数据中的位置,例如某个数据是25百分位数,证明有25%的数据是小于该数据,75%的数据是大于该数据。
标准差:用于描述一堆数据的离散情况,越大越离散。

2 相关性和相关系数

如果两类数据有相关关系并不等于是因果关系,举例:家里有超过3台电视的孩子教育水平要更好,并不是指电视越多教育水平就越高。有可能是家里电视多的,证明家里富裕,用于孩子教育的钱会更多。

3 概率和期望值

这章帮我回顾了大学课程《概率论》中关于期望值的内容,总结出两个观点:
①通过量化后的回报(期望值)对比成本来做决策,举例:投入20万,有70%的概率获得200万,30%的概率只剩2万。那期望值=200×70%+2×30%=140.6万,也就是回报的期望值是远大于20万的。
②大数定律,即随着试验次数的增多,结果的平均值会越来越接近期望值。第一点中举例的例子虽然回报的期望值远大于投入,但是可能你却只够钱投一次,那么风险还是很大的。但是如果你有钱投个十次八次,那么绝对是值得投的。

4 蒙提霍尔悖论(又叫三门问题)

很有趣的一个统计学问题:

百度百科:三门问题(Monty Hall problem)亦称为蒙提霍尔问题、蒙特霍问题或蒙提霍尔悖论,大致出自美国的电视游戏节目Let's Make a Deal。问题名字来自该节目的主持人蒙提·霍尔(Monty Hall)。参赛者会看见三扇关闭了的门,其中一扇的后面有一辆汽车,选中后面有车的那扇门可赢得该汽车,另外两扇门后面则各藏有一只山羊。当参赛者选定了一扇门,但未去开启它的时候,节目主持人开启剩下两扇门的其中一扇,露出其中一只山羊。主持人其后会问参赛者要不要换另一扇仍然关上的门。问题是:换另一扇门会否增加参赛者赢得汽车的机率?如果严格按照上述的条件,即主持人清楚地知道,哪扇门后是羊,那么答案是会。不换门的话,赢得汽车的几率是1/3。换门的话,赢得汽车的几率是2/3。

以后有机会碰到类似的问题时,是不是知道该怎么做了?

5 数据和偏见

统计学在研究问题时,需要搜集数据,搜集数据的类型有两类:纵向数据和横向数据。
纵向数据:指时间维度的纵向,对观察对象持续观察数年甚至数十年来搜集数据。
横向数据:指空间维度的横向,对于不同地方的观察对象采集数据。

在进行数据分析时,容易犯下以下偏见。
选择性偏见:即以偏概全,搜集到的数据并不能代表全体。
发表性偏见:肯定性的数据结论要比否定性的数据结论更容易发表。
记忆性偏见:通过回忆得到的数据,谁也无法确保准确性。
幸存者偏见:数据样本在观察期没有从头到尾保持一致,例如一个班的平均成绩越来越高是通过差生辍学来实现的,班级的实际成绩水平并没有得到真正的提高。
健康用户偏见:以单方面的因素来得出结论,例如定期吃维生素的人更加健康,但有可能是定期吃维生素的人还会定期运动等等。

6 中心极限定理

中心极限定理的核心要义就是,一个大型样本的正确抽样与其所代表的群体存在相似关系。而正确抽样一定要做到真正随机。

7 统计推断和假设验证

进行数据分析的时候,我们通常会有正向思维和反向思维两种方法。
正向思维就是指统计推断:统计推断是一个让数据说话、让有价值的结论浮出水面的过程。
反向思维就是假设验证:从逻辑学来看,如果我们能够证明某个零假设不成立,那么其对立假设(又称备择假设)肯定为真。

8 回归分析和线性关系

回归分析能够在控制其他因素的前提下,对某个具体变量与某个特定结果之间的关系进行量化。也就是说,我们能够在保持其他变量效果不变的情况下,将某个变量的效果分离出来。应用到实际的数据分析工作中就是A/B测试,在执行A/B测试的过程中一定要控制好只有一个自变量。
通过最小二乘法得出的OLS 直线可以让所有数据的残差平方和为最小,从而求出自变量和因变量的线性关系图

附录

《赤裸裸的统计学》部分内容
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,012评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,628评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,653评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,485评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,574评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,590评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,596评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,340评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,794评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,102评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,276评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,940评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,583评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,201评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,441评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,173评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,136评论 2 352

推荐阅读更多精彩内容