统计概率思维:描述统计学

Live 简介:

  1. 谁适合本课程?
    想用统计概率思维提升认知,在生活、工作中应用的你;
    想从零开始学会数据分析,实现升职加薪或者转行数据分析的你,零基础即可加入。
  2. 你将从本次课程中学到什么?
    人工智能时代,你天天看到各种推送的新闻和数据,如何看懂数据才是发现你未来机会的当务之急。

内容大纲:

  • 学习统计学对你人生的重要意义是什么?
    你将了解:究竟什么是统计概率?为什么要学习统计学?在实际生活中对我有什么用?
  • 集中趋势:均值、中位数、众数
    案例:你的工资为何被平均了?
  • 差异性:如何使用标准差定量分析数据的分布
    案例:如何从数据中识别出异常值?
  • 归一化:使用标准分将分布转化为标准正态分布
    案例:你家孩子考试成绩是进步了还是退步了?
  • 你将挑战的实战项目:如何用Python对数据进行描述分析?

1、简介:什么是描述统计学?有什么用?

Q:学习统计学有什么用?
A:现在统计学已经是人工智能的基础知识,它同样是投资领域的核心技能,所以统计学是我们进入下一个时代的入口

两条有价值的信息:

  • IT行业平均工资首次超过金融行业,位居各个行业的首位。这表明IT技术已经成为了各行业的基础设施,以技术驱动的新经济特征日益显著。人才、资金往IT行业流动就很正常了。所以我们在未来进行职业选择的时候,最好选择与互联网相关的行业。
  • 个人收入为什么与平均值相比差那么多呢?
    详见"第二章 平均值:你的工资为何被平均了?"

什么是描述统计学:描述统计学就是用几个关键的数字来描述数据集的整体情况。

描述数据集常用的4个指标:平均值、四分位数、标准差、标准分。


2、平均值:你的工资为何被平均了?

平均值的缺点是:它对异常数据不敏感。这也是为什么我们不应该用人均收入来衡量中国各个行业的平均收入。因为在收入分配的顶端有着一群人,他们的收入非常高,普通人的收入会被这些“土豪”的光环所掩盖。综上:当数据集中有异常数据时,用平均值描述是不准确的。


3、四分位数是什么?


4、案例:分析就餐人员距离


5、如何绘制箱线图?

箱线图(四分位数)的第1个应用:比较不同类别数据集的整体情况

上图第1个箱线图是对不同城市数据分析师的薪酬比较,横轴是对数据分析师需求排名前6的城市,纵轴是每月的薪酬。通过比较发现:这6大城市的薪酬分布情况总体来说是比较集中的(中位数相差不多)。深圳薪酬分布中位数大约在15K左右,居全国第一位;其次是北京,大约是12.5K;之后是上海和杭州。所以说深圳确实是一个创造奇迹的城市,如果以后想在数据分析师的方向发展,留在深圳是一个不错的选择。

上图第2个箱线图是不同工作经验的薪酬比较,其中横轴是工作年限,纵轴是薪酬。通过比较发现:随着工作年限的上升,薪资待遇的上升也是非常明显的,尤其是3~5年这一段提升的跨度非常大。另外,从现有的数据来看,数据分析师似乎是个常青的职业方向,在10年内,大概不会因为年龄的增长而导致收入下降,反而会导致收入的急剧上升。

这里只要理解箱线图的原理和应用即可,如何使用Python绘制箱线图留待后面的数据可视化课程中详细介绍。


6、案例:如何从数据中找出异常值?

箱线图(四分位数)的第2个应用:识别出可能的异常值

处理异常值的3种办法:

  • 异常值可能是一个被错误标记记录的数据值,我们就可以在进一步的数据分析之前把它修正;
  • 异常值可能是一个被错误包含在数据集中的值,我们就需要将这个异常值删除;
  • 异常值可能是一个反常的数据值,它被正确记录到数据集中了,这种情况下它就应该保留。

识别出可能异常值的方法:Tukey's test 方法


7、练习:绘制箱线图

练习:在草稿纸上绘制前面房间温度案例里的箱线图,掌握以下内容:
1)什么是四分位数?
2)如何绘制箱线图?
3)箱线图有什么用?


8、标准差:衡量数据集的波动大小


9、如何衡量NBA球员的稳定性?

1)标准差的单位与相应计算数据的单位是相同的;
2)取决于用标准差做什么事情。如果研究的是生产机器的标准零件,这样标准差小一点好;如果研究的是大公司的工资,这样标准差大一点好。


10、案例:如何衡量股票波动大小?

无风险回报:银行存款、国库券这些比较稳健的投资回报。

夏普比率越高说明投资相对而言回报越高,风险越低。

图中的表格是这么几个国家的股指基金最近10年的夏普比率。可以看出:美国的股市表现是最好的,中国排在了第二名。股市的风险是非常大的,在10年的范围内,即使表现最好的美国股市,它的夏普比率是0.47,约等于0.5。这个数值说明波动性几乎是回报的2倍,也就是说风险几乎是回报的2倍。排在第一位的美国股市它的风险已经是回报的2倍了,中国和德国股市的风险几乎是回报的5倍左右。所以我们感觉股市像过山车一样也就不奇怪了。至于其他一些发达国家,在过去的10年,股市几乎没有回报,只有波动。


11、标准分:对数据集进行归一化处理

标准分(z-分数或标准化值)表示【某个数值】距离平均值多少个标准差。


12、案例:如何用标准分进行质量管理?

这个标准差,通常用每百万次采样数的缺陷率来衡量。
1个标准差就是每百万件抽样中,有69万个不合格,相当于一本书每页有170个错别字。
3个标准差就是每百万件抽样中,有6.7万个不合格,相当于一本书每页有1.5个错字。
6个标准差就是每百万件抽样中,有3.4个不合格,相当于整个小型图书馆的所有藏书中,只有1个错别字。


13、练习:如何通过财经网站分析股票数据?

当在电脑前面时,再打开财经网站(长按此处可以复制):https://finance.google.com


14、练习:如何通过编程分析股票数据?


15、总结:一句话记住知识

查理·芒格是一个完全凭借智慧取得成功的人。在《穷查理宝典》中他说:首先必须掌握基础的数学知识,如果不能把数学变成生活的一部分,就是把巨大的优势拱手送给别人。要学会应用复利原理、排列组合、概率方法和决策树理论。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,657评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,889评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,057评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,509评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,562评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,443评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,251评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,129评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,561评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,779评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,902评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,621评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,220评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,838评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,971评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,025评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,843评论 2 354

推荐阅读更多精彩内容