定量分析课程笔记

写在前面

周末在清华MEM连上了2天定量分析课程,感觉受益颇深。定量分析是有一套系统化的、严谨的方法去挖掘数据的内在关系、并通过严谨的检验方法来印证最初的假设、最终发现新的现实规律来指导后续的工作。也就是一个从数据(事实)中获取信息(知识)的过程。


MINITAB

一个统计分析软件,使我们做数据定量分析的主要工具,可以借助它来帮助我们描述数据、探索数据的关联、最终检验(确定)这种关联。有30天试用期。


箱线图Box-Plot

箱线图从上到下的几个点分别为:max(最大值)、1st quarter(四分位数)、median(中位数)、3rd quarter(四分位数)、min(最小值),可能还会包含工具帮我们识别出来的singular point(奇异点)。图形有点类似K线,但是表示的意义不一样。如果按照箱线图的规则去定义K线或许能让投资者了解到交易价格的分布,而不是仅仅关注价格。

使用场景:给定了几个不同品牌地毯耐用度(平均寿命)的测量数据,如何去判断哪种比较耐用呢?箱线图可以帮助我们直观的感受几组数据,比单单从平均值来判断更加全面

4种地毯使用寿命的箱线图

minitab中的位置:图形->箱线图


直方图Histogram&正态分布

直方图很早就一直在接触,能够反映样本值在不同区间的分布情况。我们可以把它用在判别给定数据是否符合正态分布上。现实生活中很多东西都是符合正态分布的,结合直方图,我们通过观察可以识别数据中的一些问题。

使用场景:课上有这样一个例子,一个科学家怀疑一家面包店偷工减料,这家面包店声称自己用20直径的模具做面包。科学家采集了一定量的数据,发现平均值明显小于20,于是找到了面包师,面包师不服,要求重新取样来统计,第二次的平均值超过了20。

分别把两次数据的制作成直方图来看,发现第一次的数据基本符合正态分布 ,而第二次的数据像是正态分布的右半段。推测:面包师很可能对第二次的数据做了手脚,把直径大于20的面包单独挑了出来。

前后两次面包直径频率直方图

minitab中的位置:图形->直方图


正态性检验

除了直接从直方图中观察数据是否符合正态分布,我们也可以借助minitab的正态性检验来做。

使用场景:人工降雨是否有效?随机选取了52片云彩,26次实施人工降雨、26次不实施。分别记录降雨量,用箱线图和直方图来看,可以大概看出人工降雨会有一些优势。

人工降雨与非人工降雨的比较
非人工降雨
人工降雨

为了更加深入发掘降雨量的规律,我们先对两组数据分别进行正态性检验

非人工降雨正态性检验
人工降雨正态性检验

图上可以看到,两组数据正态分布的假设p值都<.005,假设不可信。两组数据都不符合正态分布。

minitab中的位置:统计->基本统计量->正态性检验


Box-Cox变换

Box-Cox变换是统计建模中常用的一种数据变换,用于连续的响应变量不满足正态分布的情况。Box-Cox变换,变换之后,可以一定程度上减小不可观测的误差和预测变量的相关性。我的理解是这样的:真实世界中的很多误差(残差)都是遵循正态概率分布的,但是我们在观测计量某种数据的时候是在用人类文明发展过程中创造出来的单位(尺度)来度量,最终数据按照人所方便理解的形式被测量出来,但这两者其实有某种数学上的联系。Box-Cox变换就是试图找到这种联系。

Box-Cox转换公式

还是上面人工降雨的例子,Box-Cox分析图如下。可以看出95%置信区间在-0.08到0.17之间,这里可以用0取整。代入上面公式,可以用log来做变换。

人工降雨案例Box-Cox图

经过变换后P值较大,无法拒绝两组数据符合正态分布的假设。

ln(Unseeded_Clouds)正态性检验
ln(Seeded_Clouds)正态性检验

这个时候我们再用箱线图去比较两组数据,会更加的清晰和直观。

Box-Cox变换后的箱线图

minitab中的位置:统计->控制图->Box-Cox变换。


结语

今天就先写这些,因果关系的论证、假设检验以及回归分析与预测的一些方法,后面再总结。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,919评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,567评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,316评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,294评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,318评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,245评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,120评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,964评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,376评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,592评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,764评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,460评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,070评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,697评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,846评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,819评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,665评论 2 354

推荐阅读更多精彩内容