过度拟合

有些人做过大量功课,掌握了丰富数据和资料,为什么他们的决策水平,反而不如大佬短短时间内的快速判断?难道说,对一个问题思考得多,反而可能没好处吗?

如果你的模型涉及到决策判断和预测未来,那么精确写实往往不如粗略写意。事实上,你的模型越写实,你的最终效果反而可能越差!数学家,管这个叫做“过度拟合”。

结婚以后,生活满意度随着时间的变化。曲线上有10个点,对应结婚第1年到第10年的数据。



据这10个点来预测人们结婚15年甚至20年之后的幸福度,应该怎么办呢?你就需要根据现有的10个点画出一条曲线,然后再把这条曲线按照原来的趋势延伸出去。画曲线发现趋势的这个动作,就叫“拟合”。



如果曲线只是时间的函数,那么一阶多项式,f(t)=a+bt,就是假设生活满意度只和时间的一次方有关。你也可以进行二阶多项式拟合,f(t)=a+bt+ct^2,也就是生活满意度不仅和时间有关,还和时间的平方有关。以此类推,你还可以考虑更高阶的多项式拟合。

九阶多项式拟合的结果是错的离谱。

过度拟合。你的模型想要一丝不苟地反映已知的所有数据,它对未知数据的预测能力就会非常差。这是因为所谓的“已知”数据,都是有误差的!精准的拟合会把数据的误差给放大 ——拟合得越精确,并不代表预测结果就越准确,拟合得过度精确后反而结果更加糟糕。

解决:

不要想忒多。

wwg


这篇学习了之后,感觉醍醐灌顶。

做投资市场这么多年,我经常犯这样的错误

具备发掘大牛公司的能力,也发掘了一大堆牛的公司。但是总体收益虽然也是在那5%的人,但是只有长期持有这些牛股的1/10。

最大的问题就是过度拟合。

信息爆炸的年代,总是跳出来各种各样的信息。

其实每日盯盘,也是造成信息过载的重要原因。

真正的一波长逻辑,自然会有过程中的回调等,只要不是核心因素,都是噪声。

很多时候说耐心不够,其实耐心是建立在一定的基础上,那就是对信息的去繁存简。对很多噪音的屏蔽能力。

很多年前看过这样一文,共勉。


《种树郭橐驼传》,唐代文学家柳宗元的传记作品


郭橐驼,不知道他起初叫什么名字。他患了脊背弯曲的病,脊背突起而弯腰行走,就像骆驼一样,所以乡里人称呼他叫“橐驼”。橐驼听说后,说:“这个名字很好啊,这样称呼我确实恰当。”于是他舍弃了他原来的名字,也自称起“橐驼”来。

他的家乡叫丰乐乡,在长安城西边。郭橐驼以种树为职业,凡是长安城里经营园林游览和做水果买卖的豪富人,都争着把他接到家里奉养。观察橐驼种的树,有的是移植来的,也没有不成活的;而且长得高大茂盛,结果实早而且多。其他种树的人即使暗中观察、羡慕效仿,也没有谁能比得上。

有人问他种树种得好的原因,他回答说:“我郭橐驼不是能够使树木活得长久而且长得很快,只不过能够顺应树木的天性,来实现其自身的习性罢了。但凡种树的方法,它的树根要舒展,它的培土要平均,它根下的土要用原来培育树苗的土,它捣土要结实。已经这样做了,就不要再动,不要再忧虑它,离开它不再回顾。栽种时要像对待子女一样细心,栽好后要像丢弃它一样放在一边,那么树木的天性就得以保全,它的习性就得以实现。所以我只不过不妨碍它的生长罢了,并不是有能使它长得高大茂盛的办法;只不过不抑制、减少它的结果罢了,也并不是有能使它果实结得早又多的办法。别的种树人却不是这样,树根拳曲又换了生土;他培土的时候,不是过多就是过少。如果有能够和这种做法相反的人,就又太过于吝惜它们了,担心它太过分了,在早晨去看了,在晚上又去摸摸,已经离开了,又回头去看看。更严重的,甚至用指甲划破树皮来观察它是活着还是枯死了,摇晃树根来看它是否栽结实了,这样树木的天性就一天天远去了。虽然说是喜爱它,这实际上是害了它,虽说是担心它,这实际上是仇视它。所以他们都不如我。我又能做什么呢?”

问的人说:“把你种树的方法,转用到做官治民上,可行吗?”橐驼说:“我只知道种树罢了,做官治民,不是我的职业。但是我住在乡里,看见那些官吏喜欢不断地发号施令,好像是很怜爱(百姓)啊,但百姓最终反因此受到祸害。在早上在晚上那些小吏跑来大喊:‘长官命令:催促你们耕地,勉励你们种植,督促你们收获,早些煮茧抽丝,早些织你们的布,养育你们的小孩,喂大你们的鸡和猪。’一会儿打鼓招聚大家,一会儿鼓梆召集大家,我们这些小百姓停止吃早、晚饭去慰劳那些小吏尚且不得空暇,又怎能使我们繁衍生息,使我们民心安定呢?所以我们既困苦又疲乏,像这样(治民反而扰民),它与我种树的行当大概也有相似的地方吧?”

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,444评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,421评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,363评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,460评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,502评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,511评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,280评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,736评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,014评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,190评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,848评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,531评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,159评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,411评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,067评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,078评论 2 352

推荐阅读更多精彩内容