Baseline学习及改进

因为我是大气科学专业的,对于预测时间序列所要用的神经网络的理解有限,但是对ENSO的成因,影响机制有一定的了解。因此,这里不从技术角度出发,而是从一篇《Nature》上的文章出发,讲一讲此次比赛可能用到的机器学习的方法,以及如何利用此次比赛提供的数据 (SST, T300, Ua, Va)。

希望这篇文章能给看到的同学一些启发,但不希望你们的思路被这篇文章局限住。

因为凑巧之前听了Jing-Jia Luo 老师的一个学术报告,得知这次比赛主要是他推动发起的,并且是基于以下这篇和其他两位作者合作的文章—'Deep learning for multi-year ENSO forecasts'。文章挺长,且里面涉及到很多专业名词和知识,看起来会比较繁琐。下面,我主要对这篇文章中用来预测时间序列的方法进行概括。(下文所用到的图片全部来自这篇文章)


作者进行ENSO预测选用的是卷积神经网络 (CNN),原因是CNN在处理具有空间结构的多维数组的数据方面成果显著(例如,识别彩图中的物体)。因此,CNN也适用于揭示三维预测场(这里可以是过去12个月的SST空间分布场, T300空间分布场,Ua, Va空间分布场)与需要预测的指数(这里是未来1-24个月的Nino3.4指数)之间的联系。


文中的CNN模型采用连续3个月0°–360° E, 55° S–60° N范围内的 SST 和 T300 相对于气候平均的异常值作为预测因子(predictor),Nino3.4指数作为预报量(predictand)。(关于为什么作者没有将Ua,Va也作为预报因子,作者在之前的一个学术报告里也提过:在他搭建的模型中,不使用Ua, Va,而仅用SST和T300得到的预测结果更好。但是我们可以考虑将Ua, Va也作为预测因子,起码可以尝试一下。)

事实上,真正通过观测所得的数据只有再分析资料(也就是比赛提供的SODA_train.nc 和SODA_label.nc,因为真正有气象观测大概是1871年开始)。但我们知道,训练神经网络这点数据量是不够的。因此,才有了CMIP5和CMIP6数据(这里提一下,文中作者只用了CMIP5的数据,CMIP6数据应该是后来模式(此模式非彼模式,CMIP5, CMIP6是一系列动力模式的集合,简而言之就是用现在已有的数据经过一系列物理方程推导得出未来可能的结果)跑出来得到的数据,然后提供给我们)。但由于CMIP_label.nc 中的数据是气候模式跑出来的,所以并不是完全准确,也就是说不能完全反映我们现实中的气候状况。因此文章中作者应用迁移学习的概念,先用CMIP跑出来的数据(CMIP_train.nc)来训练CNN模型,并将训练后的权重作为初始权重,用再分析数据(SODA_train.nc)接着训练,这样得到最终的CNN模型。CNN模型中的系统误差反应了CMIP数据中的系统误差,这在第二次用观测数据进行训练后得到了一定的修正。

本文作者不仅训练了CNN,还尝试了前馈神经网络 (NN)。文中对NN没有介绍,但给出了 CNN 和 NN 的预测效果对比,如下图所示。从图中可以看出,将CNN作为模型进行预测所得的结果比NN要好很多。


总的来说,用CNN做Nino3.4指数的预测比气候动力模式和NN都要好。因为CNN通过卷积过程成功提取了输入变量中的特征。此外,卷积过程允许CNN模型使用相对较少的气候样本进行训练。

下图是这篇文章中Method一节,其中主要介绍了搭建该CNN时的诸多细节,这一节中涉及到的气象方面的专业知识较少,感兴趣的可以读一下。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,029评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,238评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,576评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,214评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,324评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,392评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,416评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,196评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,631评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,919评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,090评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,767评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,410评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,090评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,328评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,952评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,979评论 2 351

推荐阅读更多精彩内容