气象对人类的生产生活有重大影响。全球变暖正在影响农作物的耕作范围和产量,部分作物种植面积更加北移,更高温度下耕作玉米产量更高;「巴山夜雨」背后是昼夜温度和湿度的共同作用独特现象;飞机出行中,如果能更加准确预报湍流,能降低人员伤亡和经济损失。本篇探讨下气象大模型的理解。
传统天气预报
几千年农业社会,古人总结出了二十四节气,不同节气的天气和农业行为不同。西方大航海时代,海上航行的顺利进行,倒逼天气预报科学的快速发展。
天气预报本质上是大气与海洋、陆地的相互作用下的运动,天气预报是将大气运动规律,抽象出满足空气动力学和热力学的偏微分方程组,并求解的过程。
对未来天气做预测依赖于当前时间天气状态的输入,这就依赖「初始场」。初始场本质上是通过各种利用观测数据和数据处理手段,模拟等效真实大气状态。因此需要对多源观测数据进行汇聚和处理,其中包含卫星、雷达、观测站、探空气球等,不同来源观测数据处理过程叫「同化」,目标是形成初始场给到偏微分方程求解得出天气预报。
在求解偏微分方程的过程中,天气系统存在多层次多尺度问题,有些物理过程限于当前科技水平并不明确(例如陆面湍流),会根据经验引入参数化方案近似求解。为了保证预报的鲁棒性,通常会在初始场叠加扰动,形成多个初始场和预报结果,最终综合各预报得出更加精准的天气预报,也即集合预报。
气象大模型
上一篇《AI 产品经理如何理解AI for Science?》,介绍了生成式AI技术最大特点是可以从海量数据中学习规律,并生成符合历史训练数据规律的数据,气象大模型也符合这样的应用,只是生成式AI应用的领域限于天气预报,而非自然语言。
利用过去几十年历史数据,采用生成式AI算法进行训练,得到气象大模型。气象大模型拥有AI模型的特征,能够将历史数据中常见的天气情况做到很好的拟合和平滑,有比较高的准确率。但对于小样本的极端天气,由于数据样本不足,需要特殊处理。
在一些数据指标和案例中,气象大模型相比传统气象预报明显准确率更高。底层的原理是,数据驱动的方法能够针对高维和非线性问题做到更好的拟合,而传统模式天气预报参数化过程依赖专家经验近似。
在天气预报计算过程中,传统模式天气预报需要超级计算机才能运算,对天气预报计算耗时和成本都比较高;而AI气象大模型主要的成本和时间都在训练阶段,一旦训练完成,气象大模型推理速度相当快,业内往往宣传在1w倍以上。
机理与AI融合
上篇讨论了AI4S在各行业和场景应用,天气预报也是典型的AI4S应用领域。天气预报问题可以抽象为两部分:有明确的物理约束关系,可以通过数学描述的部分Fa;目前物理约束关系不明确、无法用数学描述的部分、用参数化方法描述的Fb;天气预报F=Fa+Fb。
不难看出,参数化部分具有高维、非线性依赖人工经验的部分,天然是人力不可为,而AI非常擅长高维数据拟合的部分,因此从底层逻辑上讲,天气预报将全面进入机理+AI融合的发展阶段。
AI在天气预报中起作用的方式有两种:一种将AI作为传统模式预报的补充,将参数化部分进行AI建模和推理,弥补参数化本身不足;一种是替代偏微分方程整体,训练端到端的气象大模型,更为彻底的是将同化过程也通过AI更好实现。
当然AI本身也在朝着更加符合机理要求方向发展,在模型训练时,将数值模式约束加入损失函数训练,使得训练得到的模型天然符合物理约束要求。另外一种模式,是AI推理出的结果之后加一层数值模式约束。