近日，南京信息工程大学张荣华教授团队在Science Bulletin(IF=18.8)2024年第15期上发表论文“A transformer-based coupled ocean-atmosphere model for ENSO studies”，报道了一个纯数据驱动、基于transformer构架的海气耦合模式（命名为3D-Geoformer），并用于ENSO相关的三维海温场及其与海表风场等多变量耦合的表征和预测，对基于人工智能（AI）的ENSO跨年度预测首次成功实现了从单一变量、单点时间序列到多变量、三维立体场预测的重要跨越，展示出对ENSO预测、可预报性和可解释性研究等显著优势，为热带海气相互作用研究提供了一个创新的模拟平台。

-----------------------------------------------------------------------------------------------------

厄尔尼诺-南方涛动（ENSO）是气候系统中最显著的年际异常信号，起源于热带太平洋中海洋与大气间的相互反馈及耦合，包括次表层温度异常跨洋盆的时空演变及其与海表温度（SST）和海表风场间的相互作用，这些过程为ENSO可预报性提供了年际记忆能力，是进行ENSO预测的物理基础。目前已经研发了基于数理方程的海洋-大气耦合模式，能合理表征与ENSO相关的海气耦合过程，并且已被广泛应用于ENSO研究，包括基于物理的动力模式对ENSO的成功模拟和预测，但当前在实时预测方面仍存在明显的局限性，如何利用海气耦合的动力模式来及时而有效地改进ENSO预测技能仍是学术界和气候预测业务部门等面临的一大挑战。

近来基于深度学习（deep learning; DL）的建模及在地球科学中的应用已取得了巨大的进展。如已在简单的ENSO指数预测中所显现的，DL模式在ENSO预测方面明显优于动力模式，但当前基于DL的建模及对ENSO的预测大多是从输入端到输出端间的直接关系来进行的，其中间环节缺少海气相互作用的显式表征，如从输入场推算出输出场时未显式考虑海气变量间的交换和耦合过程，使得在ENSO建模及其预测时，还未能充分表征热带太平洋中与ENSO过程相关的海洋-大气间强迫、响应、反馈和相互作用。

最近，该团队研发了一个基于注意力机制的新颖transformer模式（命名为3D-Geoformer），具有几个引人注目的特色和优势。从科学层面上，选取了热带太平洋中与ENSO动力过程密切相关的几个关键变量作为输入场（预报因子）和输出场（预报变量），包括上层海洋150米中的三维温度、东西向和南北向海表风应力一起（总共有9个场），用于ENSO相关的多变量耦合过程的表征。在技术层面上，采用了一种目前DL领域中广为流行的transformer架构，其中包含了一个特定的时间-空间自注意力机制，通过学习输入预报因子与输出预报变量之间的相互影响来有效捕获变量间非局部相互关系。进一步，预测过程也是以与动力模式相类似的滚动方式来进行的：在从预报因子到预报变量进行一个月（作为时间步长）的预测过程中，每月更新输入场和输出场，从而允许每个月海洋与大气之间进行异常场交换和相应的海气耦合。因此，这个纯数据驱动的transformer模式能像动力模式一样描述热带太平洋中海洋与大气之间协同一致的多变量场间的互动和耦合，从而明确而有效地表示了与ENSO相关的海洋-大气间相互作用，该方法中充分考虑与ENSO相关的海气多变量场间的相互作用为ENSO跨年度预测提供了物理基础。图1显示了使用3D-Geoformer从给定12个月时段（time intervals; TIs）内的预报因子（作为输入场）来逐月滚动推算出20个月预报变量（作为输出场）的预测过程。

图13D-Geoformer中进行耦合式逐月滚动预测的示意图。在每个月的预测中，3D-Geoformer取前12个月的所有预报因子信息作为输入场，并对接下来的20个月逐月进行滚动预测得到输出的预报场。

最终，该团队所构建的3D-Geoformer具有预测多变量三维（3D）场的能力，对基于AI的ENSO预测实现了从单一时间序列（即空间为单点的）到多变量三维场预测的重大突破。与其他基于DL和动力模式相比，该3D-Geoformer在ENSO研究中具有几大优势，并作为一种新型的模拟工具已对热带太平洋海气相互作用有多种应用。其中优势之一是在数据驱动的DL建模框架下，在预训练和预测过程中允许海洋与大气之间逐月进行异常场交换，因此能够显式地表征与ENSO相关的海洋与大气之间的正反馈和负反馈，使得该模式能类似于基于数理方程的动力模式一样的方式来有效表征海洋与大气间的相互作用。这里以2015-16年厄尔尼诺事件作为例子来说明（图2）：该模式从2015年3月开始，该模式就能成功地预测2015年12月的异常演变（图2b），包括上层海洋温度、SST和海表风及它们间的相互作用过程。

图2 以2015年3月为初始条件，使用3D-Geoformer得到的超前1个月（a）、超前9个月（b）的多变量预测结果。其中图上部显示水平面上海表风应力（矢量）和海表温度（填色）；下部显示沿赤道上的垂直-经向剖面的上层海洋温度。

进一步，利用这种新型3D-Geoformer开展对ENSO的历史回报试验，结果表明该模式优于其他先进的动力模式（图3）。这里比较了3D-Geoformer（采用TI=18）、来自CPC/IRI的动力模式、来自北美多模式集合（NMME）中各个模式的相关预测技能（利用3个月滑动平均的Niño3.4指数预测与观测间的相关系数（COR）作为指标）。显然，由数据驱动（即仅基于国际耦合模式比较计划（CMIP6）模拟产品进行训练得到）的3D-Geoformer在预测ENSO方面表现出色，显然比其他传统的统计和动力模式都具有更高的预测技能，说明该3D-Geoformer构建中所具有的独特优势确实能转变为其对ENSO实际预测能力的改进上。

图3不同模式对Niño3.4指数的预测结果间的比较（取3个月滑动平均）：3D-Geoformer（TI=18；红线）、IRI动力模式（以蓝线表示其多模式集合平均值）以及北美多模式集成（NMME；由各种彩色线表示各个体）预测结果计算得到的相关系数（COR）。

另一个应用例子是关于从初始场的角度来开展对ENSO可预报性研究，该3D-Geoformer中一个引人注目的优势是它能够在输入预测因子中包含更长时间段（Time Intervals; TIs）中海洋和大气状态的前期信息（由TIs来度量），以进行逐月、滚动式的跨年度的预测。图4显示了使用3D-Geoformer获得的Niño3.4指数预测技能对不同TI取值的敏感性试验结果。这里以0.5的相关系数作为有效预测的度量，当采用TI=3个月时，其超前预测有效时间长度（有效时长）约为12个月；当采用更长的TI时，初始条件中包含了更多有关海表风场和温度场前期信息时：其预测有效时长能从TI=3时的12个月延长到TI=12时的16个月（图4）。在这里，我们已更清楚地证实了该3D-Geoformer所具有的一个独特的优势：在初始条件中能使用多月时间段（TIs）中前期海气信息的方式，引入相应的TI参数来提高ENSO的预测技能。

图4取不同TI值时利用3D-Geoformer获得的Niño3.4指数预测技能（用相关系数来表征）的敏感性结果：TI取值从3到21个月。每条实线周围的阴影表示基于bootstrap方法得到的95%置信区间。

目前，张荣华教授团队已利用该数据驱动的海气耦合模型在ENSO预测（Zhou and Zhang, 2023; Zhang et al., 2024a，2024b;）、可预报性和可解释性（Zhou and Zhang, 2024; Gao et al., 2023）等方面开展了多项研究；同时，已将研究数据和代码开源共享，并已被国内外多个单位直接下载使用和进一步拓展应用，产生了显著的科学影响力。

南京信息工程大学海洋科学学院张荣华教授为论文第一作者和共同通讯作者，南京信息工程大学海洋科学学院博士后周路为论文第二作者，中国科学院海洋研究所高川副研究员为论文共同通讯作者，合作者还包括南京信息工程大学海洋科学学院陶灵江博士。该研究得到国家自然科学基金、崂山实验室科技创新项目、中国科学院战略性先导科技专项、南京信息工程大学人才启动经费和江苏双创团队等项目的共同资助。

相关参考文献：

[1] Zhou L, Zhang R-H*, 2023. A self-attention-based neural network for three-dimensional multivariate modeling and its skillful ENSO predictions, Science Advances, 9(10), eadf2827.

[2] Gao C^†, Zhou L^†, Zhang R-H*, 2023. A transformer-based deep learning model for successful predictions of the 2021 second-year La Niña condition, Geophysical Research Letters, 50(12), e2023GL104034.

[3] Zhou L, Zhang R-H*, 2024. ENSO-related precursor pathways of interannual thermal anomalies identified using a transformer-based deep learning model in the tropical Pacific, Geophysical Research Letters,51, e2023GL107347.

[4] Zhang R-H*, Zhou L, Gao C, Tao L J, 2024a. A transformer-based coupled ocean-atmosphere model for ENSO studies, Science Bulletin,69(15): 2323-2327.doi: 10.1016/j.scib.2024.04.048.

[5] Zhang R-H*, Zhou L, Gao C*, Tao L J, 2024b. Real-time predictions of the 2023–2024 climate conditions in the tropical Pacific using a purely data-driven Transformer model. Science China Earth Sciences. doi: https://doi.org/10.1007/s11430-024-1396-x.