Nat. Comput. Sci.：预测极端罕见事件的机器学习算法

原创 Brown University 集智俱乐部

导语

社会和自然界中的极端事件，如疫情高峰期、航行中的异常巨浪或复杂系统的结构性故障，都可能引发灾难性的后果。预测极端事件非常困难，因为它们很少发生，从看似良性但往往是未知的复杂无限维系统中产生。这些挑战使描述它们的尝试变得毫无意义。在近日发表于Nature Computational Science 的最新研究中，麻省理工学院和布朗大学的研究人员开发了一个机器学习框架（DeepOnet），无论初始数据的状态如何（即有无极端事件），都能发现极端事件，并且优于现有的算法。这个框架构成了一个可扩展的人工智能（AI）辅助的实验基础设施，可以有效推断和确定从物理到社会系统等许多领域的临界情况。

关键词：机器学习，极端事件预测

Brown University | 来源

郭瑞东 | 译者

刘志航 | 审校

邓一雪 | 编辑

论文题目：

Discovering and forecasting extreme events via active learning in neural operators

论文链接：

https://www.nature.com/articles/s43588-022-00376-0

在预测极端事件带来的灾难（如地震、流行病或可能摧毁沿海结构的“异常巨浪”）时，计算模型面临着一个几乎无法克服的挑战：从统计学上讲，这些事件是如此罕见，以至于没有足够的数据来使用预测模型，以准确预测它们下一次发生的时间。但是来自布朗大学和麻省理工学院的一组研究人员开发了一种机器学习算法框架，尝试应对这种挑战。

发表于 Nature Computational Science 的一项新研究中，科学家们描述了他们如何将统计算法与机器学习技术相结合——这种算法只需要更少的数据就能做出准确、有效的预测。新的框架可以提供一种方法来规避传统上用于这类计算任务所必需的海量数据，将预测罕见事件的挑战从本质上归结为定性而非定量问题。尽管缺乏有关罕见事件的历史记录，但他们训练这种机器学习技术可以用来预测极端事件发生的场景、概率，有时甚至预测罕见事件的时间。

图1. 将该框架用于各种极端现象的推断，从大流行病的高峰（a）到危险的异常巨浪（b）。

预测罕见的极端事件需要解决的问题是，什么是可以使用的最佳数据，以尽量减少需要的数据点的数量？研究人员通过一种叫做主动学习的顺序抽样技术找到了答案。这些类型的统计算法不仅能够分析输入的数据，更重要的是，它们能够从信息中学习标记新的相关数据点，这些数据点对于正在计算的结果同样重要，甚至更重要。在最基本的层面上，他们允许用更少的资源做更多的事情。

本质上，研究人员希望能找到这样一种方法，它不仅能够准确地推广到无限维系统，轻松地随数据大小扩展，进行不确定性估计，并应用适当定义的采集函数来选择极端数据。因此，在研究中使用的机器学习模型至关重要。研究人员开发了一个名为 DeepOnet 的模型是一种人工神经网络，它使用多个连续的层中相互连接的节点，大致模拟人脑中神经元的连接。DeepOnet 被称为深度神经操作器（deep neural operator, DNO）。它比典型的人工神经网络更先进，更强大，因为它实际上将两个神经网络合二为一，在两个并行网络中处理数据。这使得它能够以极快的速度分析大量的数据和场景，一旦它知道自己在寻找什么，就能够产生出同样大小的概率集。

这个强大的工具的瓶颈，是深层神经操作器需要大量的数据进行训练，以便进行有效和准确的计算。这对于涉及到极端事件时，尤为严重。

该研究小组在论文中表示，DeepOnet 模型可以结合主动学习（Active learning）技术得到训练，了解哪些参数或前兆会导致当前正在分析的灾难性事件，即使数据点不多。

图2. 发现并量化极端事件概率的框架。高效稳健的 DNO+BED 框架，用于发现和量化极值。该框架具有 DNO 和罕见事件获取功能，用于发现极端情况。用一组观察到的物理输入-输出对进行初始化，保留其功能形式。(i) 将函数传递给 DNO 的集合，以学习基础系统的稀疏表示。(ii) 对 DNO 函数空间进行快速的蒙特卡洛搜索，以寻找极端值。(iii) 计算蒙特卡洛集合的统计数据，并选择既能探索又能利用极端空间的新输入函数。(iv) 在基础实验或模拟上评估拟议的输入，记录输出（QoIs）并传递到(i)。重复(i)-(iv)，直到统计数据收敛或资源耗尽。以支持预测极端事件的最佳训练的 DNO 结束。

作者指出，重点不在于获取所有可能的数据并将其输入系统，而在于积极主动地寻找那些意味着罕见事件的事件。真实事件的例子可能不多，但却可以捕捉那些先兆。可以通过数学识别它们，再加上真实事件，将有助于训练对数据饥渴的深度神经操作器。

在论文中，研究人员应用这种方法来精确定位大流行期间危险尖峰的参数、处在不同范围的概率、发现和预测巨浪的发生，以及估计船舶何时会因压力而裂成两半。例如，对于巨浪——那些大于周围波大小两倍的海浪——研究人员发现，他们可以通过观察随时间非线性相互作用的可能波形条件，发现和量化巨浪的形成时间，这些非线性作用可能会导致原有波浪三倍大小的波浪。

研究人员发现他们的新方法比传统的建模方法更有效率，他们相信它提供了一个能够有效发现和预测各种罕见事件的框架。

在论文中，研究小组概述了科学家应该如何设计未来的实验，以便他们能够最小化成本和提高预测的准确性。例如，来自布朗大学的数学家已经在与环境科学家合作，使用这种新颖的方法来预测飓风等气候事件。

原文链接：

https://www.sciencedaily.com/releases/2022/12/221219123859.htm

原标题：《Nat. Comput. Sci.：预测极端罕见事件的机器学习算法》

阅读原文