其他人正在查看类似内容

 

通过学习复杂系统的有效动力学，对复杂系统进行多尺度仿真

报道 2022年 4月 7日

 

非线性动力学的生成式学习

报道 2024 年 2 月 12 日

 

通过潜在动态网络学习时空过程的内在动力学

文章 开放获取 28 二月 2024

介绍

对天气和流行病等关键现象的可靠预测取决于数值模拟的效率和准确性。其中大量仿真建立在偏微分方程 （PDE） 描述的模型之上，这些模型表达了湍流的多物理场和多尺度动力学1神经2气候3和海洋动力学4.解析所有时空尺度的大规模模拟通常只针对理想化系统，而其计算成本可能会阻碍实验、设计优化和不确定性量化5、6、7、8.另一方面，降阶和粗粒度模型速度很快，但受到高维系统动力学的简化/线性化和由于未解析的尺度而导致的长期不准确预测的限制9,10.混合方法依赖于对不同尺度上发生的过程之间相互作用的明智近似，并且已经提出了许多值得注意的框架，包括无方程框架 （EFF）11、12、13、异构多尺度方法 （HMM）14和 Flow Averaged 积分器 （FLAVOR）15.它们的成功取决于系统动力学中秤的分离以及捕获秤间信息传输的能力。虽然 EFF、HMM 和 FLAVOR 无可争议地彻底改变了多尺度建模和仿真领域，但以下关键问题限制了它们的潜力：（i） 对于 HMM 和 FLAVOR，传播粗粒度动力学的准确性取决于所使用的时间积分器，以及 （ii） 无效的信息传递，特别是从粗尺度到精细尺度的动力学， 极大地限制了他们的潜力。在 EFF 的情况下，它使用 restrict 和 lifting 运算符在微观和宏观相空间之间构建了一个黑盒图，并且它不依赖于任何使用的时间积分器。尽管找到提升算子并非易事，但这限制了它在更高维度（如湍流）中的适用性，但最近的数据驱动的 Equation-Free Variable-Free 方法16在提高粗到精信息传输的准确性和效率方面显示出有希望的结果。

 

在过去的几年里，已经提出了几种值得注意的算法，通过学习系统当前状态的低维表示和发展低维流形中的时间动力学来克服这些限制17、18、19、20、21、22、23 元.通常，这些方法将编码器从目标系统的高维状态部署到其低维表示，以及使用深度神经网络 （DNN） 的解码器，即反向映射24.时间动态可以通过循环神经网络表示，例如长短期记忆 （LSTM）19、Echo State 网络25或其他自回归动力学票价：18,26,27,28 元.此外，可以构建可解释的潜在空间动力学29,30 元基于 Koopman 算子理论和 Mori-Zwanzig 形式主义31,32 元.学习有效动力学 （LED） 的算法19解决了上述混合方法的问题，同时保持了高分辨率和低分辨率模拟之间系统交替的功能。在 LED 中，变分自动编码器 （AE） 在粗略和精细描述之间传递信息，而递归神经网络 （RNN） 与 LSTM 装置33,34 元发展潜在的动力。然而，据我们所知，LED 以及上述方法无法捕捉复杂的多尺度动力学，例如湍流中涉及的动力学。

 

在本工作中，我们通过部署生成学习的最新进展来引入有效动力学的生成学习 （G-LED） 框架35、36、37、38、39、40 元扩展我们以前的工作19,29,41 元用于捕获复杂系统的动态。生成式学习在计算机视觉和流重建的扩展方面取得了巨大成功42、多保真度设计43、逆向推理44和前向预测45,46,47,48,49.在 G-LED 中，贝叶斯扩散模型被用作解码器。这种基于扩散的解码器由于基于条件扩散的新公式而能够整合物理信息50和虚拟 Observable51.扩散模型的反向过程是一种灵活的方法来表达由控制偏微分方程描述的场的统计量。为了识别潜在空间，我们在 G-LED 中部署了高维快照的简单子采样，从而允许解码器独立于潜在动态进行训练。我们注意到，贝叶斯扩散模型因此解决了在给定潜在状态的情况下重建高维状态的逆问题。在时间进化中，关键的挑战是在不牺牲扩散模型的表达能力的情况下捕获粗粒度的动态。所提出的框架应用了多头自回归注意力模型票价：52,53,54 元，利用其低内存占用和改进的表现力，如自然语言处理的最新进展所示55.由于上述变化，G-LED 显著扩展了 LED 框架，并能够识别复杂系统（如复杂的三维 （3D） 湍流）的有效动力学。如果感兴趣的系统被参数化，我们注意到，通过添加对潜在空间动力学参数的显式依赖性，类似于参数嵌入17,56 元和神经运算符57、58、59、60、61 元，G-LED 也适用于这些系统。

 

本文的其余部分结构如下。第 2 节介绍了该框架在基准测试问题中的三种应用，包括一维 Kuramoto-Sivashinsky （KS） 方程、后向台阶上的二维高雷诺数流和三维湍流通道流。我们表明，G-LED 的性能优于以前最先进的神经代理，并且能够准确表示全局流量，例如湍流中的能谱。第 3 节总结了这项工作的贡献并讨论了可能的扩展。最后，第 4 节介绍了所提出的方法，包括贝叶斯扩散模型和物理信息的整合。

 

结果

我们研究了 G-LED 在三个基准问题的模拟中的能力：（i） 1D KS 方程，（ii） 通过后向台阶的 2D 流动，以及 （iii） 3D 湍流通道流。我们将它的性能与这些方程的数值解和其他降阶建模方法进行了比较。我们还量化了 G-LED 中不同组件的误差（补充说明 5）。

 

Kuramoto-Sivashinsky 方程

G-LED 应用于瞬态 Kuramoto-Sivashinsky （KS） 方程，

 

$$\frac{\partial u}{\partial t}=-\nu \frac{{\partial }^{4}u}{\partial {t}^{4}}-\frac{{\partial }^{2}u}{\partial {x}^{2}}-u\frac{\partial u}{\partial x}，$$ (1)

在直线上 Ω = [0， 22]，周期性边界条件 u（0， t） = u（L， t） 和 ν = 1。这个方程是一系列非线性现象的模型，具有稳定的混沌吸引子。KS 方程已使用经典数值方法和机器学习算法进行了广泛研究62,63,64,65 元.该方程是用刚性偏微分方程的高阶有限差分方案求解的66，模拟详细信息可在 补充说明 2 中找到。图 1 显示了 G-LED 和数值模拟对具有新初始条件的几个测试序列的预测。在这里，微状态被解码为一个以获得的宏态为条件的批次，以增加预测解的时间平滑度。G-LED 根据数值方法的结果很好地预测了系统动力学。由于系统的混沌性质，相对误差的累积（图2 左）随时间推移而观察到，零均值快照强调了这一趋势。然而，匹配良好的密度分布（图 D）。2 中和右）表明，所提出的 G-LED 框架可以复制动力学系统的统计数据并捕获系统的稳定吸引子。尽管 KS 方程是在一维域中求解的，但我们分析了计算成本，以证明 G-LED 可以显著降低计算复杂性，如补充说明 9 中所述。此外，我们表明 G-LED 中的解码器是不确定的，如补充说明 8 中所阐述的那样。

 

图 1： KS 方程的解比较。

图 1

使用 G-LED（左）和数值模拟（右）在不同测试轨迹（从上到下）上获得的结果。水平方向表示时间 t ∈ [0， 100]，垂直方向对应于空间坐标 x ∈ [0， 22]。

 

全尺寸图像

图 2：KS 方程的关注量。

图 2

错误 （\（e（t）=\frac{| |{{{\boldsymbol{s}}}}_{t}^{{{\rm{numerical}}}}-{{{\boldsymbol{s}}_{t}^{{{\rm{LED}}}}|{| }_{2}^{2}}{| |{{{\boldsymbol{s}}}}_{t}^{{{\rm{numerical}}}}|{| }_{2}^{2}}\）） 总体测试序列（左）;u 中值的密度x− uxx根据 G-LED（中）和数值模拟（右）的所有测试序列计算的空间。

 

全尺寸图像

Re = 5000 时后向台阶上的二维流动

我们研究了 G-LED 在 2D 粘性、不可压缩流上由 Navier-Stokes （NS） 方程描述的反向步骤上的性能：

 

$$\nabla \cdot {{\bf{u}}}=0，\quad \frac{\partial {{\bf{u}}}}{\partial t}+\nabla \cdot （{{\bf{u}}}\otimes {{\bf{u}}}）=-\frac{1}{\rho }\nabla p+\nu \Delta {{\bf{u}}}\quad {{\rm{in}}}\，\Omega \子集 {{\mathbb{R}}}^{{d}_{\Omega }}，$$ (2)

其中\（{{\bf{u}}}=[u，v]：\Omega \to {{\mathbb{R}}}^{{d}_{\Omega }}\）是流体的速度（u是流向速度，v是壁面法向速度），\（\rho \in {{\mathbb{R}}}_{+}\）是密度，\（p：\Omega \to {\mathbb{R}}\）是压力，\（\nu \in {{\mathbb{R}}}_{+}\）是运动粘度。该流动在步骤之后需要一个分离区域（补充图 1）。2）. （2） 中的 NS 方程在大涡模拟 （LES） 的上下文中求解67使用有限体积法和基于速度梯度张量的亚网格尺度应力建模68.在这里，我们的目标是根据入口速度和高度来了解 Re = 5000 时该流动的动力学。模拟的设置在 补充说明 3 中详细说明。

 

G-LED 预测低维流形中的动力学（图 D）。3 和补充图3） 对于一个流过时间 （T流通≈ 1），考虑到测试快照的初始状态，提供约 5000 倍的在线加速（LES 在 AMD Ryzen 9 7950x 16 核处理器上并行执行，LES 在单个 NVIDIA A100 上执行）。G-LED 在流向速度和壁面法向速度方面与 LES 结果非常一致。此外，G-LED 可生成准确的均值统计量。图 4 显示了 G-LED 和 LES 在平均流速剖面 （\（ < \， u（y） > ：\！\！=\frac{1}{{L}_{x}{L}_{z}T}\int_{0}^{{L}_{x}}\int_{0}^{{L}_{z}}\int_{0}^{T}u（x，y，z，t）\，dt\，dz\，dx，\） 的比较，其中 Lx、Lz分别是通道在流向和翼展方向上的长度，T 是执行平均的总时间段）。在再循环、再连接和恢复区域中的三条代表性垂直线上进行了比较。我们注意到 G-LED 和 LES 结果在所有生产线上都非常一致。

 

图 3： 2D Navier-Stokes 方程的解比较。

图 3

在 t = 0.05、0.50、0.95、1.25（从上到下）处给定相同初始状态的 G-LED（左）和 LES（右）的流向速度卷展栏。

 

全尺寸图像

图 4：2D Navier-Stokes 方程的感兴趣空间量。

图 4

x = 0、4、8（从左到右）处的流向速度平均值。LED 是指提出的 G-LED 框架。

 

全尺寸图像

在补充图中，将流向和壁面法向速度波动的均方根 （rms） 剖面以及雷诺剪切应力分量与相同三个流向位置的 G-LED 和 LES 的结果进行了比较。分别为 4、5 和 6。G-LED 和 LES 仿真之间的良好一致性表明，G-LED 可以再现瞬时速度波动的统计数据。以下为补充图。图7和图8中，说明了不同高度的能谱，能量级联从下到上的总体一致性表明G-LED能很好地捕获不同尺度的顶点。补充图9 和 10 进一步表明，与 LES 相比，G-LED 较好地反映了涡旋脱落的间距。在提出的 G-LED 框架中，学习了微观水平 （LES） 尺度的空间和时间运动。与自回归扩散模型相比，G-LED 还表现出明显更好的性能，可能解决了扩散模型（补充注 7）和变分自动编码器（补充注 6）生成的物理系统表示中的缺陷。因此，G-LED 框架为准确捕获时间统计数据提供了机会，如图 1 所示。5 和补充图11.

 

图 5：2D Navier-Stokes 方程的感兴趣时间量。

图 5

（x， y） = （0.6， 0.6）， （0.6， 1.2）， （0.6， 1.8） 处流速的时间相关性（从左到右）。

 

全尺寸图像

三维湍流通道流

我们研究了 G-LED 在 Re 的 3D 通道流模拟中的应用τ= 395 （图 .6）. 该设置在 补充说明 4 中详细说明。图 7 和补充图。图12和13显示了使用所提出的G-LED和LES的三维速度的演变68.G-LED 提供了系统动力学的演变，在线加速约为 73 倍（LES 在 AMD Ryzen 9 7950x 16 核处理器上并行执行，G-LED 在单个 NVIDIA A100 上并行执行）。

 

图 6： 流程概述。

图 6

Re 处通道流的流向（左）、壁法向（中）和翼展方向（右）速度场τ= 395.

 

全尺寸图像

图 7： 3D Navier-Stokes 方程的解比较。

图 7

在 t = 60、120、180、240、300、360 处从 G-LED（顶行）和 LES（底行）流道流速的体积图，这相当于 t 处的流过时间英尺= 2.27、4.55、6.82、9.10、11.3、13.65（从左到右）。

 

全尺寸图像

我们在图 1 中比较了 G-LED 和 LES 的平均流向速度分布。8. 在图 .8，轮廓以壁坐标表示，并随摩擦速度缩放69.G-LED 和 LES 的结果几乎无法区分。在湍流中，表征波动运动的基本参数封装在雷诺应力张量分量中。该张量的对角分量以标准（均方根）偏差的形式表示（图 D）。8 中间），唯一非零的偏离对角线分量通常称为湍流剪切应力（图 D）。8 右）。G-LED 的应力张量分量是根据看不见的测试数据的预测速度计算的。总体而言，来自 G-LED 的应力张量的分量与 LES 合理一致。