深度学习代理模型在启动偏微分方程（PDE）方面表现出了良好的前景。其中，傅里叶神经算子（FNO）在各种偏微分方程（如流体流动）上实现了良好的精度，并且与数值快捷键相比，速度明显更快。然而，FNO 使用快速傅立叶变换 (FFT)，该变换仅限于具有均匀网格的波形域 ... ...
未来编码技能有完全过渡到自然语言的巨大潜力。在这种背景下，大型语言模型（LLM）表现出了令人印象深刻的自然语言处理能力，可以为各个领域的研究任务生成复杂的计算机代码。我们报告了第一个关于 LLM 在模型材料中微结构图案形成的计算机实验中的适用性的研究 ...
我们考虑使用基于频域的离散学习方法（例如傅立叶神经算子）来求解由偏微分方程（PDE）控制的复杂时空动力系统。尽管它们广泛用于近似非线性偏微分方程，但大多数这些方法忽略了基本物理定律并且缺乏可解释性。我们通过引入具有灵活且可解释的误差控制的物理嵌入式傅里叶神经网络（PeFNN）来解决这些缺点 ...
物理信息神经网络 (PINN) 已成为解决偏微分方程 (PDE) 的强大框架，通过神经网络逼近偏微分方程的解并对损失函数施加基于物理的约束。传统上，多层感知器（MLP）是首选的神经网络，并且在优化其训练方面已经取得了重大进展。最近，柯尔莫哥洛夫-阿诺德网络（KAN）作为一种可行的替代方案被引入，它有可能提供更好的可解释性和效率，同时需要更少的参数 ...
近年来，Transformers 已成为文本和各种多维数据（例如图像和视频）序列建模的事实上的架构。然而，在 Transformer 中使用自注意力层会带来令人望而却步的计算和内存复杂性，其规模会呈二次方扩展 ...
近年来，应用深度学习解决物理问题备受关注。数据驱动的深度学习方法产生快速数值算子，可以学习整个偏微分方程组的近似解（即 ...
近年来，基于机器学习的物理系统建模引起了越来越多的兴趣。尽管取得了一些令人印象深刻的进展，但科学机器学习仍然缺乏易于使用但仍然具有挑战性且能够代表广泛问题的基准。我们推出 PDEBench，这是一个基于偏微分方程 (PDE) 的瞬态仿真任务基准套件 ...
图像去雨旨在消除雨天图像中的雨纹并恢复清晰的背景。目前，一些采用傅立叶变换的研究已被证明对于图像去雨是有效的，因为它可以作为捕获雨纹的有效频率。然而，尽管图像中存在低频和高频的依赖性，这些基于傅里叶的方法很少利用不同频率的相关性来结合其学习过程，限制了频率信息在图像去雨中的充分利用 ...
近年来，使用基于线性、基于变换器和基于卷积的模型进行多元时间序列预测取得了重大进展。然而，这些方法面临着显着的局限性：线性预测器在表示能力方面遇到困难，注意力机制受到二次复杂性的影响，并且卷积模型的感受野受到限制。这些限制阻碍了它们对复杂时间序列建模的有效性，特别是那些具有大量变量的时间序列 ...
人们对预训练进行了研究，以提高在数据稀缺环境中训练神经计算子的效率和性能。然而，由于偏微分方程（PDE）数据固有的复杂性和多样性，例如长测量、多测量和不同在本文中，我们提出了一种新的自回归去噪预训练策略，该策略可以对 PDE 进行更稳定、更高效的预训练，并推广到各种下游任务 ... ...