本文介绍了一种新的基于神经网络的方法,即封闭式操作员网络(ICON),以同时从提示的数据中学习操作员,并在推理阶段将其应用于新问题,而没有任何重量更新。现有方法仅限于使用神经网络来近似特定方程解决方案或特定操作员,在切换到具有不同方程式的新问题时需要重新训练。通过培训单个神经网络作为操作员学习者,我们不仅可以摆脱新问题的神经网络(甚至是微调),还可以利用跨操作员共享的共同点,以便提示中只有几个演示学习新操作员时需要 ...
作为科学机器学习中的新兴范式,神经操作员的目的是通过神经网络学习无限函数函数空间之间的映射。最近开发了几个神经操作员。但是,所有现有的神经操作员仅旨在学习在单个Banach空间上定义的操作员,即 ...
我们提出了散文-FD,这是一种零拍的多模式PDE基础模型,用于同时预测与不同流体动力学设置相关的异质二维物理系统。这些系统包括浅水方程和带有不可压缩和可压缩流的Navier-Stokes方程,常规和复杂的几何形状以及不同的浮力设置。这项工作提出了一种新的基于 Transformer 的多手术方法,该方法融合了符号信息以执行基于操作员的数据预测 ...
使用神经网络近似非线性微分方程为各种科学计算任务(包括实时预测,反问题,最佳控制和替代建模)提供了强大而有效的工具。以前的工作通过两种方法将动态系统嵌入到网络中:学习一个解决方案操作员(即 ...
尽管最近的AI-for-Math在纯数学方面取得了长足的进步,但尽管现实世界中使用了重要的现实应用,但应用数学(尤其是PDE)的应用领域仍未得到充实。我们提出了PDE-Controller,该框架使大型语言模型(LLMS)能够控制由部分微分方程(PDE)控制的系统。我们的方法使LLM可以将非正式的自然语言指令转换为形式规格,然后执行推理和计划步骤以改善PDE控制的效用 ...
基础模型(例如大型语言模型)已在解决各种语言和图像处理任务方面取得了成功。在这项工作中,我们引入了一种用于科学问题的多模态基础模型,名为 PROSE-PDE。我们的模型专为双模态到双模态学习而设计,是一种多算子学习方法,可以预测时空系统的未来状态,同时学习物理系统的基础控制方程 ...
大多数现有的图像图形器将图像编码为固定数量的 Token 或补丁,从而忽略了图像复杂性的固有可变性。为了解决这个问题,我们介绍了内容自适应 Token (CAT),该 Token 机(CAT)基于图像内容动态调整表示能力,并将更简单的图像编码为更少的 Token 。我们设计了一个基于字幕的评估系统,该系统利用大型语言模型(LLM)预测内容复杂性并确定给定图像的最佳压缩比,考虑到对人类感知至关重要的因素 ...
在计算科学和工程领域,构建反映现实现象的模型需要解决不同条件的偏微分方程(PDE)。神经操作员的最新进展,例如深层操作员网络(DeepOnet),这些网络学习无限维函数空间之间的映射,保证在单个正向通行中为新条件的PDE解决方案有效计算。但是,经典的deponet需要在评估过程中涉及输入维度的二次复杂性 ...
我们介绍了神经预处理操作员(NPO),这是一种新型方法,旨在加速Krylov求解器,以解决源自部分微分方程(PDES)的大型稀疏线性系统。与经常需要大量调整和努力以跨越不同的网格或参数概括的古典预调节器不同,NPO雇用通过条件和残留损失训练的神经操作员。该框架与现有的神经网络模型无缝集成,有效地用作提高Krylov子空间方法性能的预处理 ...
部分微分方程是建模科学和自然系统(例如流体动力学和天气预报)的基础。 PDE方法的潜在演变旨在通过提出可扩展有效的替代方案来解决经典和深度学习的PDE求解器的计算强度。为了提高LE-PDE的效率和准确性,我们合并了Mamba模型,Mamba模型是一种以其预测效率和鲁棒性在处理复杂的动态系统中使用渐进学习策略而闻名的高级机器学习模型 ...