PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks

物理信息神经网络 (PINN) 已成为一种有前途的深度学习框架，用于近似偏微分方程 (PDE) 的数值解。然而，传统的 PINN 依赖于多层感知器（MLP），忽略了实际物理系统中固有的关键时间依赖性，因此无法在全局范围内传播初始条件约束并准确捕获各种场景下的真实解。在本文中，我们介绍了一种新颖的基于 Transformer 的框架，称为 PINNsFormer，旨在解决这一限制 ...

Denoising Diffusion Restoration Models

图像恢复中的许多有趣的任务都可以转化为线性逆问题。最近解决这些问题的一系列方法使用随机算法，该算法从给定测量值的自然图像的后验分布中进行采样。然而，有效的解决方案通常需要针对特定​​问题的监督训练来对后验进行建模，而不针对特定问题的无监督方法通常依赖于低效的迭代方法 ...

Score-based Diffusion Models in Function Space

扩散模型最近已成为生成建模的强大框架。它们由一个用高斯白噪声扰乱输入数据的正向过程和一个学习得分函数以通过去噪生成样本的逆向过程组成。尽管它们取得了巨大的成功，但它们大多是在有限维空间上制定的，例如 ...

Efficiently Modeling Long Sequences with Structured State Spaces

序列建模的中心目标是设计一个单一原则模型，该模型可以跨一系列模式和任务处理序列数据，特别是在长期依赖性方面。尽管包括 RNN、CNN 和 Transformer 在内的传统模型都有专门的变体来捕获长依赖性，但它们仍然难以扩展到 10000 美元或更多步骤的超长序列。最近一种有前途的方法提出了通过模拟基本状态空间模型（SSM）来建模序列\（x'（t）= Ax（t）+ Bu（t），y（t）= Cx（t）+ Du（t）\ ），并表明，对于状态矩阵 \( A \) 的适当选择，该系统可以在数学和经验上处理远程依赖关系 ...

MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts

状态空间模型 (SSM) 已成为顺序建模领域的有力竞争者，挑战了 Transformers 的主导地位。与此同时，Mixture of Experts (MoE) 显着改进了基于 Transformer 的大型语言模型，包括最近最先进的开放模型。我们建议，为了释放 SSM 的扩展潜力，它们应该与 MoE 结合起来 ...