基本信息

我们提出了 STORM，一种时空重建模型，旨在从稀疏观测中重建动态室外场景。现有的动态重建方法通常依赖于每个场景的优化、跨空间和时间的密集观察以及强运动监督，导致优化时间过长，对新视图或场景的泛化有限，以及动态噪声伪标签导致的质量下降。为了应对这些挑战，STORM 利用数据驱动的 Transformer 架构，在一次前向传递中直接推断动态 3D 场景表示（由 3D 高斯及其速度参数化）。我们的关键设计是使用自监督场景流聚合所有帧的 3D 高斯，将它们转换为目标时间步长，以便在任何时刻从任意视点实现完整（即“非模态”）重建。作为一种新兴属性，STORM 自动捕获动态实例并仅使用重建损失生成高质量掩模。对公共数据集的大量实验表明，STORM 实现了精确的动态场景重建，超越了动态区域中最先进的每场景优化方法（+4.3 至 6.6 PSNR）和现有的前馈方法（+2.1 至 4.7 PSNR）。 STORM在200ms内重建大规模室外场景，支持实时渲染，在场景流估计方面优于竞争对手，3D EPE提升0.422m，Acc5提升28.02%。除了重建之外，我们还展示了模型的四个附加应用，说明了自我监督学习在更广泛的动态场景理解方面的潜力 ...