Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning

大型语言模型（LLM）具有解决具有挑战性和看不见的推理问题的卓越能力，在表格学习方面拥有巨大的潜力，这对于许多现实世界的应用程序至关重要。在本文中，我们提出了一种新颖的上下文学习框架 FeatLLM，该框架采用 LLM 作为特征工程师来生成最适合表格预测的输入数据集。生成的特征用于通过简单的下游机器学习模型（例如线性回归）推断类别可能性，并产生高性能的小样本学习 ...

From Similarity to Superiority: Channel Clustering for Time Series Forecasting

近几十年来，时间序列预测引起了人们的广泛关注。先前的研究表明，通道无关（CI）策略通过单独处理不同的通道来提高预测性能，但它会导致对未见过的实例的泛化能力较差，并忽略通道之间潜在必要的交互。相反，渠道相关（CD）策略将所有渠道与甚至不相关和不加区别的信息混合在一起，但这会导致过度平滑问题并限制预测准确性 ...

FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting

最近的研究表明，RNN 和 Transformer 等深度学习模型由于有效利用历史信息，为时间序列的长期预测带来了显着的性能提升。然而，我们发现，如何在神经网络中保留历史信息，同时避免对历史中呈现的噪声过度拟合，仍有很大的改进空间。解决这个问题可以更好地利用深度学习模型的功能 ...

INCREASE: Inductive Graph Representation Learning for Spatio-Temporal Kriging

时空克里金法是网络和社交应用中的一个重要问题，例如网络或物联网，其中连接到网络的事物（例如传感器）通常具有空间和时间属性 ...

An Analysis of Linear Time Series Forecasting Models

尽管线性模型很简单，但它在时间序列预测中表现良好，即使与更深、更昂贵的模型进行比较也是如此。人们已经提出了线性模型的许多变体，通常包括某种形式的特征归一化，以提高模型的泛化能力。在本文中，我们分析了使用这些线性模型架构可表达的函数集 ...

Multi-Time Attention Networks for Irregularly Sampled Time Series

不规则采样出现在许多时间序列建模应用中，这对标准深度学习模型提出了重大挑战。这项工作的动机是对电子健康记录中稀疏、不规则采样和多变量的生理时间序列数据进行分析。在本文中，我们针对这种情况提出了一种新的深度学习框架，我们称之为多次注意力网络 ...

DiffSTOCK: Probabilistic relational Stock Market Predictions using Diffusion Models

在这项工作中，我们提出了一种概括股票市场预测和投资组合管理的去噪扩散概率模型的方法。目前的工作已经证明了对股票间关系进行建模以进行市场时间序列预测的有效性，并利用基于图的学​​习模型进行价值预测和投资组合管理。尽管令人信服，但这些确定性方法仍然无法处理不确定性 ...

MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process

最近，扩散概率模型由于其生成高保真样本的卓越能力而在生成时间序列预测中引起了人们的关注。然而，在概率时间序列预测任务中有效利用它们强大的建模能力仍然是一个悬而未决的问题，部分原因是它们的随机性带来的不稳定性的挑战。为了应对这一挑战，我们引入了一种新颖的多粒度时间序列扩散（MG-TSD）模型，该模型通过利用数据中固有的粒度级别作为中间扩散步骤的给定目标来实现最先进的预测性能指导扩散模型的学习过程 ...

TSMixer: An All-MLP Architecture for Time Series Forecasting

现实世界的时间序列数据集通常是具有复杂动态的多变量。为了捕捉这种复杂性，高容量架构（例如基于循环或基于注意力的顺序深度学习模型）已变得流行。然而，最近的工作表明，简单的单变量线性模型可以在几个常用的学术基准上优于此类深度学习模型 ...

Caformer: Rethinking Time Series Analysis from Causal Perspective

时间序列分析是一项重要任务，在各个领域都有广泛的应用。然而，有效捕获非平稳时间序列中的跨维度和跨时间依赖性提出了重大挑战，特别是在环境因素的背景下。环境引起的虚假相关性混淆了跨维度和跨时间依赖性之间的因果关系 ...