诸如Mamba之类的状态空间模型由于能够捕获序列模式的能力，最近在时间序列预测中引起了人们的关注。但是，在电力消耗基准中，MAMBA预测的平均误差约为8％。同样，在交通占用基准中，平均误差达到18％ ...
生成大语言模型（LLMS）中的键值（KV）缓存引入了大量内存开销。现有作品通过卸载或压缩KV缓存来减轻这种负担。但是，加载整个缓存会因CPU-GPU通信中的PCIE带宽瓶颈而导致明显的潜伏期，而侵略性压缩会导致显着的性能降低 ...
“这项工作已提交给LEEE，以获取可能的出版物。版权可以在没有以下明显的情况下转移，该版本可能无法再访问。”时间序列建模是现实世界应用的基石，例如天气预报和运输管理 ...
时间序列异常检测提出了各种挑战，这是由于时间依赖性数据的顺序和动态性质。传统的无监督方法经常遇到泛化的困难，通常过度适合训练期间观察到的已知正常模式，并努力适应看不见的正常性。为了应对这一限制，时间序列的自我监督技术引起了人们的关注，作为解决这一障碍并增强异常检测器性能的潜在解决方案 ...
视觉 Transformer （VIT）在计算机视觉中表现出了令人印象深刻的性能，但是它们的高计算成本（在 Token 数量上二次）限制了它们在计算受限的应用程序中的采用。但是，这可能不是必需的大量 Token ，因为并非所有 Token 都同样重要。在本文中，我们研究了 Token 修剪以加速对象检测和实例分割的推断，从图像分类中扩展了先前的工作 ...
大型语言模型（LLMS）引入了新的安全风险，但是很少有全面的评估套件可以衡量和降低这些风险。我们提出基准名称，这是一种量化LLM安全风险和功能的新型基准。我们介绍了两个用于测试的新领域：及时注入和代码解释器滥用 ...
本文旨在解决受监督的单眼估计的问题。我们从一项细致的试点研究开始，以证明远程相关性对于准确的深度估计至关重要。因此，我们建议利用 Transformer 以有效的注意机制对这种全球环境进行建模 ...
多模式的大语言模型（MLLM）越来越多地部署在微调AS-AS-AS-AS-Service（FTAAS）设置中，其中用户提交的数据集将通用通用模型适应下游任务。但是，这种灵活性引入了严重的安全风险，因为恶意微调可以以最小的努力将后门植入MLLM。在本文中，我们观察到后门通过引起异常注意力集中在非语义区域的异常注意力来系统地破坏跨模式处理 - 这种现象我们称注意力崩溃 ...
