事实证明,相关知识的动态搜索是用于开放域问答和事实验证等任务的可靠系统的基本要素。然而,由于搜索系统并不完美,因此需要生成模型来生成部分或完全不相关段落的输出。这可能会导致对上下文的过度或不足依赖,并导致生成的输出出现问题,例如幻觉... ...
检索增强方法通过利用外部资源的有用信息来支持下游任务,受到越来越多的关注。最近的研究主要集中在探索检索来解决知识密集型(KI)任务。然而,大多数非知识密集型(NKI)任务的检索潜力仍未得到充分开发 ...
给定文本段落和答案,人类能够用各种表达方式提出问题,但这种能力对于大多数问题生成(QG)系统来说仍然具有挑战性。现有的解决方案主要关注给定段落内的内部知识或语义词空间,以进行多样化的内容规划。然而,这些方法没有考虑外部知识对于表达多样性的潜力 ...
激活编辑涉及直接编辑大型语言模型(LLM)的内部表示以改变其行为并实现所需的属性,已成为一个有前途的研究领域。现有的工作主要将 LLM 的激活视为空间中的点,并通过添加转向向量来修改它们。然而,这种方法在保持激活幅度必要的一致性的同时实现更大的性能改进的能力受到限制 ...
大型语言模型(LLM)具有令人印象深刻的能力而广受欢迎,但对特定于模型的偶数或特定于任务的提示工程的需求可能会抑制其泛化。我们提出了UPRISE(用于改进零样本评估的通用提示搜索),它调整了一个轻量级且多功能的搜索器,可以自动搜索给定零样本任务输入的提示。具体来说,我们展示了跨任务和跨模型场景中的通用性:搜索器针对不同的任务集进行了调整,但在未见过的任务类型上进行了测试;我们使用一个小型的冷冻LL ...
近年来,基于事件相机的视觉跟踪因其独特的成像原理以及低能耗、高动态范围和密集时间分辨率的优势而受到越来越多的关注。由于使用视觉 Transformer 和静态模板进行目标对象定位,当前基于事件的跟踪算法逐渐遇到性能瓶颈。在本文中,我们提出了一种新颖的基于 Mamba 的视觉跟踪框架,该框架采用具有线性复杂度的状态空间模型作为骨干网络 ...
我们介绍了一种用于大规模视觉编码器预训练的新方法。基于视觉模型自回归预训练的最新进展,我们将该框架扩展到多模态设置,即 ...
普遍存在的缺失值导致多元时间序列数据被部分观测,破坏了时间序列的完整性,阻碍了有效的时间序列数据分析。最近,深度学习插补方法在提高损坏的时间序列数据的质量方面取得了显着的成功,从而提高了下游任务的性能。在本文中,我们对最近提出的深度学习插补方法进行了全面的调查 ...