StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning

同步语音到语音翻译（Simul-S2ST，又名流式语音翻译）在接收流式语音输入的同时输出目标语音，这对于实时通信至关重要 ...

The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation

阻碍低资源和多语言机器翻译进步的最大挑战之一是缺乏良好的评估基准。当前的评估基准要么缺乏对低资源语言的良好覆盖，仅考虑受限领域，要么质量较低，因为它们是使用半自动程序构建的。在这项工作中，我们引入了flores-101评估基准，由从英语维基百科中提取的3001个句子组成，涵盖了各种不同的主题和领域... ...

XLand-100B: A Large-Scale Multi-Task Dataset for In-Context Reinforcement Learning

随着上下文学习范式在大规模语言和计算机视觉模型中的成功，最近新兴的上下文强化学习领域正在经历快速增长。然而，由于缺乏具有挑战性的基准，其发展受到阻碍，因为所有实验都是在简单的环境和小规模数据集上进行的。我们提出了 \textbf{XLand-100B}，这是一个基于 XLand-MiniGrid 环境的上下文强化学习的大规模数据集，作为缓解这一问题的第一步 ...

Block Transformer: Global-to-Local Language Modeling for Fast Inference

本文提出了 Block Transformer 架构，该架构对自回归 Transformer 采用分层全局到局部建模，以减轻自注意力的推理瓶颈。为了应用自注意力，必须在每个解码步骤从内存中检索所有先前序列的键值（KV）缓存。因此，这个 KV 缓存 IO 成为批量推理中的一个重要瓶颈 ...

PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for Perturbation-Robust Slot Filling

大多数现有的槽填充模型倾向于记住训练数据中实体的固有模式和相应的上下文。然而，当这些模型在实践中受到口语扰动或变化时，可能会导致系统故障或不良输出。我们提出了一种扰动语义结构意识转移方法，用于训练扰动鲁棒槽填充模型 ...

NAT: Noise-Aware Training for Robust Neural Sequence Labeling

序列标记系统不仅应该在理想条件下可靠地运行，而且还应该在输入损坏的情况下可靠地运行——因为这些系统通常处理用户生成的文本或遵循容易出错的上游组件。为此，我们提出了噪声序列标记问题，其中输入可能经历未知的噪声过程，并提出了两个噪声感知训练（NAT）目标，以提高在扰动输入上执行的序列标记的鲁棒性：我们的数据增强方法训练神经网络模型使用干净和噪声样本的混合，而我们的稳定性训练算法鼓励模型创建噪声不变的潜在表示。我们在训练时采用普通噪声模型 ...

Your Transformer is Secretly Linear

本文揭示了 Transformer 解码器独有的新颖线性特性，包括 GPT、LLaMA、OPT、BLOOM 等模型。我们分析了连续层之间的嵌入变换，发现了近乎完美的线性关系（Procrustes 相似度得分为 0.99） ...

Task-Oriented Dialogue with In-Context Learning

我们描述了一种用于构建面向任务的对话系统的系统，该系统将大语言模型（LLM）的上下文学习能力与业务逻辑的确定性执行相结合。 LLM 用于在对话的表面形式和用于推进业务逻辑的领域特定语言 (DSL) 之间进行翻译。我们将我们的方法与当今行业中主要使用的基于意图的 NLU 方法进行比较 ...

Schema-Guided Dialogue State Tracking Task at DSTC8

本文概述了第八届对话系统技术挑战赛的模式引导对话状态跟踪任务。该任务的目标是开发适用于大规模虚拟助手的对话状态跟踪模型，重点是跨领域的数据高效联合建模以及对新 API 的零样本泛化。该任务提供了一个新的数据集，其中包含跨越 16 个领域的训练集中的 16000 多个对话，以突出这些挑战，以及一个能够零样本泛化到新 API 的基线模型 ...

AnyTOD: A Programmable Task-Oriented Dialog System

我们提出了 AnyTOD，这是一种端到端、零样本的面向任务的对话（TOD）系统，能够处理看不见的任务，而无需进行特定任务的培训。我们将 TOD 视为由语言模型（LM）执行的程序，其中程序逻辑和本体由设计者作为模式提供。为了能够在无需事先训练的情况下泛化到未见过的模式和程序，AnyTOD 采用了神经符号方法 ...