wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations

我们首次证明，仅从语音音频中学习强大的表示，然后对转录语音进行微调可以超越最好的半监督方法，同时在概念上更简单。 wav2vec 2.0 在潜空间中屏蔽语音输入，并通过共同学习的潜表征量化来解决对比任务 ...

A Closer Look at the Limitations of Instruction Tuning

指令训练（IT）是利用指令-响应对训练大型语言模型（LLMs）的过程，已成为将基础预训练 LLMs 转化为开放域对话代理的主要方法。虽然信息技术取得了显著的成功并被广泛采用，但其局限性和不足之处仍未得到充分探索。在本文中，我们通过严格的实验和对 LLM 通过 IT 所发生的变化的深入分析，揭示了 IT 的各种局限性...

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

由于基于大语言模型（LLM）的聊天助手具有广泛的能力，而且现有基准在衡量人类偏好方面存在不足，因此对其进行评估具有挑战性。为了解决这个问题，我们探索使用强大的 LLM 作为评委，就更开放的问题对这些模型进行评估。我们研究了大语言模型作为评委的用法和局限性，包括立场、口头禅和自我强化偏差，以及有限的推理能力，并提出了缓解其中一些问题的解决方案...

WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing

自我监督学习（SSL）在语音识别方面取得了巨大成功，但在其他语音处理任务方面的探索还很有限。 由于语音信号包含说话人身份、副语言学、说话内容等多方面信息，因此学习适用于所有语音任务的通用表征具有挑战性。...

Low Resource Pipeline for Spoken Language Understanding via Weak Supervision