Learning Few-Step Diffusion Models by Trajectory Distribution Matching

加速扩散模型采样对于有效的AIGC部署至关重要。尽管基于分布匹配和轨迹匹配的扩散蒸馏方法将采样降低到一步很少，但它们在复杂的任务上却缺乏文本到图像生成等复杂任务。几步生成在速度和质量之间提供了更好的平衡，但是现有的方法面临持续的权衡：分配匹配缺乏灵活性多步抽样，而轨迹匹配通常会产生次优的图像质量 ...

LLaMA-Omni2: LLM-based Real-time Spoken Chatbot with Autoregressive Streaming Speech Synthesis

实时，聪明和自然的语音互动是下一代人类计算机相互作用的重要组成部分。最近的进步展示了基于大语言模型（LLM）建立智能口头聊天机器人的潜力。在本文中，我们介绍了Llama-omni 2，这是一系列语言模型（SpeechLMS），范围为0 ...

PeRFlow: Piecewise Rectified Flow as Universal Plug-and-Play Accelerator

我们提出了分段整流流（Perflow），这是一种基于流量的加速扩散模型的方法。 Perflow将生成流的采样过程分为几个时间窗口，并通过反射操作在每个间隔中拉直轨迹，从而接近分段线性流。 Perflow在几步一代中取得了出色的性能 ...

When Large Language Models Meet Speech: A Survey on Integration Approaches

大型语言模型（LLM）的最新进展激发了人们对将其应用扩展到基于文本的任务之外的兴趣。大量研究探索了将其他模式与LLM的融合，特别是与文本有关的语音方式。本文调查了语音与LLM的集成，将方法分类为三种主要方法：基于文本的，基于潜在的基于主代表和基于音频的集成 ...

Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model

大型语言模型 (LLM) 的功能极大地推动了音频生成领域的最新进展。现有的音频LLM研究主要集中在增强音频语言模型的架构和规模，以及利用更大的数据集，并且通常使用声学编解码器（例如EnCodec）进行音频标记化。然而，这些编解码器最初是为音频压缩而设计的，这可能会导致音频 LLM 环境中的性能不佳 ...

Causal Transformer for Estimating Counterfactual Outcomes

从观察数据中估算反事实的结果与许多应用程序有关（例如个性化医学） ...

Llasa: Scaling Train-Time and Inference-Time Compute for Llama-based Speech Synthesis

基于文本的大语言模型（LLM）的最新进展，尤其是在GPT系列和O1模型中，已经证明了扩展训练时间和推理时间计算的有效性。但是，利用LLM的当前最新TTS系统通常是多阶段，需要单独的模型（例如， ...

One Step Diffusion via Shortcut Models

扩散模型和流程匹配模型通过学习将噪声传输到数据来生成多样化和逼真的图像。但是，这些模型的采样涉及在许多神经网络通行证上进行迭代性降解，从而使产生缓慢而昂贵。以前的加速采样方法需要复杂的培训方案，例如多个培训阶段，多个网络或脆弱的时间表 ...

Advanced Zero-Shot Text-to-Speech for Background Removal and Preservation with Controllable Masked Speech Prediction

声学背景在自然对话中起着至关重要的作用。它提供了上下文并帮助听众理解环境，但是强大的背景使听众很难理解口语。这些背景的适当处理与情况有关：尽管有必要删除背景以确保语音清晰度，但保留背景有时对于维持语音的上下文完整性至关重要 ...

LoRP-TTS: Low-Rank Personalized Text-To-Speech

语音合成模型将书面文本转换为自然听起来的音频。虽然较早的模型仅限于单个演讲者，但最近的进步导致了零击系统的发展，这些系统以其他声音作为附加提示，从广泛的扬声器中产生逼真的语音。但是，他们仍然在模仿与培训数据集有很大差异的非阶段质量样本方面挣扎 ...