尽管大型语言模型 (LLM) 具有卓越的功能，但由于它们仅依赖于所封装的参数知识，因此通常会产生包含事实不准确的响应。检索增强生成（RAG）是一种通过检索相关知识来增强语言模型的临时方法，可以减少此类问题。然而，不加区别地检索和合并固定数量的检索到的段落，无论检索是否必要，或者段落是否相关，都会降低 LM 的多功能性或可能导致生成无用的响应。我们引入了一个称为自反射检索增强生成（Self-RAG）的新框架，它通过检索和自反射来增强 LM 的质量和事实性。我们的框架训练一个任意的 LM，它可以自适应地按需检索段落，并使用特殊的标记（称为反射标记）生成并反映检索到的段落及其自己的生成。生成反射 Token 使 LM 在推理阶段可控，使其能够根据不同的任务要求调整其行为。实验表明，Self-RAG（7B 和 13B 参数）在各种任务上显着优于最先进的 LLM 和检索增强模型。具体来说，Self-RAG 在开放域 QA、推理和事实验证任务上优于 ChatGPT 和检索增强的 Llama2-chat，并且相对于这些模型，它在提高长格式生成的事实性和引用准确性方面显示出显着的收益 ...