Fine-Tuning Large Language Models to Translate: Will a Touch of Noisy Data in Misaligned Languages Suffice?

传统上，多语言机器翻译的成功可归因于训练数据的三个关键因素：海量、翻译方向多样和高质量。在当前对翻译大型语言模型（LLM）进行微调的实践中，我们重新审视所有这些因素的重要性。我们发现LLM在仅仅32个训练实例上进行微调后就显示出强大的翻译能力，并且在单个翻译方向上的微调有效地使LLM能够在多个方向上进行翻译 ...

LESS: Selecting Influential Data for Targeted Instruction Tuning

指令调优释放了大型语言模型 (LLM) 的强大功能，有效地使用组合数据集来开发通用聊天机器人。然而，现实世界的应用程序通常需要一套专门的技能（例如 ...

Language models scale reliably with over-training and on downstream tasks

标度法则对于开发语言模型来说是有用的指南，但当前的标度研究与语言模型的最终训练和评估方式之间仍然存在差距。例如，缩放通常在计算最优训练方案中进行研究（即 ...