基本信息

大型语言模型（LLM）代理能够执行广泛的操作，例如调用工具和控制机器人，在应对现实世界的挑战方面显示出巨大的潜力。通常会提示 LLM 代理通过生成预定义格式的 JSON 或文本来生成操作，这通常受到操作空间（例如，预定义工具的范围）和灵活性（例如，无法组合多个工具）的限制。这项工作建议使用可执行的Python代码将LLM代理的操作整合到统一的操作空间（CodeAct）中。 CodeAct 与 Python 解释器集成，可以执行代码操作并动态修改先前的操作或通过多轮交互根据新观察发出新操作。我们对 API-Bank 上 17 个 LLM 的广泛分析和新制定的基准表明，CodeAct 的性能优于广泛使用的替代方案（成功率高出 20%）。 CodeAct 令人鼓舞的性能激励我们构建一个开源 LLM 代理，它通过执行可解释的代码与环境交互，并使用自然语言与用户协作。为此，我们收集了一个指令调优数据集 CodeActInstruct，其中包含使用 CodeAct 的 7k 多轮交互。我们证明，它可以与现有数据一起使用，以改进面向代理的任务中的模型，而不会影响其一般能力。 CodeActAgent 经过 Llama2 和 Mistral 的微调，与 Python 解释器集成，经过专门定制，可使用现有库和自主自调试来执行复杂的任务（例如模型训练） ...