代码生成模型取得了令人印象深刻的性能。然而，它们往往很脆弱，因为对提示的轻微编辑可能会导致截然不同的世代；这些鲁棒性属性对于部署在现实应用程序中时的用户体验至关重要，但人们还没有很好地理解这些属性。大多数关于文本或代码任务的鲁棒性的现有工作都集中在分类上，而生成任务的鲁棒性是一个未知领域，并且迄今为止还没有代码生成鲁棒性的全面基准 ...