A Comparative Study of DSL Code Generation: Fine-Tuning vs. Optimized Retrieval Augmentation

近年来，随着大型语言模型（LLMS）的出现，自然语言对代码产生的生成取得了重大进展。尽管C，C ++和Python（例如C，C ++和Python）的通用语言产生显着改善，但LLMS与域特定语言或DSL中的自定义功能名称挣扎。这会导致更高的幻觉率和语法错误，特别是对于具有大量自定义功能名称的DSL ...

GeAR: Generation Augmented Retrieval

文档检索技术构成了大型信息系统开发的基础。流行的方法是构建双重编码器并计算语义相似性。但是，这种标量相似性很难反映足够的信息，并阻碍了我们对检索结果的理解 ...

CodeRAG-Bench: Can Retrieval Augment Code Generation?

虽然语言模型 (LM) 已被证明非常擅长生成代码，但对于 LM 来说，仅使用其参数知识生成许多程序仍面临挑战。提供外部上下文（例如库文档）可以促进生成准确且功能性的代码。尽管检索增强生成（RAG）在各种面向文本的任务中取得了成功，但其改进代码生成的潜力仍未得到充分开发 ...

LLM Program Optimization via Retrieval Augmented Search

随着大型语言模型（LLM）的出现，将它们应用于解决困难的编程任务方面引起了很多兴趣。最近的工作表明了他们在计划优化方面的潜力，这是编程语言研究中的关键挑战。我们提出了一种称为检索增强搜索（RAS）的黑框适应方法，该方法在候选优化方面执行了光束搜索。在每个步骤中，它都会从给定的慢速程序对的给定培训数据集中检索示例，以指导LLM ...

Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning

迅速的学习方法通​​过诱导更好的几次表现，在仍然遵循基于参数的学习范式的同时，引起了自然语言处理的波动。学习中的遗忘和死记硬背的记忆问题可能会遇到不稳定的概括问题。具体而言，香草及时的学习可能难以利用死记硬背的非典型实例，并具有低射击数据的过度训练或过度浅的模式。为了减轻此类局限性，我们以将知识从记忆中解耦的动机发展为有助于模型在概括和记忆之间取得平衡 ...

MetaPrompting: Learning to Learn Better Prompts

提示方法被视为几乎没有自然语言处理的关键进展之一。关于提示从基于离散 Token 的``硬提示''转移到连续``软提示''的最新研究，这些提示将可学习的向量作为伪提示，并实现更好的性能。尽管显示出有希望的前景，但观察到这些软宣传的方法在很大程度上依赖良好的初始化来生效 ...

Meta-prompting Optimized Retrieval-augmented Generation

从外部来源检索到的内容，以检索出来的措施，以利用下游任务中大型语言模型的性能。过多的检索内容，其部分的可能分散或焦点范围可能会发生，但最终可能会产生有害而不是增量效应。为了减轻此问题并改善检索功能的生成，我们提出了一种通过诉诸于元启动优化的提示，在提示中包含在提示中之前的检索内容 ...

Adaptive Meta-Learning for Robust Deepfake Detection: A Multi-Agent Framework to Data Drift and Model Generalization

人工智能的开创性进步，尤其是在Genai中，已经为内容创建提供了很大的可能性，但也导致了广泛的错误信息和错误的内容。深层摄影的复杂性和现实主义日益增长的是对隐私入侵，身份盗窃的关注，并具有社会业务影响，包括声誉损失和财务损失。已经开发了许多DeepFake探测器来解决此问题 ...

Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via Alternate Meta-learning

一种令人信服的复杂问题回答方法是将问题转换为一系列动作，然后可以在知识库上执行以产生答案，也就是程序员互动方法。对测试问题使用类似的培训问题，Meta学习使程序员能够适应看不见的问题，以快速解决潜在的分配偏见。但是，这是以手动标记类似问题来学习检索模型的代价的，这是乏味而昂贵的 ...

MetaReVision: Meta-Learning with Retrieval for Visually Grounded Compositional Concept Acquisition

人类可以通过回忆和概括从过去的经验中获得的原始概念来学习新颖的构图概念。受这一观察的启发，在本文中，我们提出了MetareVision，这是一种检索增强的元学习模型，以解决视觉上扎根的构图概念学习问题。拟议的元视频由一个检索模块和一个元学习模块组成，该模块旨在将检索到的原始概念纳入元素培训视觉语义模型，以构成接地构图概念识别 ...