MetaReVision: Meta-Learning with Retrieval for Visually Grounded Compositional Concept Acquisition

人类可以通过回忆和概括从过去的经验中获得的原始概念来学习新颖的构图概念。受这一观察的启发，在本文中，我们提出了MetareVision，这是一种检索增强的元学习模型，以解决视觉上扎根的构图概念学习问题。拟议的元视频由一个检索模块和一个元学习模块组成，该模块旨在将检索到的原始概念纳入元素培训视觉语义模型，以构成接地构图概念识别 ...

Retrieval-Augmented Meta Learning for Low-Resource Text Classification

元学习在低资源文本分类中实现了有希望的表现，该分类旨在识别具有从源类中传递的知识类别的目标类别，其中包含一组名为情节的小型任务。但是，由于元学习场景中的训练数据有限和参数化神经网络的固有特性，因此较差的泛化性能已成为一个需要解决的紧迫问题。为了解决这个问题，我们提出了一种基于元学习的方法，称为检索元素元学习（RAML） ...

Meta Learning for Code Summarization

源代码摘要是为编程语言代码段生成高级自然语言描述的任务。该任务的当前神经模型在其体系结构和他们考虑的代码方面有所不同。在本文中，我们表明，用于代码摘要的三个SOTA模型在很大程度上是差异的大型代码库中的子集 ...

Meta-in-context learning in large language models

大型语言模型在各种任务中表现出了巨大的表现。内在的学习 - 在获得许多示威游行后的任务改进的能力 - 被视为取得成功的主要贡献者之一。在本文中，我们证明了大语模型的内在学习能力可以通过内在学习本身递归改进 ...

Knowledgeable In-Context Tuning: Exploring and Exploiting Factual Knowledge for In-Context Learning

大型语言模型（LLMS）通过以一些标记的培训示例作为基于文本的提示来启用文本学习（ICL），从而消除了参数更新的需求并实现竞争性能。在本文中，我们证明了事实知识对于ICL在三个核心方面的表现至关重要：在LLMS中学到的固有知识，从所选的文本示例中得出的事实知识以及LLMS中的知识偏见以产生产量。为了在几乎没有学习的学习场景中释放LLM的功能，我们引入了一种新颖的知识渊博的内部内部调整（KICT）框架，以进一步提高ICL的性能：1）在不断的自我监督的预先培训期间，将知识注入LLMS，并明智地选择具有高知识相关性的ICL的示例，并提高了校准的知识 ...

What learning algorithm is in-context learning? Investigations with linear models

神经序列模型，尤其是变形金刚具有出色的文化学习能力。他们可以从输入中显示的$（x，f（x））$的标记示例序列中构建新的预测变量，而无需进一步的参数更新。我们调查了一个假设，即基于 Transformer 的内在学习者通过在激活中编码较小的模型并更新这些隐式模型时，将标准学习算法隐含地实现，因为新示例出现在上下文中 ...

MetaDiff: Meta-Learning with Conditional Diffusion for Few-Shot Learning

为深层的模型提供了几乎没有学习的学习，即只有很少的示例学习是人工智能的核心挑战 ...

CoderEval: A Benchmark of Pragmatic Code Generation with Generative Pre-trained Models

学术界和行业都越来越多地尝试了基于培训和微调范式的代码生成模型，从而产生了众所周知的工业模型，例如Codex，Codegen和Pangu-Coder。为了评估这些模型的有效性，提出了多种现有基准测试，其中包括产生独立函数的情况，即 ...

DS-1000: A Natural and Reliable Benchmark for Data Science Code Generation

我们介绍了DS-1000，这是一个代码生成基准，其中具有一千个数据科学问题，涵盖了七个Python库，例如Numpy和Pandas。与先前的作品相比，DS-1000结合了三个核心功能。首先，我们的问题反映了各种，现实和实用的用例，因为我们从Stackoverflow收集了它们 ...

Robust Learning of Diverse Code Edits

软件工程活动经常涉及现有代码的编辑。但是，当代代码语言模型（LMS）缺乏处理各种类型的代码编辑要求的能力。在这项工作中，我们试图通过（1）新型的合成数据生成管道和（2）强大的模型适应算法来克服这一缺点 ...