Frustratingly Easy Transferability Estimation

可迁移性估计一直是选择预训练模型及其层进行迁移学习和迁移的重要工具，以便最大限度地提高目标任务的性能并防止负迁移。现有的估计算法要么需要对目标任务进行强化训练，要么难以评估各层之间的可转移性。为此，我们提出了一种简单、高效、有效的可转移性措施，名为 TransRate ...

AugGPT: Leveraging ChatGPT for Text Data Augmentation

文本数据增强是克服许多自然语言处理（NLP）任务中样本量有限的挑战的有效策略。这一挑战在小样本学习场景中尤为突出，其中目标域中的数据通常更加稀缺且质量较低。缓解此类挑战的一种自然且广泛使用的策略是执行数据增强，以更好地捕获数据不变性并增加样本量 ...

An Empirical Survey of Data Augmentation for Limited Data Learning in NLP

NLP 在过去十年中通过使用神经模型和大型标记数据集取得了巨大进步。对丰富数据的依赖阻碍了 NLP 模型应用于资源匮乏的环境或需要大量时间、金钱或专业知识来标记大量文本数据的新颖任务。最近，数据增强方法被探索作为提高 NLP 数据效率的一种手段 ...

Automated Concatenation of Embeddings for Structured Prediction

预训练的上下文嵌入是用于结构化预测任务的强大单词表示。最近的工作发现，通过连接不同类型的嵌入可以获得更好的单词表示。然而，选择嵌入来形成最佳串联表示通常会根据任务和候选嵌入的集合而变化，并且嵌入类型数量的不断增加使其成为一个更加困难的问题 ...

Few-NERD: A Few-Shot Named Entity Recognition Dataset

最近，围绕少样本命名实体识别 (NER) 主题涌现了大量文献，但很少公开专门关注实际且具有挑战性的任务的基准数据。当前的方法收集现有的监督 NER 数据集，并将它们重新组织到少样本设置以进行实证研究。这些策略通常旨在通过很少的示例来识别粗粒度的实体类型，而在实践中，大多数看不见的实体类型都是细粒度的 ...

DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks

数据增强技术已被广泛用于提高机器学习性能，因为它们增强了模型的泛化能力。在这项工作中，为了为低资源标记任务生成高质量的合成数据，我们提出了一种新颖的增强方法，该方法使用在线性化标记句子上训练的语言模型。我们的方法适用于监督和半监督设置 ...

Large Language Models for Healthcare Data Augmentation: An Example on Patient-Trial Matching

将患者与合适的临床试验相匹配的过程对于推进医学研究和提供最佳护理至关重要。然而，当前的方法面临着数据标准化、伦理考虑以及电子健康记录 (EHR) 和临床试验标准之间缺乏互操作性等挑战。在本文中，我们探索大语言模型 (LLM) 解决这些挑战的潜力，利用其先进的自然语言生成功能来提高 EHR 和临床试验描述之间的兼容性 ...

LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition

尽管大型语言模型（LLM）的能力令人印象深刻，但它们在信息提取任务上的表现仍然不完全令人满意。然而，他们卓越的重写能力和广泛的世界知识为改进这些任务提供了宝贵的见解。在本文中，我们提出了 $LLM-DA$，这是一种基于 LLM 的新型数据增强技术，用于少样本 NER 任务 ...

CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification

与卷积神经网络相比，最近开发的视觉变换器（ViT）在图像分类方面取得了有希望的结果。受此启发，在本文中，我们研究了如何在图像分类的 Transformer 模型中学习多尺度特征表示。为此，我们提出了一种双分支 Transformer 来组合图像块（i. ...

CrossTransformers: spatially-aware few-shot transfer

考虑到数据非常少的新任务，例如分类问题中的新类或输入域的转移，现代视觉系统的性能会显着快速下降。在这项工作中，我们说明了支撑现代视觉系统的神经网络表示如何受到监督崩溃的影响，从而丢失执行训练任务不需要的任何信息，包括转移到新任务或领域可能需要的信息。然后我们提出两种方法来缓解这个问题 ...