域的概括旨在将从多个标记的源域获得的知识应用于看不见的目标域。主要困难来自数据集偏差:培训数据和测试数据具有不同的分布,培训集包含来自不同分布的异质样本。令$ x $表示功能,而$ y $为类标签 ...
在实际应用程序中,还需要一个机器学习模型来处理开放式识别(OSR),除了域移位外,在推理过程中出现未知类别,其中数据的分布在训练阶段和推理阶段之间的分布也有所不同。域概括(DG)旨在处理推理阶段目标域在模型训练期间无法访问的域移位情况。开放域概括(ODG)同时考虑了DG和OSR ...
域的概括(DG)方法旨在通过仅使用来自源域的训练数据来实现对看不见的目标域的通用性。尽管已经提出了多种DG方法,但最近的一项研究表明,在公平的评估方案(称为域名)下,简单的经验风险最小化(ERM)方法可与以前的方法相当甚至优于以前的方法。不幸的是,只需在复杂的,非凸损耗函数上解决ERM,可以通过寻求尖锐的最小值轻松地导致次优的概括性 ...
无监督的域适应性(UDA)旨在将所学的知识从标记的源域转移到未标记的目标域。先前的工作主要建立在卷积神经网络(CNN)上,以学习域名的表示。随着将视觉 Transformer (VIT)应用于视觉任务的最新指数增加,在文献中,VIT在适应跨域知识方面的能力仍未探索 ...
在最近的过去,已经提出了几种领域的概括(DG)方法,显示出令人鼓舞的性能,但是,几乎所有的都基于卷积神经网络(CNN)。研究视觉 Transformer (VIT)的DG性能(VIT)几乎没有进展,这在标准基准上挑战了CNN的至高无上,通常建立在I.I.上 ...
随着大语言模型(LLMS)功能的发展,负责和安全使用此类LLM的主要步骤是能够检测这些模型生成的文本。虽然受监督的AI生成的文本检测器在较旧的LLMS生成的文本上表现良好,但经常发布新的LLM,但构建监督的探测器,用于从此类新模型中识别文本,需要新的标记的培训数据,这在实践中是不可避免的。在这项工作中,我们解决了这个问题,并提出了一个域泛化框架,以检测来自看不见的目标发生器的AI生成的文本 ...
使用大型语言模型(LLM)已在软件开发人员中广受欢迎,以生成源代码。但是,使用LLM生成的代码的使用可能会引入添加次优,有缺陷和脆弱代码的风险。这使得必须设计方法以准确检测LLM生成的代码 ...
自然语言处理的进步,例如从预训练的语言模型中进行转移学习,也影响了如何培训模型的编程语言任务。先前的研究主要探索了预训练的代码,并通过多模式和多任务处理将其扩展,但是下游任务的数据仍然适度。为了关注下游任务的数据利用,我们提出并调整增强方法,这些方法可在代码翻译和摘要中最多可提高高达6 ...
微调预审计的模型是域泛化(DG)任务中的常见实践。但是,由于预审预理论的型号的尺寸不断增长,微型调整通常在计算上很昂贵。更重要的是,这可能会导致过度拟合源域并损害其概括能力,如最近的作品所示 ...
这项工作提供了一个统一的框架,用于解决视觉监督域的适应和泛化的问题。主要思想是利用暹罗体系结构来学习一个具有歧视性的嵌入子空间,并在映射的视觉域在语义上进行对齐且最大程度地分开。监督设置变得有吸引力,尤其是当只需要标记目标数据样本时 ...