多模式大语言模型(MLLMS)弥合了视觉和文本数据之间的差距,从而实现了一系列高级应用程序。但是,视觉元素之间的复杂内部互动及其与文本的一致性可能引入漏洞,可以利用这些漏洞来绕过安全机制。为了解决这个问题,我们分析图像内容与任务之间的关系,发现子图像的复杂性而不是其内容是关键 ...
在开放式世界中完成长马(LH)任务对于具体代理人来说,这是一个重要但困难的问题。现有方法面临两个关键挑战:(1)他们在很大程度上依赖于从人类创建的数据或课程中获得的经验,缺乏连续更新多模式体验的能力,并且(2)他们可能会遇到灾难性遗忘的问题,面对新任务,遇到新任务,缺乏不断更新世界知识的能力。为了解决这些挑战,本文提出了一种具有持续世界模型(WM)的自主发展的代理人,可以通过自我计划,自我控制和自我反射自主完成各种LH任务,而无需人类干预 ...
长期以来,增强YOLO框架的网络架构至关重要,但尽管在建模功能中具有关注机制具有优势,但仍集中在基于CNN的改进上。这是因为基于注意力的模型无法匹配基于CNN的模型的速度。本文提出了一个以注意力为中心的YOLO框架,即Yolov12,该框架与以前基于CNN的速度相匹配,同时利用了注意机制的性能优势 ...
大语言模型(LLMS)的文化学习能力使他们能够将其推广到具有相对较少标记的示例的新颖下游任务。但是,它们需要部署庞大的计算资源。或者,如果用足够的标记示例进行微调,则较小的模型可以解决特定的任务 ...
大多数现有的知识图应答(KGQA)方法是为特定kg设计的,例如wikidata,dbpedia或freebase。由于基础图模式的异质性,拓扑和断言,如果没有资源密集型培训数据,大多数KGQA系统就无法转移到看不见的知识图(KGS)。我们提出了一种新型的大型语言模型(LLM)基于KGQA的方法,其两阶段架构将语义解析与KG依赖性相互作用分开 ...
变形金刚能否在需要处理不同级别难度的示例的问题上有效地概括?我们引入了一项针对不同复杂性评估概括的新任务,并提出结果表明标准 Transformer 在解决这些任务方面面临挑战。这些任务是张(2021)先前引入的指针值检索的变体 ...
当前的大型语言模型(LLMS)通常是为广泛的通用应用而设计的,而特定领域的LLM,尤其是在诸如医学之类的垂直领域,仍然相对较少。特别是,由于医学知识的复杂性和高质量数据的可用性,医疗领域高效和实用的LLM的开发是具有挑战性的。为了弥合这一差距,我们介绍了Baichuan-M1,这是一系列针对医疗应用优化的大型语言模型 ...
奖励模型(RMS)对于使大语言模型(LLM)与人类期望保持一致至关重要。但是,现有的RMS难以捕获人类偏好的随机性和不确定性质,并且无法评估奖励预测的可靠性。为了应对这些挑战,我们介绍了不确定性感知的奖励模型(URM)及其合奏变体Urme ...
很少有课堂学习(FSCIL)是一个具有挑战性的问题,因为在新课程中,每个新颖的课程都只能访问少数培训样本。固定主链或调整在上一次课程中训练的分类器原型不可避免地会导致旧类的功能和分类器之间的错位,这解释了众所周知的灾难性遗忘问题。在本文中,我们在FSCIL中处理了受到最近发现的名为Neural Collapse的现象的启发的FSCIL的这一未对准困境,该现象揭示了同一阶级的最后一层特征将崩溃到顶点,并且所有阶级的顶点都与该阶级的顶点与该阶级的顶点一致。分类器原型,形成为单纯的等法紧密框架(ETF) ...
通过使用奖励模型将大型语言模型(LLM)与人类偏好保持一致的关键方法,从人类反馈中学习(RLHF)已成为一种关键方法。但是,传统奖励模型通常会产生点估计,这过度简化了人类价值观和偏好的多样性和复杂性。在本文中,我们介绍了分位数奖励模型(QRMS),这是一种新颖的奖励建模方法,可以在奖励上学习分布而不是单个标量值 ...