多模式推理仍然是人工智能中的基本挑战。尽管基于文本的推理取得了长足的进步,但即使是GPT-O3等最先进的模型,也很难在多模式场景中保持强劲的性能。为了解决这一差距,我们介绍了一个标题辅助推理框架,该框架有效地弥合了视觉和文字方式 ...
开源多模式大型语言模型(MLLM)在涉及文本和视觉输入的各种任务中都表现出色,但仍在复杂的多模式数学推理中挣扎,落后于GPT-4V(ISION)和GEMINI-PRO等专有模型。虽然通过中间步骤进行微调(即 ...
大型多模型(LMM)受益于训练有素训练的视觉编码器,在各种视觉感知任务中都取得了出色的性能。但是,对比度学习对总结描述的固有局限性从根本上限制了模型在细致的推理中的能力,尤其是在几何问题解决的关键情况下。为了增强几何理解,我们为视觉编码器提出了一个新型的硬性负面对比学习框架,该框架结合了基于图像的对比度学习,该学习使用基于生成的硬核剂来通过扰动图生成代码创建的基于世代的硬质量,以及基于基于规则的基于经文本的对比性学习,该基于基于规则的否定词是从修改后的几何描述和基于基于主角类似的基于基于主角的基于基于基于基于的基于基于基于基于的基础的负面的负面的 ...
随着大型语言模型(LLMS)变得更加先进,很难区分人文和AI生成的文本。本文在量子不确定性和自然语言中的作者身份检测的限制之间提出了概念相似之处。我们认为存在一个基本的权衡:越自信地试图确定文本是由人类还是人工智能撰写的,越有可能破坏文本的自然流动和真实性 ...
随着大型语言模型(LLM)的快速发展,它们强大的代码生成功能已被广泛应用于代码完成和自动化开发等任务,证明了提高编码效率的价值。但是,广泛使用LLM生成的代码也带来了一些新的挑战。一方面,诸如代码出处,版权纠纷和代码质量的调节等问题变得越来越令人关注 ...
随着合成内容越来越多地渗透到网络上,生成的AI模型可以通过其自身的输出进行重新训练:称为“自噬”的过程。这导致了模型崩溃:逐代的绩效和多样性逐渐丧失。最近的研究检查了模型崩溃的出现,各种生成的AI模型和数据类型,并提出了依赖于纳入人为实现的内容的缓解策略 ...
神经文本探测器旨在决定将神经(机器生成)与人类文本区分开的特征。为了挑战此类探测器,对抗攻击可以改变生成的文本的统计特征,从而使检测任务越来越困难。受软件开发和测试突变分析的进步的启发,在本文中,我们提出了基于角色和单词的突变操作员,以生成对抗性样本来攻击最新的自然文本检测器 ...
预先训练的大语言模型表明了从DNA序列中提取信息的潜力,但是适应各种任务和数据模式仍然是一个挑战。为了解决这个问题,我们提出了DNAGPT,这是一种对所有哺乳动物的超过2000亿碱基对训练的广义DNA预训练模型。通过使用二进制分类任务(DNA序列顺序)增强经典的GPT模型,数值回归任务(鸟嘌呤 - 环胞苷含量预测)以及全面的 Token 语言,DNAGPT可以处理多功能DNA分析任务,同时处理序列和数值数据 ...
我们进行了定量分析,将六种不同LLM的人为写的英语新闻文本与可比的大语言模型(LLM)的输出进行了对比,总共涵盖了三个不同的家庭和四种尺寸。我们的分析涵盖了几个可衡量的语言方面,包括形态学,句法,心理测量和社会语言方面。结果揭示了人与AI生成的文本之间的各种可测量差异 ...
这项研究提供了六种大型语言模型与真实的,由人为著名的纽约时报撰写产生的纽约时报式文本的首次全面比较。比较基于形式的句法理论。我们使用头驱动的短语结构语法(HPSG)来分析文本的语法结构 ...