Multimodal Preference Data Synthetic Alignment with Reward Model

多模态大语言模型（MLLM）通过集成视觉和文本数据来完成显着的高级任务，例如标题生成和视觉问答。然而，由于预训练数据与真实用户提示之间的差异，它们有时会产生误导或幻觉内容。在视觉语言任务中使用直接偏好优化 (DPO) 的现有方法通常依赖于 GPT-4 或 CLIP 等强大模型来确定正面和负面响应 ...

VLRewardBench: A Challenging Benchmark for Vision-Language Generative Reward Models

视觉语言生成奖励模型（VL-GenRM）在调整和评估多模式人工智能系统方面发挥着至关重要的作用，但其自身的评估仍未得到充分探索。目前的评估方法主要依赖于传统 VL 任务中人工智能注释的偏好标签，这可能会引入偏差，并且往往无法有效挑战最先进的模型。为了解决这些限制，我们引入了 VL-RewardBench，这是一个涵盖一般多模式查询、视觉幻觉检测和复杂推理任务的综合基准测试 ...

Calibrated Self-Rewarding Vision Language Models

通过指令调优集成预训练的大语言模型 (LLM) 和视觉模型，大型视觉语言模型 (LVLM) 取得了实质性进展。尽管取得了这些进步，LVLM 经常表现出幻觉现象，其中生成的文本响应在语言上看似合理，但与输入图像相矛盾，表明图像和文本对之间存在偏差。出现这种不一致的原因是模型倾向于优先考虑文本信息而不是视觉输入，即使语言模型和视觉表示都是高质量的 ...

LLaVA-CoT: Let Vision Language Models Reason Step-by-Step

大型语言模型在推理能力方面已经展现出巨大的进步，特别是通过推理时间缩放，如 OpenAI 的 o1 等模型所示。然而，当前的视觉语言模型（VLM）通常很难执行系统和结构化的推理，特别是在处理复杂的视觉问答任务时。在这项工作中，我们介绍了 LLaVA-o1，这是一种新颖的 VLM，旨在进行自主多阶段推理 ...

Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation

多模态大型语言模型 (MLLM)（例如 LLaVA 系列模型）的最新进展是由大量机器生成的指令跟踪数据调优驱动的。然而，这种自动指令收集管道无意中引入了数据质量的显着变化。本文介绍了一种新颖的指令管理算法，该算法从人类和 LLM 偏好对齐这两个独特的角度衍生出来，将机器生成的多模态指令的庞大语料库压缩为紧凑且高质量的形式：（i）对于人类偏好对齐，我们收集了机器生成的多模式指令数据集，并建立了一套全面的主观和客观标准，以批判性地指导人类专家的数据质量评估 ...

VLFeedback: A Large-Scale AI Feedback Dataset for Large Vision-Language Models Alignment

随着大型视觉语言模型 (LVLM) 的快速发展，对高质量和多样化数据来协调这些模型的需求变得越来越重要。然而，事实证明，在人工监督下创建此类数据成本高昂且耗时。在本文中，我们研究了人工智能反馈对调整 LVLM 的规模监督的有效性 ...

Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence

大型视觉语言模型 (LVLM) 在将大型语言模型 (LLM) 与视觉输入集成方面取得了实质性进展，从而实现了高级多模态推理。尽管取得了成功，但一个持续存在的挑战是幻觉——生成的文本无法准确反映视觉内容——破坏了准确性和可靠性。现有方法侧重于对齐训练或解码改进，但主要解决生成阶段的症状，而不探究根本原因 ...

Seeing Clearly by Layer Two: Enhancing Attention Heads to Alleviate Hallucination in LVLMs

多模态大语言模型（MLLM）中的幻觉问题仍然是一个常见问题。尽管图像标记占据了 MLLM 输入序列的大部分，但探索图像标记与幻觉之间关系的研究却很有限。在本文中，我们分析了模型各层和头部的图像标记的注意力分数分布，揭示了一个有趣且常见的现象：大多数幻觉与图像标记的自注意力矩阵中的注意力池模式密切相关，其中浅层表现出密集的注意力汇，而较深层则表现出稀疏的注意力汇 ...

Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference

由于视觉信息表示所需的大量参数和额外输入标记，多模态大语言模型 (MLLM) 需要大量计算来进行推理。在此，我们介绍 Visual Tokens Withdrawal (VTW)，这是一个即插即用的模块，可增强 MLLM 的快速推理能力。我们的方法受到我们观察到的两个有趣现象的启发：（1）LLM 中普遍存在的注意力集中现象在 MLLM 中也持续存在，这表明初始标记和最近的标记受到大多数关注，而中间视觉标记在 MLLM 中获得最少的关注。深层； (2) 信息迁移的存在，这意味着视觉信息被转移到 MLLM 的前几层内的后续文本标记 ...

From Uncertainty to Trust: Enhancing Reliability in Vision-Language Models with Uncertainty-Guided Dropout Decoding

大型视觉语言模型 (LVLM) 在多模式任务中表现出卓越的能力，但很容易误解视觉输入，常常导致幻觉和不可靠的输出。为了应对这些挑战，我们提出了 Dropout Decoding，这是一种新颖的推理时间方法，可以量化视觉标记的不确定性并有选择地掩盖不确定标记以改进解码。我们的方法通过将每个视觉标记投影到文本空间并将其分解为任意和认知成分来测量每个视觉标记的不确定性 ...