设置标记提示释放了 GPT-4V 中非凡的视觉基础

摘要

我们提出了一种新的视觉提示方法Set-of-Mark (SoM)，以释放大型多模态模型 (LMM)（例如 GPT-4V）的视觉基础能力。 如图1（右）所示，我们采用现成的交互式分割模型（例如 SAM）将图像划分为不同粒度级别的区域，并用一组标记例如字母数字、掩码、方框。 使用标记的图像作为输入，GPT-4V 可以回答需要视觉基础的问题。 我们进行了全面的实证研究，以验证 SoM 在各种细粒度视觉和多模态任务上的有效性。 例如，我们的实验表明，在零样本设置中，带有 SoM 的 GPT-4V 优于 RefCOCOg 上最先进的完全微调参考分割模型。

游乐场：https://som-gpt4v.github.io/

图1： GPT-4V 提示技术的比较：（左）标准提示和（右）建议的标记集提示。 简单地将 id 叠加在图像区域上即可释放视觉基础并纠正 GPT-4V 的答案。 请注意，没有标记会泄漏到用户文本输入..

1简介

在过去的几年里，我们见证了大语言模型[2,3,10,44,60,35]的显着进步。 特别是，生成式预训练 Transformer 或 GPT [2, 35] 在业界和学术界取得了多项突破。 自 GPT-4 发布以来，大型多模态模型 (LMM) 引起了研究界越来越多的兴趣。 许多工作致力于基于开源模型构建多模态 GPT-4[28,63,57,12,48,51,20]。 近日，GPT-4V(ision)发布，以其出色的多模态感知和推理能力立即受到社区关注。 其优越性和通用性在[50]中得到了体现。 尽管 GPT-4V 具有前所未有的强大视觉语言理解能力，但其细粒度的视觉接地能力却相对较弱，或者说尚待释放。 例如，GPT-4V 很难生成图像中狗的精确坐标序列，或一些交通灯[54]。

我们的研究动机是解决 GPT-4V 在细粒度视觉任务（例如对象引用）上的失败案例。 原则上，这些任务要求模型对视觉内容具有丰富的语义理解和准确的空间理解。 然而，正如 所指出的，促使 GPT-4V 生成包含文本描述和数字坐标的标记序列不仅会损害大语言模型的自然流畅性，而且还会忽视 LMM 使用的视觉模型中的空间理解能力。 [7]。 因此，在本研究中，我们通过提出一种新的视觉提示方法来提高视觉输入，以释放 LMM 的视觉接地能力。 人们已经针对各种视觉和多模式任务探索了视觉提示[9,19,65,46,42]。 这些作品可以分为两类。 一种是将点、框、笔划等视觉提示编码为潜在特征，然后用于提示视觉模型[65, 19]。 另一种是将视觉标记直接叠加到输入图像上。 重叠的标记可以是红色圆圈[42]、突出显示的区域[49]或带有箭头的几个圆圈[50]。 尽管这些研究证明了像素级视觉提示的前景，但它们仅限于视觉上指代一个或几个对象。 而且，所有这些标记都不容易被大语言模型“说出”，从而阻碍了GPT-4V的接地能力。

在本文中，我们提出了一种新的提示机制，称为标记集（SoM）提示,即简单地在图像区域顶部添加一组视觉标记。 我们首先将输入图像划分为一组语义上有意义的区域。 然后，我们在每个区域上覆盖各种格式的标记，例如数字、字母、掩码或框。 我们进行了一项实证研究，以验证 GPT-4V 是否可以在这些可解释和“可传播”的视觉标记的情况下更好地接地这些区域。 我们的实验表明，SoM 可以极大地释放 GPT-4V 的接地能力。 如图1所示，与标准提示相比，SoM帮助GPT-4V准确地将答案接地到相应区域，例如，正确的笔记本电脑是“9”，灯号为“12”。 同样，它也可以将左边的椅子与“7”相关联。 请注意，与 GPT-4V 的对话中没有泄漏有关标记的信息，这表明模型不仅可以理解视觉标记的语义，而且还知道如何以及何时将视觉内容与标记相关联。 据我们所知，这是第一项证明 GPT-4V 的紧急视觉接地能力可以通过视觉提示（SoM）释放的研究。 总而言之，我们的主要贡献是：

• 我们为 LMM 提出了一种简单而有效的视觉提示，Set-of-Mark (SoM)，并根据经验表明 SoM 有效释放了 GPT-4V 的接地能力。

• 我们开发了一套新的评估基准来检查 GPT-4V 和其他 LMM 的接地能力。 对于数据集中的每个图像，我们采用现成的分割模型将图像分割为多个区域，并用视觉标记（例如数字）覆盖每个区域。

• 我们进行了定量和定性分析，以验证 SoM 在各种视觉任务上的有效性。 我们的实验表明，SoM 显着提高了 GPT-4V 在需要接地的复杂视觉任务上的性能。 例如，在零样本设置中，带有 SoM 的 GPT-4V 优于 RefCOCOg 上最先进的完全微调参考分割模型。

2 标记组提示

图2： 将标准 GPT-4V 及其组合与Set-of-Mark (SoM) 提示进行比较。 它清楚地表明我们提出的提示方法有助于 GPT-4V 更准确地看到并最终得出正确答案。 我们强调我们的方法与标准方法之间的差异。 （该图像由 Dalle-3 生成，彩色效果更佳。）

本节介绍标记集提示，并解释如何应用它来提示 LMM，特别是 GPT-4V。

2.1问题定义

通常，LMM $ℱ$ 将图像 $I\in {ℛ}^{H\times W\times 3}$ 和长度为 $l_i$、$T^i=[t_1^i,\mathrm{\dots },t_{l_i}^i]$ 的文本查询作为输入，并生成一系列长度为$l_o$、$T^o=[t_1^o,\mathrm{\dots },t_{l_o}^o]$的文本输出，公式为：

$$T^o=ℱ(I,T^i)$$ (1)

鉴于当前 LMM 中使用的大语言模型的多功能性，输入和输出文本可以由不同类型的字符(例如，字母和数字）组成，也可以是多语言的。 大量工作尝试改进输入文本$T^i$的提示工程，以赋予大语言模型[47, 53]更多的推理能力。

与大语言模型的提示工程不同，本研究的目标是开发一种新的输入图像提示方法，以释放 LMM 的视觉基础能力。 换句话说，我们努力让 LMM 具备逐个位置查看的能力。 这需要提示策略的两个基本属性：

• 该方法应该能够将图像划分为一组语义上有意义的区域，以与文本输出对齐，这种能力称为接地。

• 投射到输入图像的辅助信息应该是 LMM 可解释和可说的，以便可以在其文本输出中对其进行描述。

考虑到这一点，我们开发了标记集提示，这是一种将多个标记叠加到图像中有意义的区域的简单提示方法。 该操作将输入图像$I$增强为标记图像$I^m$，同时保持LMM的其他输入不变，如图2所示。 从数学上来说，等式(1) 变为

$$T^o=ℱ(\underset{I^m}{\underbrace{\text{𝑆𝑜𝑀}(I)}},T^i).$$ (2)

尽管将 SoM 应用于所有 LMM 很简单，但我们发现并非所有 LMM 都有能力“说出”标记。 实际上，我们发现只有 GPT-4V 在配备 SoM 时表现出紧急接地能力，并且显着优于其他 LMM。 接下来，我们将解释如何将图像划分为区域并在 SoM 中标记图像区域。

2.2 图像分区

给定输入图像，我们需要提取有意义且语义对齐的区域。 理想情况下，提取应该是自动或半自动的，以避免给用户带来额外的负担。 为了实现这一目标，我们采用了一套图像分割工具。 为了支持不同的用例，细分工具需要具备以下属性：

• 性能强：区域划分应足够精确，以向 GPT-4V 传达细粒度的空间布局信息。 从这个意义上说，我们选择了最先进的图像分割模型之一MaskDINO [24]。

• 开放词汇表：分割模型应该是开放词汇表，以便它们可以识别预定义词汇表之外的对象。 因此，我们选择 SEEM [65] 等高级模型。

• 丰富的粒度：最后，感兴趣的区域可能不仅是一个完整的对象，而且可能是它的一部分。 因此，我们还采用了 SAM [19] 和 Semantic-SAM [21]。

我们收集了一套图像分割模型，为用户提供了一个全面的工具箱来分割任意图像。 大多数模型都是交互式和可推广的，用户可以交互式地定制SoM提示。

基于我们的图像分割工具包，我们将大小为 $H\times W$ 的输入图像 $I$ 分割为 $K$ 区域 $R=[r_1,\mathrm{\dots },r_K]\in {\{0,1\}}^{K\times H\times W}$，这些区域由 $K$ 二进制掩码表示。 我们在图 3 中展示了使用我们的工具箱生成的一些 SoM 示例。

图3： 我们编译了不同的分割模型，包括 SEEM [65]、Semantic-SAM [21] 和 SAM [19] 作为图像分割工具我们的工作。 用户可以选择生成掩码的粒度，以及使用自动（顶部）和交互（底部）之间的模式。 使用较高的 alpha 混合值 (0.4) 可获得更好的可视化效果。

2.3 标记集生成

一旦我们获得图像分区$M$，我们需要为每个区域生成一个对于GPT-4V接地有用的标记。 我们考虑两个因素：标记的类型和位置。

标记类型。

正如我们之前讨论的，标记类型取决于它们是否可以被 GPT-4V 解释。 在这项工作中，我们考虑字母数字，因为它不仅足够紧凑，不会占用太多图像空间，而且可以被 GPT-4V 识别（使用其 OCR 功能）。 此外，我们还考虑盒子和掩模边界作为辅助标记。 此外，我们注意到标记类型应与图像相关，以避免与原始图像内容发生任何冲突。 例如，给定充满数字的算术图像，应避免使用数字标记，而文档的屏幕截图不应使用字母字符。 我们将自动确定要使用哪些标记类型以及如何将它们组合到未来的工作中。 图 4 显示了不同的标记类型和 GPT-4V 的解释输出。

标记位置。

给定大小为 $H\times W$ 的图像，我们需要为所有 $K$ 区域找到良好的标记位置。 一种直接的方法是导出第 $k$ 个掩模的中心坐标 $c_k=(x_k^c,y_k^c)$，并在那里覆盖标记。 然而，这不可避免地会引入一些重叠或冲突，可能会混淆 GPT-4V，特别是对于具有密集对象的图像，例如，以相似位置或凹区域为中心的两个对象，如图 5 所示。

图4： 我们的标记组中可以使用不同类型的标记。

图5： 左：由于将所有标记放在中心而引起的一些冲突。 右：我们提出的标记分配算法来解决冲突。

图6： 大语言模型可以使用两种类型的文本提示：左边显示纯文本提示，不包含任何关于标记的线索；右边显示纯文本提示，其中不包含任何关于标记的线索；右侧是交错文本提示，它使用标记来绘制图像区域。

为了缓解这个问题，我们提出了一种标记分配算法，如图5右侧的算法所示。 给定一组掩码 $M$，我们首先计算所有掩码的面积并按升序对它们进行排序（第 6 行）。 此策略确保在大区域之前考虑较小区域。 为了进一步避免潜在的重叠，对于第 $k$ 个掩码，我们排除被任何 $k-1$ 掩码覆盖的区域（第 8 行）。 然后将生成的掩模输入距离变换算法，这有助于找到掩模内到所有边界点的最小距离最大的位置。 然而，在实践中，区域可能很小以至于标记可以覆盖（几乎）整个区域。 在这种情况下，我们将标记稍微移离该区域。 我们发现 GPT-4V 仍然可以在标记和区域之间建立良好的关联。

一旦我们确定了所有区域的标记类型和位置，我们就将标记 $m_k$ 覆盖到区域 $r_k$ 的位置 $c_k$ 处。 我们确保每个标记都是唯一的，以便整套$M=\{m_1,\mathrm{\dots }{m}_k\}$可以被大语言模型区分和朗读。

2.4 交错提示

到目前为止，我们已经获得了带有重叠标记的新图像$I^m$。 此外，我们还有一组 $K$ 区域标记对 $\{⟨r_1,m_1⟩,\mathrm{\dots },⟨r_K,m_K⟩\}$。 给定 $I^m$ 中的附加提示，我们可以使用纯文本提示或交错提示来提示 LMM：

• 纯文本提示。 我们可以像往常一样使用纯文本提示，而无需明确引用图像中的标记/区域。 如图1所示，即使没有任何特殊的文字提示，GPT-4V也能在相应的区域和相应的标记处自动接地。 它可以用于用户没有特定兴趣区域的广泛场景。

• 交错文本提示。 我们可以通过将标记直​​接注入文本来使用交错标记。 由于这些标记对于 LMM 是可以解释的，因此我们可以将它们无缝地融合到原始文本提示中以进行符号引用。

图6展示了这两种基于SoM的文本提示的应用示例。 请注意，对于每个问题，我们都使用新的聊天窗口来避免对话期间的上下文泄漏。 在现实场景中，上述两种文本提示策略可以结合使用，并与 GPT-4V 进行多轮对话，显着丰富人机交互。 此外，用户还可以选择自己绘制标记或修改使用工具箱生成的标记。

3 SoM 提示视觉

图7： 我们在 GPT-4V 上进行基准测试的一些视觉任务示例。

我们强调，使用 SoM 提示 GPT-4V 的独特优点是它可以产生文本之外的输出。 由于每个标记都与掩码表示的图像区域专门关联，因此我们可以追溯到文本输出中任何提到的标记的掩码。 考虑图7中的示例，左侧的GPT-4V响应包含四个区域的名称和详细信息。 它可以诱导标记和文本描述之间的一对一映射，即即、$m_k\leftrightarrow tex{t}_k$。 鉴于$r_k\leftrightarrow m_k$，我们可以进一步将文本描述与所有区域的掩码相关联。 最后，我们可以桥接所有区域的三元组$⟨r_k,m_k,tex{t}_k⟩$,即、$r_k\leftrightarrow m_k\leftrightarrow tex{t}_k$。 生成配对文本和掩码的能力使 SoM 能够促使 GPT-4V 生成合理的视觉基础文本，更重要的是支持各种细粒度的视觉任务，这对普通的 GPT-4V 来说是一项挑战模型。

愿景任务。

我们定量地检查了 SoM 提示的 GPT-4V 的性能。 通过简单的提示工程，它可以很容易地用于但不限于广泛的视觉任务，例如

• 开放词汇图像分割：我们要求 GPT-4V 详尽地告诉所有标记区域的类别以及从预定池中选择的类别。

• 引用分割：给定一个引用表达式，GPT-4V 的任务是从我们的图像分区工具箱生成的候选区域中选择最匹配的区域。

• 短语基础：与指称分词略有不同，短语基础使用由多个名词短语组成的完整句子。 我们要求 GPT-4V 为所有标记的短语分配相应的区域。

• 视频对象分割：它以两个图像作为输入。 第一个图像是查询图像，其中包含第二个图像中需要识别的一些感兴趣的对象。 鉴于 GPT-4V 支持多个图像作为输入，我们的提示方法也可以应用于视频中跨帧的地面视觉对象。

我们在图 7 中展示了如何使用 SoM 提示 GPT-4V 来完成上述视觉任务。 值得注意的是，SoM 可以应用于更广泛的任务，如区域字幕、关键点定位和部件分割等。由于 GPT-4V 的访问权限（配额）有限，我们将重点放在上述视觉任务上，并将对其他任务的探索留待未来工作中进行。 我们将在下一节中介绍详细的实证研究。

4实验

4.1 实验设置

执行。

我们不需要为我们的方法训练任何模型。 然而，由于配额有限且缺乏 GPT-4V API，我们必须将 SoM 增强图像详尽地发送到 ChatGPT 接口。 这项工作的作者使用分而治之的策略来进行实验和评估。 对于每个实例，我们都使用一个新的聊天窗口，以便在评估过程中不会出现上下文泄漏。 从这个意义上说，我们方法的所有报告结果都是零样本。 除非另有说明，我们总是使用数字作为报告主要结果的标记。 我们的消融和定性研究显示了其他标记类型的使用。

基准。

鉴于 GPT-4V 的配额有限，目前不可能全面评估我们上面列出的每个单独视觉任务中的验证集。 因此，我们从每个数据集中选择一小部分验证数据用于我们的研究。 对于数据集中的每个图像，我们在使用图像分区工具箱提取的区域上叠加一组标记。 根据具体任务，我们利用不同的分区工具来建议区域。 在表 1 中，我们列出了每个任务的设置。

比较。

我们将我们的方法与：

• GPT-4V基线预测坐标。 我们用它作为我们的基线模型。 默认情况下，GPT-4V 既不能预测框也不能生成掩模。 按照之前的实践，我们提示模型预测框坐标。 与默认的 GPT-4V 基线进行比较有助于检查我们提出的标记集提示的优点。

• 最先进的专业模型。 对于每个视觉任务，已经提出了多种方法。 我们选择最先进且有代表性的方法进行比较。 更具体地说，MaskDINO [24] 用于 COCO 上的通用分割，OpenSeeD [55] 用于 ADE20K 上的零样本分割，Grounding DINO [31] 和GLIPv2 [56] 用于 Flick30K 的短语基础，Grounding DINO 和 PolyFormer [29] 用于指代表达理解，PolyFormer 和 SEEM [65] 用于参考表达分割和 SegGPT [46] 用于视频对象分割。 我们试图阐明最强的通用视觉模型 GPT-4V 与经过精心设计和使用特定数据进行训练的专业模型之间的差距。

• 开源 LMM。 我们定量评估了最先进的开源 LMM 之一 LLaVa-1.5 [27]，并与 MiniGPT-v2 [5] 进行定性比较我们的研究。 请注意，这两个模型都使用来自目标视觉任务的大量数据进行训练。 我们是第一个在视觉基准上比较封闭和开源 LMM 的人。

Vision Task	Dataset	#Images	#Instances	Marks	Metric
Generic Segmentation	COCO [26]	100	567	Number & Mask	Precision
OV Segmentation	ADE20K [62]	100	488	Number & Mask	Precision
Phrase Grounding	Flickr30K [38]	100	274	Number & Box	Recall@1
Referring Expression Segmentation	RefCOCO [18]	100	177	Number & Mask	mIoU
Referring Expression Comprehension	RefCOCO [18]	100	177	Number & Mask	ACC@0.5
Video Object Segmentation	DAVIS [37]	71	157	Number & Mask	J&F

表1： 用于评估 GPT-4V 视觉接地能力的基准。 请注意，我们从相应的数据集中选择一小部分图像或视频。

4.2定量结果

我们在表2中展示了实验结果。

Model	LMM	Zero-shot	OV Segmentation		RefCOCOg		Phrase Grounding	VOS
			COCO	ADE20K	REC	RES	Flickr30K	DAVIS2017
MaskDINO [23]	✗	✗	80.7	-	n/a	n/a	n/a	n/a
OpenSeeD [55]	✗	✓	-	23.4	n/a	n/a	n/a	n/a
GLIPv2 [56]	✗	✗	-	-	-	-	${87.7}^{*}$	n/a
GDINO [31]	✗	✗	n/a	n/a	${86.1}^{*}$	n/a	90.5	n/a
X-Decoder [64]	✗	✗	-	-	-	${64.6}^{*}$	n/a	62.8
PolyFormer [29]	✗	✗	n/a	n/a	${85.8}^{*}$	67.2	n/a	n/a
SegGPT [46]	✗	✓	n/a	n/a	n/a	n/a	n/a	75.6
SEEM [65]	✗	✗	-	-	-	${65.7}^{*}$	-	62.8
RedCircle [42]	✓	✓	n/a	n/a	${59.4}^{*}$	n/a	n/a	n/a
FGVP [49]	✓	✓	n/a	n/a	${63.3}^{*}$	n/a	n/a	n/a
Shikra [6]	✓	✗	n/a	n/a	${82.6}^{*}$	n/a	77.4	n/a
LLaVA-1.5 [27]	✓	✗	n/a	n/a	63.3	n/a	n/a	n/a
MiniGPT-v2 [5]	✓	✗	n/a	n/a	${84.4}^{*}$	n/a	n/a	n/a
Ferret [54]	✓	✗	n/a	n/a	$85.8$*	n/a	81.1	n/a
GPT-4V [36]	✓	✓	n/a	n/a	25.7	n/a	n/a	n/a
GPT-4V [36] + SoM (Ours)	✓	✓	75.7	63.4	86.4	75.6	89.2	78.8

表2： 主要定量结果。 ${}^{*}$ 表示原始论文中报告的数字，并在完整验证数据集中进行评估。 其他数字在我们的二次采样验证数据集中通过 GPT-4V 接口进行评估。

表3： 在我们的数据集子集上使用不同标记类型的 Flickr30K 上的性能。

Mark type Flickr (R@1) Number & Mask 80.7 Number & Mask & Box 85.0

Mask type Refcocog (mIoU) MaskDINO 75.6 GT mask 90.1

表3： 在我们的数据集子集上使用不同标记类型的 Flickr30K 上的性能。

表4： 具有不同遮罩类型的 Flickr30K 上的性能。

图像分割

在图像分割任务上，我们评估了GPT-4V + SoM的分类精度，并将其与COCO Panoptic分割数据集上的强分割模型MaskDINO和ADE20K Panoptic分割数据集上的OpenSeeD进行了比较。 对于 MaskDINO 和 OpenSeeD，我们给它们 GT 框并评估输出类。 对于 GPT-4V + SoM，我们分别为 COCO 和 OpenSeeD 叠加 alpha=0.4 和 0.2 的 GT 掩模，并在每个掩模上添加 ID 号。 我们向 GPT-4V 提供数据集的词汇表，并要求它为每个区域选择一个类标签。 结果表明，GPT-4V + SoM 的零样本性能接近微调后的 MaskDINO 的性能，并且远高于 OpenSeeD 在 ADE20K 上的零样本性能。 GPT-4V 在 COCO 和 ADE20K 上的相似性能表明其对广泛的视觉和语义领域的强大泛化能力。

参考

对于参考任务，我们在 RefCOCOg 上评估 RES 和 REC。 我们使用 MaskDINO 提出掩模并将掩模和数字叠加在图像上。 我们使用 mIoU 作为评估指标，并将其与最先进的专家 PolyFormer [29] 和 SEEM [65] 进行比较。 因此，GPT-4V + SoM 的性能大幅优于 PolyFormer。 请注意，PolyFormer 的性能是在我们的数据集上评估的，以进行苹果之间的比较。 对于 REC，我们将掩码转换为我们方法的框。 当提示 GPT-4V 直接输出坐标时，我们的性能明显较差（25.7），这验证了我们之前的假设。 一旦使用 SoM 进行增强，GPT-4V 就击败了 Grounding DINO 和 Polyformer 等专家以及最近的开源 LMM（包括 Shikra、LLaVA-1.5、MiniGPT-v2 和 Ferret）。

短语基础

对于 Flickr30K 上的短语基础，我们使用 Grounding DINO 为每个图像生成框建议。 我们使用阈值 0.27 过滤冗余框，然后使用 SAM 预测每个框的掩码。 我们在图像上绘制方框、蒙版和数字。 我们为 GPT-4V 提供每个图像的标题和标题的名词短语，并让 GPT-4V 将每个名词短语定位到一个区域。 我们的零样本性能可与 SOTA 模型 GLIPv2 和 Grounding DINO 相媲美。

视频对象分割

我们评估 DAVIS2017 [39] 的视频分割任务。 为了获取每个视频帧的掩码建议，我们使用 MaskDINO [24]。 然后，预测的掩模将覆盖在我们的 SoM 后面带有数字标签的相应帧上。 我们遵循半监督设置，使用第一帧掩码作为参考，并对同一视频的所有其他帧进行分段。 由于GPT-4V可以接收多幅图像，因此我们提示GPT-4V使用第一帧和当前帧通过比较图像之间的相似对象来进行分割。 如表2最后一列所示，与其他通用视觉模型相比，GPT-4V 实现了最佳跟踪性能（78.8 J&F）。

4.3消融研究

标记类型。

我们研究标记类型的选择如何影响 Flickr30k 上短语基础任务的最终性能。 我们比较两种类型的标记。 第一个是数字和掩码，第二个是数字、掩码和盒子。 如表4所示，添加额外box的方案可以显着提高性能。

黄金标记位置。

从我们的工具箱中提取的区域通常可能会出现一些错误。 在本研究中，我们研究了当我们生成带有真实注释的标记时 GPT-4V 的行为方式。 具体来说，我们在 RefCOCOg 验证集中用真实的分割掩模替换了预测的分割掩模。 这意味着 GPT-4V 只需要从区域中选择一个用于注释短语。 正如预期的那样，参考分割的性能可以进一步提高，特别是当分割模型有一些遗漏区域时。 结果如表 4 所示，其中显示在我们的 SoM 中使用地面真值掩模将 RefCOCOg 性能提高了 $14.5$ mIoU。 我们还观察到，使用 GT 掩模时的大多数失败案例不是 GPT-4V 的问题，而是标注本身不明确或不正确。

4.4定性观察

在完成这项工作时，我们观察到了一些有趣的定性发现。

图8： (a, b, c) 参考分段 (RefCOCOg) 和基础 (Flikr30k) 的一些错误注释示例。 (e, f) 令人困惑的注释标签示例。

“黄金”注释并不总是黄金。

在评估 SoM 时，我们发现数据集中的一些人工注释是不正确的。 一些例子如图8（a，b，c）所示。 例如，人类用户注释了几个人，而引用表达式是“坐在沙发上的人的腿”，或者仅注释了一辆卡车以引用“卡车比赛”。 相比之下，带有 SoM 的 GPT-4V 会产生正确的答案。 这意味着视觉数据集中的“黄金”标签可能会受到一些噪音的影响，而 GPT-4V 可能是一个很好的判断，可以帮助找到不明确的注释以进一步清理。

居中标记并不总是最好的。

默认情况下，我们的标记分配算法会找到每个区域的中心。 然而，我们观察到，将标记放在中心位置并不一定会带来最佳性能。 例如图8(e)，有两个标记，一个是人物，另一个是背包。 当被问到是谁时，GPT-4V给出了位于人体上部的背包的标记。 类似的情况也发生在第二张图像中，其中背景横跨整个图像。 8 (f) 中显示了一个示例，其中草地中心（标记为 2）位于人（标记为 1）上。 这些结果表明，GPT-4V 理解视觉内容的焦点不一定位于中心。 应考虑开发更好的标记分配算法。

标记类型的动态选择。

在现实场景中，我们发现动态确定使用哪种类型的标记很重要。 例如，算术问题的图像通常包含许多数字。 在这种情况下，在 上叠加数字标记将会迷惑 GPT-4V。 同样，对于文档的屏幕截图，在图像上覆盖更多字母可能是不合理的。 因此，为了充分利用 GPT-4V 的视觉功能，用户可能需要在发送图像之前仔细设计 SoM 提示。

5相关工作

我们从提示的角度来讨论相关工作。

大语言模型与提示。

我们见证了大语言模型[2,3,10,44,60,35]的重大进展。 特别是生成式预训练 Transformer，通常称为 GPT [2, 35]，它在自然语言处理领域带来了突破。 尽管大语言模型的规模在急剧扩大，但要激发推理能力，仍需要设计更复杂的查询、即、提示。 过去，许多工作试图通过快速工程化来赋予大语言模型更多的能力。 情境学习是教授大语言模型遵循特定指令的主流方式，如几个例子所示[2, 15]作为后续，一些其他技术，例如链式学习提出思想和思想树[47, 53]来增强算术、常识和符号推理任务。 与这些工作类似，我们的标记集提示可以被视为提示模型逐位置查看图像区域的一种方式。 然而，它的不同之处在于我们的方法不需要上下文中的示例。

视觉和多模式提示。

在早期的交互式图像分割[34,8,9]工作中，使用了空间提示，以便模型可以逐渐接受多个用户输入(例如，点击）完善面具。 最近，开创性工作SAM [19]及其变体[43, 11]提出了一个统一的模型来支持包括点、框和文本在内的不同类型的提示模式。 在 SEEM [65] 中，作者提出了一种新颖的视觉采样器，以扩展到跨图像的视觉提示。 同样，PerSAM [58] 和 SAM-PT [41] 微调 SAM 以支持个性化分割和点跟踪。 另一行工作直接在输入图像上生成提示。 在[1]中，图像修复被用作提示来教导模型在给定示例图像和相应输出的情况下预测密集输出（均在像素空间中）。 Painter [45] 和 SegGPT [46] 在使用蒙版图像建模来解码连续空间中的像素时有着相似的精神。 视觉提示也可以应用于多模式模型，例如 CLIP [40]。 RedCircle [42] 在图像上绘制红色圆圈，将视觉模型聚焦在封闭区域上。 在[49]中，作者通过专门分割和突出显示图像中的目标对象来增强提示。 然后，这两种方法都要求 CLIP 模型来测量提示图像和许多文本概念之间的相似度。

LMM 和提示。

在很短的时间内，大型多模态模型（LMM）已成为社区中的新研究方向。 目标是建立一个通用的多模态系统，其行为类似于大语言模型，可以使用多模态输入进行感知和推理 [28, 63, 57, 12, 59, 48, 51, 6, 20, 5, 54]. 早期的工作如 MiniGPT-4 [5] 和 LLaVa [28] 提出了一种简单而有效的方法来连接视觉和大语言模型，然后进行指令调整。 随后，类似的训练策略被应用于视频任务[33, 4]和细粒度视觉任务[6,59,20,5,54]。 请参阅[20]以获取对 LMM 的更全面的回顾。 到目前为止，学术界很少对提示 LMM 进行探索，部分原因是最近大多数开源模型的能力有限，因此无法实现这种新兴能力[47]。 最近，GPT-4V [36] 发布，随后对其进行了全面的定性研究[50]。 [50] 中的作者使用了与 RedCircle [42] 中类似的提示策略来提示 GPT-4V。 然而，它只是通过手绘圆圈或箭头展示了GPT-4V的一些参考能力，更谈不上全面的定量研究。

6讨论

GPT-4V之谜。

为什么所提议的Set-of-Mark Prompting能够与 GPT-4V 配合得如此良好仍然是个谜。 出于好奇，我们还在其他开源 LMM 上运行了一些示例，例如 LLaVa-1.5 和 MiniGPT-v2。 然而，这两种模型都很难解释这些标记并以这些标记为基础。 我们假设 GPT-4V 表现出非凡视觉接地能力的几个原因。 首先，规模很重要。 我们相信 GPT-4V 中使用的模型和训练数据的规模比上述开源 LMM 好几个数量级。 其次，数据管理策略可能是 GPT-4V 的另一个秘密武器。 GPT-4V可以自动关联图像区域和标记，而无需文本中的任何明确提示。 此类数据可能来自文献数据、图表等等，这些数据通常有明确的标签或标记[1]。 我们怀疑 GPT-4V 是否专门采用了本工作中涵盖的细粒度视觉数据。 请注意，数量极其有限，注释更多此类数据的成本很高，更不用说质量难以控制。 最后，我们注意到，上述所有怀疑都不是基于事实，而是基于我们上面进行的一些实证研究。

连接视觉与大语言模型提示。

尽管 GPT-4V 背后的未知数。 我们的工作确实迈出了连接视觉提示和大语言模型提示的第一步。 过去很多工作都研究了如何让视觉模型更加具有提示性，这些都是脱离了大语言模型的文本提示。 障碍主要是由于语言瓶颈，我们很难用语言准确地表达视觉提示。 例如，图像上随机绘制的笔画的形状/位置/颜色很难用语言描述，除非我们可以对视觉提示进行编码并微调整个模型[54]。 然而，由于细粒度的训练数据有限，开源的大视觉和语言模型较差。 我们仍然看到明显的差距。 在现阶段，我们提出的Set-of-Mark Prompting展示了一种简单但唯一可行的方法，可以继承最强LMM的所有现有功能，同时释放其强烈渴望的接地能力。 我们希望这项工作作为第一个无缝连接视觉和语言提示的工作，可以帮助为更强大的 LMM 铺平道路。

使用 GPT-4V 通过 Set-of-Mark Prompting 缩放数据。

过去，整个社区一直致力于构建细粒度、开放词汇的视觉系统，从检测[17,61,25,56,52,31]到分割[ 16, 64, 14]，并进一步扩展到 3D [32, 13, 30]。 尽管取得了巨大进步，但我们一直在努力解决如何将 CLIP 中丰富的语义知识映射到细粒度领域的问题。 这主要是由于细粒度语义标注的数量极其有限，这对当前的 LMM 仍然是一个相当大的挑战。 正如我们已经看到的，细粒度空间缩放数据的可行性已经在 SAM [19] 和 Semantic-SAM [22] 中得到了证明，但是如何进一步注释这些带有语义标签的区域仍然是一个悬而未决的问题。 根据这项工作的研究，我们设想使用 GPT-4V 加上我们的标记集提示来集中扩展具有细粒度空间和详细的语言描述。

7结论

我们提出了Set-of-Mark Prompting，这是一种针对 LMM（尤其是 GPT-4V）的简单而有效的视觉提示机制。 我们证明，简单地将多个符号标记叠加在输入图像的一组区域上就可以释放 GPT-4V 的视觉基础能力。 我们对各种细粒度视觉任务进行了全面的实证研究，以证明 SoM 提示的 GPT-4V 优于完全微调的专业模型和其他开源 LMM。 此外，我们的定性结果表明，具有 SoM 的 GPT-4V 全面拥有非凡的细粒度多模态感知、认知和推理能力。 我们希望 SoM 能够激发 LMM 多模式提示的未来工作，并为多模式 AGI 铺平道路。

致谢

我们感谢朱方锐的深思熟虑的讨论。

附录 A用例

将 GPT-4V 与建议的 SoM 提示相结合，我们运行了许多实际用例，以检查其与原始 GPT-4V 相比的通用性和优点。

图9： 与没有 SoM 的 GPT-4V 相比，添加标记使 GPT-4V 能够根据图像的详细内容进行推理（左）。 在右侧观察到清晰的对象交叉图像参考。

图10： 解决验证码的案例研究。 GPT-4V给出了错误的答案，格子的数量错误，而在SoM提示后找到了带有相应标记的正确格子。

图11： GPT-4V 培养皿图像的案例研究。 GPT-4V 不会根据原始图像产生接地答案。 根据SoM提示，GPT-4V不仅会说出成分，还会将其与地区对应起来。

图12： SoM 提示的 GPT-4V 提供了非常精确的建议，而原始的 GPT-4V 则无法提供建议，即使是幻觉食物、例如、软饮料也是如此。

图13： 同样，带有 SoM 的 GPT4-V 可以帮助提供全面的工具使用说明，教导用户控制器上每个按钮的功能。 请注意，该图像未完全标记，而 GPT-4V 还可以提供有关未标记按钮的信息。

图14： GPT-4V with SoM对于如何在游戏场景中实现目标给出了合理的建议。

图15： 带有 SoM 的 GPT-4V 有潜力帮助体现导航，因为它可以快速帮助找到特定功能的区域/位置。