一个观点锁定你！多模态视觉定位才能升级——

由单张图像拓展至多图像应用场景。

比如，在复杂的相册中自动识别出 Luigi 并在第二张图中找到他，或是字据钢铁侠剧照自动在合影中找到对应的演员唐尼。

Q：Image-1 is the photo album of someone in Image-2, please find and locate this person.

回答： ( 371,146 ) , ( 695,812 )

又或者字据第一张图，找到第二张图同型号玄色款的车。

Q：Where did I park my car? It is the same type shown in the first image, except it is black in color.

已矣它依旧回答出来了。

The car you parked is located at the entrance of the parking garage at ( 500,575 ) , ( 650,735 ) .

还能挖掘不同图像之间的关联，已毕精确定位。

来自清华 NLP 孙茂松团队、北京交通大学、华中科大结合提议了多模态视觉定位新范式——

Migician，行为第一个扶助淘气体式多图定位（Multi-image Grounding，MIG）的多模态模子，为此还盘算推算了一个大限制历练数据集 MGrounding-630k。

多模态 Grounding 新范式

多模态大模子（typo Multimodal Large Language Model）的视觉定位（Visual Grounding）任务通过接受淘气体式的当然谈话描绘行为查询，能够在图像中精确定位办法物体。

现时的 Grounding 任务主要饶恕于单张图像，只可对单张图像进行办法物体的检测与定位，这极大的罢休了 Grounding 任务在现实生涯场景中的任务。

以具身智能场景为例，机器东谈主需要交融多视角图像信息进行物体识别定位以完成捏取动作；或者今天我思找我的车停哪了，这时我省略就需要一张我我方车辆的相片行为输入查询，在泊车场的多张监控影像中进行查找与定位；

为此，THUNLP 团队结合北交大、华中科大提议多图视觉定位新范式，通过构建包含数十种任务的系统性框架，将视觉定位才能拓展至多图像应用场景。

跟着输入图像数办法加多，相应的视觉信息激增，丰富的语义信息和图像试验自然地滋长了万般化的 Grounding 体式和可能性。

按照是否需要明确指代办法物体，策动团队将多图定位任务分为 Spontaneous Grounding 和 Referential Grounding 两种：

前者依托不同图像中自然潜在的关联（如图像中变化了的物体或者图像中调换的物体），让模子自动识别并准细目位；

后者获利于多张图像带来的体式上的扩张和语义信息上的丰富，可以扶助不同体式的指代描绘，如 Visual Reference，Textual Reference 或者交融两种模态信息进行定位。

值得防护的是，策动团队提议的多图视觉定位潜在地为好多任务提供了一种通用范式，如 Object Tracking, Vehicle Reidentification, Person Reidentification, Partial Graph Matching 等等任务，齐可以放在 MLLM 长入的框架中进行端到端的管制。此外，这种多图体式内在地扶助各式类型的图像，可以幸免此前一些有益用于处理图像查询（Image Query）的冗余视觉模块盘算推算，如 VisionLLM v2, Griffon v2 等，为 MLLM 提供一个更通用和更长入的架构。

CoT 推理框架

探求到现时的主流多模态大模子尚未具备多图定位的才能，然则它们的通用感知与会通才能赓续发展，展现出了关于长序列场景越来越强的会通才能，如多图和长视频，且自己时时照旧具备可以的单图 Grounding 才能。

于是，策动团队领先策动了现时模子能否充分调用其已具备的单图定位才能和多图通用会通才能，以 CoT（Chain-of-Thought）的多步推理神志迟缓管制此问题。

具体的，蓝本的多图 Grounding 任务可被拆解为以下两步：

Step1 多图会通：输入为多张图像，模子详尽分析统共图像，得出办法物体的文本指代描绘，如上图 ( c ) 中，"上方有粉色花朵的木桶"。

Step2 单图定位：以轮询的神志输入单张图像，模子哄骗上一步得出的论断以及自己的单图定位才能在这些单张图像上进行视觉定位。

实验已矣标明，这种分步推理的神志如实具有一定的灵验性，然则局限性仍旧存在：

当视觉信息过于抽象或者复杂时，文本描绘难以充分反应该图像试验的全貌，如上图中 ( c ) ，原图中有多个适应条款的木桶，浮浅的指代："上方有粉色花朵的木桶"不及以充分地指定办法物体。

当推理经由过于复杂，在各个推理步上的出错概率也会相应加多，最终变成统共这个词框架弘扬的方差较高，且总推理时长大幅加多。

下图中更多例子进一步展现了这种 CoT 架构的局限性，充分体现出了一个端到端（end-to-end）管制决策的必要性。

模子历练与数据构建

针关于 MLLM 多图定位才能的劣势和 CoT 框架的局限性，策动团队提议了Migician，行为第一个扶助淘气体式多图定位（Multi-image Grounding，MIG）的多模态模子。

为了打造一个雄壮的多图视觉定位模子，策动团队盘算推算了一个大限制历练数据集MGrounding-630k，包含了从现存数据麇集整合改良的数据和哄骗模子与东谈主工构建的高质料提示微调数据。

哄骗这个数据集，旨在打造一个全面的，能扶助丰富任务体式的 MIG 任务的模子。

借助于该数据，策动团队基于 Qwen2-VL-7B，接收了两阶段的历练神志：

第一阶段：主要接收从现存数据麇集改良和盘算推算的数据，并混入了多图会通数据、单图会通数据和单图定位历练数据。该阶段旨在从零构建模子的多图定位才能。

第二阶段：主要接收高质料的 MIG 提示微调数据，并混入第一阶段四种类型的数据以防患模子淡忘。该阶段旨在进一步紧密化模子的 MIG 才能，增强其天真性与泛化性。

同期，为了客不雅评估模子的 MIG 才能，策动团队还推出了一个新的评估基准：MIG-Bench，包含 10 种不同任务，包含了来自东谈主工网罗的，手动拍摄的和从现存数据中改良的不同图像，共包含 4000+ 的测试样例和近 6000 张图像。

该评估基准经过用心的东谈主工盘算推算，校验与筛选，充分保证了其问题正确性与举座的质料。

实验已矣

在最终的已矣上，该两阶段的历练神志和提议的 MGrounding-630k 数据对模子 MIG 才能的进步相等灵验，在统共十个任务上大幅极度同限制模子以及 70B 限制的模子。

此外，岂论是在多图会通的评估基准照旧单图的才能评测上，模子齐弘扬出了出色的通用才能。

在多图基准 MuirBench, MIBench 和 MMIU 上赢得 SOTA 后果，其单图才能比较于此前的多图模子也有显著的上风。

同期，为了潜入探讨专用才能与通用才能间的影响，策动团队接收了相应的数据子集，辩别历练了不同的模子，策动了不同部分数据辩别的作用，最终发现夹杂多图定位数据与通用数据对最终性能的进步最大，多图细粒度定位关于多图通用才能如实存在一定匡助。

在传统的单图视觉定位上，Migician 的 Grounding 才能也有一定的赓续增益。

不同推理神志的策动

前文的 CoT 框架接收的是单图轮询推理，这种设定能较好适配原始模子的单图视觉定位才能，然则该神志会变成很大的推理技术老本，关于 N 张图像输入，要极度进行 N+1 次推理。那么咱们能否在多图的语境下，奏凯通过 prompt 理论告诉模子："嘿！你只用看第二张图就好啦 ~ "，以这种神志来调用模子单图定位才能和多图会通才能，从长途毕多步推理呢？

鄙人表中，策动团队考证了这种 mCoT 的灵验性，然则其性能进步较为枯瘦，大批低于单图轮询 CoT 的后果，体现出模子蓝本的 Grounding 才能不可很好适配多图场景。

单图高分辨率任务

临了，论文还有一个比较事理的发现。在视觉 token 的长度上，多图和高分辨率单图有很大的相通性，那么 Migician 关于多图的长 token 序列的处理才能能否迁徙到高分辨率单图上呢？为了考证这个思法，作家们考中了 V*Bench，它饶恕于在高分辨率图片中对细微物体的视觉搜索与属性判断。

在已矣上，当 Migician 以零样本泛化到该评估基准上时，便展现出了出色的性能；其次，当他们把单张高清图像裁为多张子图，治愈为多图任务时，Migician 能已毕进一步的性能进步，展现出了讲究的泛化性。

除了前边几个例子外，它关于多视角的训诫，也能轻视应酬，Migician 奏凯识别并定位出当今了每张图像里的东谈主，

Migician 精确识别并见效定位为穿灰穿着的东谈主，奏凯正确输出他在统共相片里的位置坐标。

Image-1: ( 314,204 ) , ( 404,552 ) . Image-2: ( 698,231 ) , ( 783,487 ) . Image-3: ( 918,157 ) , ( 999,618 ) . Image-4: ( 271,273 ) , ( 399,633 ) .

临了回想，策动团队将视觉定位（Visual Grounding）任务全面地拓展到了多张图像的场景下，获利于多张图像带来的丰富视觉语义信息，多图 Grounding 也出身了各式丰富万般的可能任务体式，如办法跟踪，找不同，多视角定位等。

为了赋予现时模子管制多图定位的才能，策动团队领先探究了 CoT 的推理神志，并暴表示了这种非端到端系统的局限性。

为此，他们进一步提议了一个大限制的历练数据集，全面的 MIG 评估基准以及雄壮的多图定位模子 Migician，为多图定位迈出了坚实的一步。

论文地址：

https://arxiv.org/abs/2501.05767

名目代码：

https://github.com/thunlp/Migician

名目页面：

https://migician-vg.github.io/

—  完  —

投稿请责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿试验‍

附上论文 / 名目主页贯穿，以及关联神志哦

咱们会（尽量）实时回应你

一键饶恕 � � 点亮星标

科技前沿进展逐日见

一键三连「点赞」「转发」「防卫心」

接待在辩驳区留住你的思法！j9九游会官方