这项由南京开大学VCIP策划机科学实验室与阿里巴巴通义实验室纠合开展的盘考，以预印本形态于2026年5月发表在arXiv平台，论文编号为arXiv:2605.18018v1。盘考提议了名为SWIM（See What I Mean，"领会我的道理"）的全新教练计谋，勤劳于于处分多模态大语言模子在贯通用户翰墨描写时"找不准办法物体"的根人性问题。

你有莫得遭遇过这么的体验：你对着一个智能助手说"帮我描写一下街谈上阿谁穿红穿着的东谈主"，限定它给你描写的却是整条街谈，或者描写了摆布那辆最显眼的汽车？这种"风马牛不联系"的表象在当下起始进的视觉语言AI系统中遍及存在，而且令东谈主悔过的是，这并不是AI莫得"看到"阿谁东谈主，而是它无法把你说的"红穿着的东谈主"这几个字，和视频画面里阿谁具体的东谈主物准确地对应起来。

盘考团队把这个问题比作一场疏导错位——AI领有眼睛，也领有耳朵，但眼睛和耳朵之间的"翻译系统"出了问题。SWIM容貌的中枢办法，即是建造这套翻译系统，让AI真实作念到"领会你说的是哪个"。

一、为什么AI老是找不准你说的阿谁物体

设施路这个问题，不错用一个日常场景来类比。假定你站在一个吵杂的菜阛阓里，让一个一又友帮你找"阿谁卖西红柿的摊位"。若是你的一又友警戒丰富，他会把你说的"西红柿"这个词，和视线里某个具体摊位的红色圆形物体对应起来，精确锁定办法。但若是这个一又友对阛阓不熟悉，他可能会漫无目的地注目统统这个词阛阓，最终指向了阿谁最显眼的大摊位，而不是你说的阿谁。

现存的多模态大语言模子（不错贯通为"同期能看图、看视频又能贯通翰墨的AI"）就像阿谁不熟悉阛阓的一又友。为了弄了了问题出在那处，盘考团队作念了一个相配直不雅的实验：他们把AI模子在处理翰墨时的"着重力分散"可视化出来——也即是说，当AI读到某个词的时候，它的看法落在图像的哪些区域。

实验限定令东谈主不测，却又在事理之中。当AI读到"棕色"、"髯毛"这么描写外不雅特征的词时，它的着重力相配相聚，准确落在了图像中阿谁真实棕色的区域、那张真实有髯毛的脸上。但当AI读到"男东谈主"、"东谈主"这么的名词时，着重力却分散得到处都是，整张图像上都有小数点激活，就像把一滴墨水点进了一大盆水里，那处都有脸色，却那处都不清澈。

这个发现揭示了一个系统性的规章：描写外不雅特征的词（脸色、纹理、形态）粗略精确定位，而代表物体自己的名词却老是漫无标的。盘考团队分析了其中的原因：在AI用来教练的海量图文数据中，"红色"这个词时时只出面前图像里真实红色的区域隔邻，因此AI学到了"红色"和特定视觉区域的紧密关系。但"男东谈主"这个词在种种不同的场景下都会出现——室内、室外、近处、远方、正脸、背影——这种种种性导致AI无法把这个词和某个具体的视觉区域紧紧绑定在一都。

正因如斯，当用户用纯翰墨描写某个物体时，AI时时无法准确贯通你说的到底是画面里的哪一个。而为了处分这个问题，现存的一些设施走了一条"绕路"：让用户额外提供视觉象征——比如在图像上画一个框、打一个点、或者涂一个遮罩——来明确告诉AI"即是这个"。这种形态自然有用，却背离了东谈主类最自然的交流形态：咱们语言的时候，不会顺手拿着画笔在空气中圈出办法物体，咱们依靠语言自己来指定办法。

二、现存处分决策的局限：不得不拿着"指点棒"语言

面前学术界和工业界仍是有了一批挑升针对"缜密化物体贯通"的模子，它们照实能更好地贯通用户指定的具体物体，但代价是需要额外的视觉输入。

以视频领域为例，VideoRefer这类模子需要用户提供对应帧的精确遮罩（就像在物体轮廓上描了一圈），Ferret需要用户框出物体的位置，还有一些模子需要用户点击物体地方的坐标点。这些设施照实能让AI"看准"办法，但使用起来极为未便——闲居用户在日常对话中不可能随时准备好这些视觉标注器用。

更遑急的是，这类设施在架构遐想上常常需要额外的模块：一个挑升处理遮罩的编码器、一个额外的视觉区域索要网罗……这不仅加多了系统的复杂度，也意味着在使用时必须额外准备这些"谈具"。

盘考团队以为，真实联想的系统应该像东谈主类一样：只用语言就能精确指定办法，不需要任何额外器用。完毕这个办法的重要，不是给模子加多更多模块，而是让模子里面的"语言-视觉对应关系"变得愈加精确。

三、构建"讲义"：NL-Refer数据集的降生

任何学习都需要好的讲义，教练AI也不例外。要让AI学会把名词和具体物体对应起来，最初需要一批"程序谜底"——每张图、每段视频里，翰墨中提到的物体，都要有对应的精确视觉标注。

盘考团队的起点是VideoRefer数据集，这是一个已有700K个视频样本的视频贯通数据集，其中每个样本都包含视频帧、翰墨描写，以及物体的像素级遮罩标注。关联词问题在于，原始数据相聚的翰墨描写用的是一个占位象征``来指代办法物体，比如"请描写视频中``的特征"。这个占位符对东谈主来说一看就懂（引诱视觉象征），但对于但愿从纯翰墨中学习对应关系的AI来说，这等于告诉它"这里有个办法物体"，却莫得给出任何语义信息——AI无从通晓这个物体叫什么、有什么特征。

为了处分这个问题，盘考团队遐想了一个GPT-4o驱动的数据处理经由。具体而言，他们让GPT-4o阅读每个样本中配套的详确描写翰墨（比如"一个穿白色T恤、留着髯毛的年青男性正在步辇儿"），然后让它把翰墨里的``占位符替换成一个简陋、准确的自然语言指代抒发式，同期在这个抒发式里找出最中枢的名词（比如"男东谈主"），用特殊象征``把它包围起来。

经过这么处理，底本的"请描写视频中``的特征"就酿成了"请描写视频中阿谁**留着髯毛的年青男东谈主**在街上行走的特征"，其中"男东谈主"这个词被象征出来，况且与原来的像素级遮罩径直挂钩。这套经过用心处理的数据集被定名为NL-Refer，包含12.5万个视频样本，每个样本都确立了从自然语言名词到视觉区域的精确映射。

这颠倒于为AI准备了一套带有精确谜底的老练题：每谈题告诉AI"当你读到这个词时，你的看法应该落在图像的这个区域"。

四、SWIM教练计谋：用"进修压力"矫正着重力习尚

有了高质料的讲义，接下来是遐想教练设施。SWIM的中枢想路其实并不复杂：在AI教练过程中，每当AI读到一个被象征的重要名词时，就查验它的着重力是否落在了正确的视觉区域；若是莫得，就给它一个"处分信号"，推着它把着重力蜕变到正确位置上去。

具体来说，当AI处理一段输入时，它的里面有多层"着重力机制"，每一层都在决定"当我处理某个词时，我应该关追究频画面的哪些部分"。盘考团队从AI的中间多层同期索要这种着重力分散图，然后把这些来自不同层的着重力争取平均，得到一张详细的着重力热力争，代表AI合座上在柔软画面的哪些区域。

接下来，这张热力争被拿来和事先标注好的物体遮罩（即办法物体的真实轮廓）进行对比：热力争中的高亮区域是否和物体遮罩重合？使用的忖度程序是二值交叉熵耗费函数——不错贯通为一种"考卷评分机制"，它对图像上每个像素点闲静打分：若是某个像素属于办法物体，对应位置的着重力越高越好；若是某个像素不属于办法物体，对应位置的着重力越低越好。这个评分机制会生成一个"罚分"，罚分越高讲解着重力和真实区域偏差越大，教练过程会把柄这个罚分赓续蜕变AI的参数，直到着重力越来越相聚在正确区域上。

这里有一个相配重要的遐想本性：这套遮罩监督只在教练阶段使用。当教练完成、模子妥贴进入使用时，用户不需要提供任何遮罩或其他视觉标注，只需用闲居翰墨描写办法物体，模子就能自动把着重力瞄准正确区域。这就好比你通过多数老练学会了"看到描写就能遐想对应画面"的智商，在骨子使用时不再需要图片援救，单凭描写就能在脑海中精确定位办法。

对于具体从哪些层索要着重力争，盘考团队也作念了系统性的探索。他们发现，从单一层索要后果最差，使用六层后果最佳，再加多层数收益递减。更遑急的发现是，这六层最佳均匀分散在统统这个词网罗的浅层到深层，而不是相聚在某个特定深度段——这讲解精确的物体贯通需要同期应用低层的纹理特征和高层的语义贯通，两者不可偏废。

在着重力争的合并形态上，B体育官方网站首页盘考团队对比了加法、最大值池化、乘法、平均值四种形态，最终发现径直取平均后果最佳。原因在于，乘法会导致某个层着重力稍低的区域被合座压低，遗漏了部分有用信息；而平均值能平滑各层之间的噪声，同期保留最显赫的激活峰值。

在耗费函数的聘请上，盘考团队对比了四种决策：mIoU耗费、Focal耗费、Dice损成仇二值交叉熵（BCE）耗费。最终BCE耗费后果最优，原因在于着重力争自然是疏淡的（大部分区域着重力接近零），而BCE对每个像素闲静策划，既处分了办法区域内的低着重力，也处分了非办法区域的高着重力，与着重力争的疏淡本性相配契合。

五、实验限定：不仅仅比别东谈主强小数点

盘考团队在多个视频贯通基准上对SWIM进行了系统测试，限定颠倒令东谈主深信。

在VideoRefer-Bench上，这个挑升评测视频缜密化物体贯通智商的基准分为两个子任务。第一个子任务（VideoRefer-Bench-Q）让模子回复对于特定物体的聘请题，涵盖基础领路、时序关系、物体间关系、推理和预计五个维度。SWIM取得了78.3%的平均准确率，比之前最佳的挑升模子VideoRefer-7B跨越6.4个百分点，也迥殊了GPT-4o（71.3%）和界限更大的InternVL2-26B（65.0%）。其中擢升最昭彰的是基础领路（比Qwen2.5-VL-7B高5.8%）和时序关系（高5.3%），这两类任务都需要AI最初精确识别出办法物体智力作答，赶巧是SWIM蜕变最中枢的智商。

第二个子任务（VideoRefer-Bench-D）条件模子对指定物体进行详确描写，评分维度包括主体对应准确性（描写的是不是指定的阿谁物体）、外不雅描写准确性（脸色、形态、纹理是否正确）、时刻行为描写准确性（行为、开通是否描写准确）、以及幻觉检测（有莫得假造不存在的细节）。SWIM在这四个维度上分别得到4.92、3.85、3.43、2.96分（满分5分），详细平均3.78分，不仅迥殊了最佳的挑升模子DAM-8B（3.68分），也远超GPT-4o（3.25分）。其中主体对应性和外不雅描写的擢升最为隆起，这径直反应了SWIM在把名词和视觉区域对应方面的蜕变。

在通用视频贯通基准上，SWIM在MVBench上得到62.1分（迥殊VideoRefer-7B的59.6），在VideoMME上与VideoRefer-7B抓平（55.9），在ActivityNet-QA上得到55.6分。这些限定讲解，SWIM在专精于缜密化物体贯通的同期，并莫得阵一火通用视频贯通智商——一个专注于某项妙技的教练设施，莫得让AI"偏科"。

六、AI的看法究竟落在那处：用数字量化着重力精确度

为了更直不雅地考据SWIM照实改善了着重力分散，盘考团队遐想了两套挑升的评估办法。

第一套是GamePoint@P办法，它忖度的是：在AI着重力最高的前P%像素中，有若干比例落在了办法物体的遮罩范围内？在P=1%时，SWIM的得分是0.392，而基础的Qwen2.5-VL唯一0.329，擢升了6.3个百分点；在P=5%时擢升5.5个百分点；在P=10%时擢升4.7个百分点。这意味着SWIM的着重力峰值更准确、更相聚，最受柔软的那些像素照实更多地落在了办法物体上。

第二套是GamePoint@K办法，忖度的是着重力排行靠前的K个像素点中，有若干属于办法物体。在K从1到100的各个值上，SWIM（0.373~0.375）长期高于Qwen2.5-VL（0.328~0.331），且各个K值下的差距相配踏实。这讲解SWIM不仅仅在最高着重力点上进展更好，而是合座的着重力排序都愈加准确可靠。

此外，盘考团队还用AP（平均精度）、AUC（弧线底下积）、NSS（归一化扫描旅途显赫性）和Precision（精确率）四个更程序的视觉显赫性办法，对两个模子的着重力争进行了全面比较。四容貌标上SWIM全部优于基础模子：AUC从0.62擢升到0.67，NSS从0.39擢升到0.50，Precision从0.28擢升到0.39，AP从0.26擢升到0.30。这些数字背后的道理是：SWIM生成的着重力争与真什物体遮罩的重合进度更高，诞妄激活（着重力落在非办法区域）更少，辨别办法与非办法的智商更强。

七、数据越多越好：SWIM的界限推广后劲

一个实用的AI设施，除了当下的性能，还需要具备"越喂越好"的后劲——跟着数据界限扩大，性能能否抓续擢升？

盘考团队对NL-Refer数据集按照不同界限进行了实验，从3万个样本开动，逐渐加多到5万、8万、10万、最终12.5万个完满样本，不雅察性能变化。限定夸耀出清澈、单调的上涨趋势：3万样本时得分3.23，5万时3.39，8万时3.60，10万时3.69，12.5万时3.78。全程莫得出现性能停滞或下跌的迹象，而且在12.5万这个面前最大界限处，弧线仍然莫得进展出"满盈"的迹象。这意味着若是能取得更多高质料的遮罩标注数据，SWIM的性能还有颠倒大的擢腾飞间。

八、面临"换个说法"的挑战：鲁棒性测试

践诺寰宇中的用户描写解除个物体时可能用不同的词：有东谈主说"男东谈主"，有东谈主说"男性"，有东谈主说"男士"。一个真实实用的系统应该在面临这类同义词替换时保抓踏实的性能，而不是只意志教练时见过的特定词汇。

为了测试这小数，盘考团队把VideoRefer-Bench-D测试相聚统统被象征的重要名词替换成同义词，然后重新评测。限定夸耀，SWIM在同义词搅扰下的得分（3.74）仅比原始得分（3.78）低0.04分，降幅极为细小。比较之下，原始Qwen2.5-VL在莫得搅扰时得分为2.97，加上精确重要词后（颠倒于给它小数额外的语义陈迹）得分为3.43，仍然低于SWIM在有同义词搅扰时的3.74。这个对比讲解SWIM学到的不是死记硬背特定词汇，而是对物体语义的深层贯通，这种贯通不错泛化到语言抒发的自然变化中。

九、骨子后果：看得见的区别

除了数字，盘考团队也展示了一些具体的对比案例，让SWIM的蜕变变得相配直不雅。

在一个描写类任务中，用户让模子描写"视频桌子上阿谁长方形的木质砧板"。基础的Qwen2.5-VL描写的是摆布的饼干，因为饼干是画面中最显眼的动态物体；而SWIM准确描写了那块砧板，内容与程序谜底高度吻合。在两谈聘请题案例中，SWIM一样选出了正确谜底，而基础模子都选错了。这些例子都指向解除个问题：当AI不可准确将翰墨描写与视觉区域对适时，它会本能地被画面中最显眼的物体"引诱"，而疏远用户真真实问的阿谁办法。

说到底，SWIM作念的事情并不是给AI添加了某种神奇的新智商，而是建造了一个耐久被疏远的基础问题：当AI读到一个物体名词时，它应该果真"看向"阿谁物体，而不是漫无目的地注目统统这个词画面。这个问题之是以之前莫得被系统性处分，很猛进度上是因为传统的评测形态（问答准确率、描写畅通度）并不可径直涌现着重力分散的残障，需要像这篇论文这么把着重力争可视化出来智力发现。

对于闲居用户来说，这项盘考的意旨在于：往日你在使用AI助手时，只需要用自然语言说"帮我关追究频里阿谁戴红帽子的孩子"，AI就能真实把看法和着重力聚焦在阿谁孩子身上，而不是描写统统这个词场景或者最显眼的配景元素。SWIM的教练决策只需要在教练时提供遮罩，推理使用时完竣依靠翰墨，这意味着它不错径直集成到现存的模子教练经由中，不需要转换模子架构或加多推理时的额外输入。

这项盘考的完满论文不错通过arXiv编号2605.18018查阅，代码和NL-Refer数据集也已开源，有兴致深切了出恭艺细节的读者不错通过GitHub上的HumanMLLM/SWIM仓库获取。

Q&A

Q1：SWIM教练设施和闲居多模态大模子教练有什么区别？

A：闲居多模态大模子教练只须求模子输出正确的翰墨谜底，并岂论模子里面的着重力是否落在了正确的视觉区域。SWIM在此基础上加多了一个额外的监督信号：当模子读到物体名词时，它的跨模态着重力争必须和事先标注的物体遮罩尽量重合，不然会产生处分。这个额外不竭迫使模子把名词和对应视觉区域更紧密地绑定在一都，从而在推理时仅凭翰墨就能精确定位办法物体，不再需要用户额外提供遮罩或标注框。

Q2：NL-Refer数据集和原始VideoRefer数据集有什么不同？

A：原始VideoRefer数据相聚，翰墨描写用占位符``代替办法物体B体育官方网站首页入口，这个象征对东谈主来说要谐和视觉象征智力贯通，AI无法从中学习到名词和视觉区域的对应关系。NL-Refer通过GPT-4o处理，把每个``替换成了具体的自然语言描写（比如"阿谁留髯毛的年青男东谈主"），同期象征出最中枢的名词，并保留了与之对应的像素级遮罩。这么AI就能从翰墨自己径直学习"读到这个词就该看阿谁区域"的对应关系。