AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
对视觉-语言模型所见所感知进行对齐与适应性信息流
机构 * KAIST（韩国科学技术院） ； POSTECH
专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV
AI总结 本文提出通过调节信息流提升视觉-语言模型的感知能力，通过动态令牌方法确定视觉令牌的重要性，从而提高视觉问答、视觉定位等任务的性能。
Comments CVPR 2026. Project page: https://cxliu0.github.io/AIF/
FETAL-GAUGE：用于评估胎儿超声检查中视觉-语言模型的基准
机构 * Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）
专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV
AI总结 本文提出Fetal-Gauge基准，用于评估视觉-语言模型在胎儿超声检查中的性能，包含42000张图像和93000个问题-答案对，揭示当前模型在临床任务中的性能差距，强调需领域适应的架构和训练方法。
保护多模态大语言模型免受误导性可视化的影响
机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（普遍知识处理实验室（UKP实验室）、计算机科学系，德累斯顿技术大学及应用网络安全国家研究中心ATHENE） ； Department of Electrical Engineering, KU Leuven（电气工程系，鲁文大学） ； Department of Computer Science, KU Leuven（计算机科学系，鲁文大学）
专题命中 视觉问答 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)
AI总结 研究发现多模态大语言模型在面对误导性可视化时回答准确性显著下降，提出两种有效方法提升其处理能力，同时保持非误导性可视化下的准确性。
Comments Preprint. Code and data available at https://github.com/UKPLab/arxiv2025-misleading-visualizations
当表面欺骗：利用褶皱诱导的注意力转移攻击视觉-语言模型
专题命中 视觉问答 ：vision-language model(title)；visual question answering(abstract)；分类 cs.CV
AI总结 本文提出一种参数化结构扰动方法，通过构建多尺度褶皱场和整合位移场扭曲与表面一致的外观变化，以攻击视觉-语言模型的鲁棒性。
AEGIS：锚定强化梯度隔离用于知识保留的视觉-语言-动作微调
机构 * Independent Researcher（独立研究者）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG
AI总结 本文提出AEGIS方法，通过层间梯度投影保留预训练的视觉问答能力，避免因梯度不对称导致的性能下降，无需额外数据或缓冲区。
超越单帧：跨体积MRI的多帧空间接地推理
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Harvard University（哈佛大学） ； Georgetown University（乔治城大学）
专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出SGMRI-VQA基准，通过多帧空间接地推理提升医学VLMs性能，展示监督微调提升接地能力。
ReXSonoVQA：面向以过程为中心的超声理解的视频问答基准
机构 * Harvard Medical School（哈佛医学院）
专题命中 视觉问答 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 ReXSonoVQA是一个包含514个视频片段和514个问题的视频问答基准，旨在评估动作-目标推理、artifact解决与优化及过程上下文与规划能力，测试VLMs在动态过程理解中的表现。
DenTab：一个用于真实世界牙科估算表识别和视觉问答的数据集
机构 * LITIS, Normandy, France（诺曼底大学LITIS实验室） ； Malakoff Humanis, Paris, France（巴黎Malakoff Humanis机构）
专题命中 视觉问答 ：VLM(abstract,abstract_cn)；visual question answering(abstract)；分类 cs.CV
AI总结 DenTab数据集包含2000张牙科估算表图像，用于评估表识别和视觉问答性能，包含2208个问题，涵盖检索、聚合和逻辑一致性检查。
T2I-FactualBench：基于知识密集概念的文本到图像模型事实性评估基准
机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； Nanyang Technological University（南洋理工大学）
专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出T2I-FactualBench，通过知识密集概念评估文本到图像模型的事实性，揭示当前SOTA模型在事实性上的不足。
Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 27501-27524, 2025
视觉-语言模型真的能进行视觉推理吗？一种对模态差距的严格研究
机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算机与数据科学学院，新加坡） ； Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)（阿里巴巴-国立大学全球可持续发展公司实验室（ANGEL）） ； Tongyi Lab, Alibaba Group, China（阿里云实验室，阿里巴巴集团，中国）
专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；visual reasoning(abstract)；分类 cs.CV
AI总结 本文通过CrossMath基准测试，发现视觉-语言模型在文本输入时表现优异，但加入图像信息后推理性能下降，表明其推理主要依赖文本空间，而非真实视觉证据。
ChatENV: 一种用于传感器引导的环境监测和场景模拟的交互式视觉-语言模型
机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）
专题命中 视觉推理 ：vision-language model(title)；VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.CV
AI总结 ChatENV通过整合卫星图像与真实传感器数据，实现环境变化的时序推理与假设验证，提升了环境监测的交互性和准确性。
Comments 11 pages, 5 figures, 7 tables
利用视觉-语言模型自动化生成碰撞图：多车道环形交叉口的案例研究
机构 * Smart Mobility and Infrastructure Lab, College of Engineering University of Georgia Athens（智能移动与基础设施实验室，工程学院，佐治亚大学亚特兰大分校）
专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文研究利用视觉-语言模型自动化生成碰撞图，针对多车道环形交叉口这一挑战性案例，提出三步提示框架和10项评估指标，发现GPT-4o在空间推理和数据对齐方面表现最佳，为生成式AI在工程可视化中的应用奠定基础。
Comments 16 pages, 5 figures, 3 tables
Journal ref Applied Computing and Intelligence, 2026, 6(1): 38-57
视觉-语言模型在何处失效？面向图像地理定位的世界尺度分析
机构 * University of Central Florida（中央佛罗里达大学）
专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 本文评估了多种先进视觉-语言模型在国家层面图像地理定位中的表现，揭示了模型在粗粒度地理定位中的潜力及当前模型在细粒度地理线索捕捉上的局限。
Comments Accepted to the CVPR EarthVision 2026 Workshop
HyperGVL：超图理解与推理中大视觉-语言模型的基准测试与改进
机构 * Southern University of Science and Technology（南方科技大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Huawei Research（华为研究） ； Beihang University（北航）
专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 本文提出HyperGVL基准，评估12种先进LVLM在超图理解与推理中的能力，通过84,000个样本覆盖12种任务，引入可泛化的WiseHyGR路由器提升模型性能。
Comments Under Review; Opensource after accepted
ProtoTTA：基于原型的测试时间适应
机构 * University of British Columbia（不列颠哥伦比亚大学） ； Queen’s University（女王大学） ； Vector Institute（向量研究所）
专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG
AI总结 ProtoTTA通过利用中间原型信号提升模型在分布偏移下的鲁棒性，同时恢复原型激活的语义聚焦，改进了标准输出熵最小化方法。
Comments ICLR 2026 Test-Time Updates (TTU) Workshop
通过统一熵控制实现定向探索的强化学习
机构 * College of Software, Nankai University（南开大学软件学院） ； Zhongguancun Academy（中关村学院） ； Shanghai Jiao Tong University（上海交通大学） ； Chinese Academy of Sciences（中国科学院） ； Tsinghua University（清华大学） ； Sun Yat-sen Univeristy（中山大学）
专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI
AI总结 本文提出UEC-RL框架，通过定向探索机制和稳定器解决强化学习中的熵崩溃问题，提升大模型推理性能。
Comments Accepted for publication in Findings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)
MM-Telco: 电信应用的多模态大语言模型基准与工具
机构 * IIT Bhilai（比哈尔理工学院） ； IIT Kanpur（坎pur理工学院） ； INPT（伊斯兰北方技术大学）
专题命中 视觉推理 ：multimodal large language model(title)；分类 cs.CV、cs.AI
AI总结 本文提出MM-Telco，为电信领域设计的多模态基准和模型，旨在解决领域特定挑战，通过基准任务和实验验证提升大语言模型在电信中的性能。
ReactBench: 一种用于在化学反应图上进行拓扑推理的MLLMs基准测试
机构 * International Digital Economy Academy（国际数字经济学院） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.AI
AI总结 ReactBench通过化学反应图揭示MLLMs在拓扑推理中的局限性，包含1618个专家标注的问答对，评估17种MLLMs显示锚定任务与整体结构推理任务存在超过30%的性能差距。
Mind's Eye：多模态大语言模型的视觉抽象、转换与组合基准
机构 * CSE Dept., IIT Hyderabad（IIT海得拉巴计算机科学与工程系） ； Microsoft Research（微软研究院） ； IIT Hyderabad（IIT海得拉巴）
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出Mind's Eye基准，通过A-R-T分类评估多模态大语言模型的视觉认知能力，发现人类准确率达80%，而顶级模型低于50%，揭示模型在视觉空间推理上的不足。
看见无形：图像分类到高级和抽象类别的调查
机构 * University of Bologna（博洛尼亚大学） ； University of Bologna Department of Computer Science（博洛尼亚大学计算机科学系） ； University of Bologna Department of Modern Languages, Literatures（博洛尼亚大学现代语言文学系） ； Centrum Wiskunde en Informatica（数学与信息学研究中心） ； Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-罗克奎恩特研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕尔默研究实验室）
专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI
AI总结 本文通过系统回顾高阶视觉理解的研究，探讨了抽象概念在自动图像分类中的处理，揭示了高阶视觉推理的挑战与机遇，强调了混合AI系统的重要性。
Comments Preprint
UniDoc-RL: 基于分层动作和密集奖励的粗到细视觉RAG
机构 * DeepGlint-AI
专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 UniDoc-RL通过分层动作空间和密集奖励方案，提升视觉RAG系统的细粒度视觉语义处理能力，实现端到端训练，实验显示优于现有方法。
Comments 17 pages, 11 figures
MedGemma vs GPT-4：开源与专有零样本医学疾病图像分类
机构 * Department of Information and Communication Technology, Bangladesh University of Professionals（信息与通信技术系，孟加拉国专业大学）
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文比较了开源MedGemma与专有GPT-4在医学图像零样本疾病分类中的性能，MedGemma通过LoRA微调在准确率和敏感性上均表现更优，凸显了领域特定微调对临床应用的重要性。
Comments Accepted for publication in the Journal of Machine Learning and Deep Learning (JMLDL). 9 pages, 9 figures, 10 tables
Journal ref Journal of Machine Learning and Deep Learning, Vol. 2, No. 2, pp. 1-9, 2025
AstroVLM：专家多智能体协作推理用于天体成像质量诊断
机构 * The Chinese University of Hong Kong（香港中文大学） ； Central South University（中南大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳校区）
专题命中 视觉推理 ：vision language model(abstract)；分类 cs.CV
AI总结 本文提出AstroVLM，通过多智能体协作推理解决复杂天体成像质量诊断问题，实验表明其在实际任务中优于所有基线模型。
视频推理：评估大语言模型如何提取、整合和重构时空证据
机构 * UNIST（全南大学） ； KAIST（韩国科学技术院）
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 本文评估大语言模型在视频中的时空推理能力，提出VAEX-BENCH基准，通过合成数据测试抽象推理任务，揭示模型在抽象任务中的局限性。
Comments Project page: https://disl-lab.github.io/VAEX-Bench/
VeriGraph：用于可验证机器人规划的场景图
机构 * University of Maryland, College Park, MD USA（马里兰大学学院公园分校）
专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI
AI总结 VeriGraph通过整合视觉语言模型和场景图，提升机器人任务规划的可行性验证与修正，显著提高任务完成率。
Comments Accepted to ICRA 2026. Project website: https://verigraph-agent.github.io
GIST：通过智能语义拓扑进行多模态知识提取与空间定位
机构 * University of Colorado Boulder（科罗拉多大学博尔德分校）
专题命中 视觉定位与Grounding ：grounding(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 GIST通过智能语义拓扑提取多模态知识，构建语义标注的导航拓扑，实现复杂环境中的空间定位与人类-AI交互任务。
VRAG-DFD: 可验证检索增强的基于大语言模型的深度伪造检测
机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Youtu Lab（腾讯优图实验室）
专题命中 视觉定位与Grounding ：MLLM(title,abstract)；分类 cs.CV
AI总结 本文提出VRAG-DFD框架，通过结合检索增强生成和强化学习，解决深度伪造检测中专业伪造知识不足的问题，提升大语言模型的推理能力。
CodeMMR：连接自然语言、代码和图像以实现统一检索
机构 * MBZUAI ； Linköping University（林雪平大学） ； University of Groningen（格罗宁根大学） ； TU Darmstadt（图宾根大学）
专题命中 视觉定位与Grounding ：grounding(summary_cn,abstract)；分类 cs.AI
AI总结 本文提出CodeMMR，通过指令式多模态对齐，将自然语言、代码和图像嵌入共享语义空间，实现跨模态和语言的强泛化，优于基线模型，并提升RAG中的代码生成精度与视觉 grounding。
Journal ref CVPR 2026
Zoom一致性：多步视觉定位流水线中的免费置信度信号
机构 * Om Labs（Om实验室）
专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文提出zoom一致性作为多步视觉定位流水线中的一种免费置信度信号，通过几何量在共享坐标空间中的比较，提升不同架构VLMs的预测准确性。
VIB-Probe：通过变分信息瓶颈检测和缓解视觉-语言模型中的幻觉
机构 * College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China（复旦大学计算机科学与人工智能学院，上海，中国） ； Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）
专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文提出VIB-Probe框架，通过变分信息瓶颈理论检测和缓解视觉-语言模型中的幻觉，利用注意力头提取判别模式并过滤语义噪声，实验表明其在多个基准上表现优异。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈