视觉大模型 / VLM

Lost in the Hype: Revealing and Dissecting the Performance Degradation of Medical Multimodal Large Language Models in Image Classification

迷失在喧嚣中：揭示并剖析医学多模态大语言模型在图像分类中的性能退化

Xun Zhu, Fanbin Mo, Xi Chen, Kaili Zheng, Shaoshuai Yang, Yiming Shi, Jian Gao, Miao Li, Ji Wu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文研究了医学多模态大语言模型在图像分类中的性能退化问题，通过实验和特征探查揭示了四个失败模式，并提出了量化评分用于评估特征演变的健康状况。

Phantasia: Context-Adaptive Backdoors in Vision Language Models

幻象：面向视觉语言模型的上下文自适应后门

Nam Duong Tran, Phi Le Nguyen

机构 * Institute for AI Innovation and Societal Impact, Hanoi University of Science and Technology（河内科技大学人工智能创新与社会影响研究所） 纠错

专题命中 视觉推理 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Phantasia，一种能根据输入语义动态调整恶意输出的后门攻击方法，提升了攻击隐蔽性和适应性，实验显示其在多种防御设置下均保持良好性能。

Comments CVPR 2026 Findings

MedVR: Annotation-Free Medical Visual Reasoning via Agentic Reinforcement Learning

MedVR：通过代理强化学习实现无标注的医学视觉推理

Zheng Jiang, Heng Guo, Chengyu Fang, Changchen Xiao, Xinyang Hu, Lifeng Sun, Minfeng Xu

机构 * Tsinghua University（清华大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； Hupan Lab（湖畔实验室） ； Key Laboratory of Pervasive Computing, Ministry of Education（教育部普适计算重点实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 MedVR通过代理强化学习实现无标注的医学视觉推理，利用熵引导的视觉重定位和基于共识的信用分配机制，在多个公开医学VQA基准上取得最佳性能，提升医疗AI的鲁棒性和透明度。

Comments Accepted by ICLR 2026

Fundus-R1: Training a Fundus-Reading MLLM with Knowledge-Aware Reasoning on Public Data

Fundus-R1: 基于公共数据训练具备知识感知推理能力的视网膜图像阅读MLLM

Yuchuan Deng, Qijie Wei, Kaiheng Qian, Jiazhen Liu, Zijie Xin, Bangxiang Lan, Jingyu Liu, Jianfeng Dong, Xirong Li

机构 * Renmin University of China（中国人民大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang Gongshang University（浙江工商大学） 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出Fundus-R1，通过公共数据集训练具备知识感知推理能力的视网膜图像阅读MLLM，采用RAG方法生成知识感知推理轨迹，并通过过程奖励增强RLVR，实验证明其在三个基准测试中优于多个基线模型。

Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains

Lang2Act: 通过自涌现语言工具链实现细粒度视觉推理

Yuqi Xiong, Chunyi Peng, Zhipeng Xu, Zhenghao Liu, Zulong Chen, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） ； Alibaba Group, Hangzhou, China（阿里巴巴集团） 纠错

专题命中 视觉推理 ：visual reasoning(title)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 Lang2Act通过自涌现语言工具链提升视觉感知与推理能力，采用强化学习框架优化VLMs的视觉感知和下游任务性能，实验显示其在视觉感知能力上有显著提升。

AgriChain Visually Grounded Expert Verified Reasoning for Interpretable Agricultural Vision Language Models

AgriChain：基于视觉的专家验证推理用于可解释的农业视觉语言模型

Hazza Mahmood, Yongqiang Yu, Rao Anwer

专题命中 视觉推理 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出AgriChain数据集，通过专家验证的推理链提升农业视觉语言模型的准确性和可解释性，实验表明其在植物病害诊断中优于多个基线模型。

Comments 9 pages

Journal ref LREC 2026

Multimodal Large Language Models for Multi-Subject In-Context Image Generation

多模态大语言模型用于多主体上下文图像生成

Yucheng Zhou, Dubing Chen, Huan Zheng, Jianbing Shen

机构 * SKL-IOTSC, CIS, University of Macau（澳门大学，科技学院，计算机与信息科学系，智慧城市物联网国家重点实验室） 纠错

专题命中 视觉推理 ：multimodal large language model(title)；MLLM(abstract)；分类 cs.LG

AI总结 本文提出MUSIC模型，通过视觉链式思维机制和空间布局规划方法，解决多主体上下文图像生成中的主体缺失和语义漂移问题，并在多主体场景中取得显著优势。

Comments ACL 2026

Which Way Does Time Flow? A Psychophysics-Grounded Evaluation for Vision-Language Models

时间如何流逝？基于心理物理学的评估用于视觉-语言模型

Shiho Matta, Lis Kanashiro Pereira, Peitao Han, Fei Cheng, Shigeru Kitazawa

机构 * Kyoto University（京都大学） ； Center for Information and Neural Networks（信息与神经网络中心） ； National Institute of Information and Communications Technology（国立信息通信技术研究所） ； The University of Osaka（大阪大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文通过心理物理学验证的基准测试评估了视觉-语言模型对时间方向的理解能力，发现大多数模型表现接近随机，且在物理不可逆过程和因果手动动作上远低于人类水平。

Comments 12 pages

CompoDistill: Attention Distillation for Compositional Reasoning in Multimodal LLMs

CompoDistill：多模态大语言模型中基于注意力的知识蒸馏用于组合推理

Jiwan Kim, Kibum Kim, Sangwoo Seo, Chanyoung Park

机构 * KAIST（韩国科学技术院） 纠错

专题命中 视觉推理 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CompoDistill，通过显式对齐学生与教师模型的视觉注意力，提升多模态大语言模型的组合推理能力，同时保持视觉问答任务的性能。

Comments ICLR'26, Project Page : https://ptkjw1997.github.io/CompoDistill-page/

Faithful GRPO: Improving Visual Spatial Reasoning in Multimodal Language Models via Constrained Policy Optimization

可信的GRPO：通过约束策略优化提升多模态语言模型的视觉空间推理

Sai Srinivas Kancheti, Aditya Kanade, Rohit Sinha, Vineeth N Balasubramanian, Tanuja Ganu

机构 * IIT Hyderabad（印度理工学院海得拉巴分校） ； Microsoft Research（微软研究院） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Faithful GRPO，通过约束策略优化提升多模态模型的空间推理质量，减少推理不一致率并提升视觉 grounding 评分。

Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models

视觉-语言与大语言模型在胃肠病学中的表现：GPT、Claude、Llama、Phi、Mistral、Gemma及量化模型

Seyed Amir Ahmad Safavi-Naini, Shuhaib Ali, Omer Shahab, Zahra Shahhoseini, Thomas Savage, Sara Rafiee, Jamil S Samaan, Reem Al Shabeeb, Farah Ladak, Jamie O Yang, Juan Echavarria, Sumbal Babar, Aasma Shaukat, Samuel Margolis, Nicholas P Tatonetti, Girish Nadkarni, Bara El Kurdi, Ali Soroush

机构 * Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院） ； University of Texas Health（德克萨斯大学健康科学中心） ； Virginia Hospital Center（弗吉尼亚医院中心） ； Shahid Beheshti University of Medical Sciences（沙希德·贝赫什提医科大学） ； Stanford University（斯坦福大学） ； Cedars-Sinai Medical Center（西达赛奈医疗中心） ； Inova Fairfax Medical Campus（伊诺瓦费尔法克斯医疗中心） ； University of California–Los Angeles（加州大学洛杉矶分校） ； NYU Grossman School of Medicine（纽约大学格罗斯曼医学院） ； Columbia University（哥伦比亚大学） 纠错

专题命中 视觉推理 ：VLM(abstract,comments)；vision language model(abstract)；分类 cs.AI

AI总结 本研究评估了大语言模型和视觉-语言模型在胃肠病学中的医学推理性能，比较了不同模型配置、参数及提示工程策略对性能的影响，发现专有模型在准确性上优于开源模型，且图像描述对视觉-语言模型性能有显著影响。

Comments Manuscript Pages: 34, Figures: 7, Tables: 2, Supplementary File Pages: 35, Data Transparency Statement: Code is available at: https://github.com/Sdamirsa/LLM-VLM-in-Gastroenterology . Study data from American College of Gastroenterology (ACG) are restricted and available upon request with ACG permission. Correction: updated abstract considering Llama3.1 results

Journal ref npj Digital Medicine 8, 797 (2025)

RoboAgent: Chaining Basic Capabilities for Embodied Task Planning

RoboAgent: 通过基本能力串联实现具身任务规划

Peiran Xu, Jiaqi Zheng, Yadong Mu

机构 * Peking University（北京大学） ； XYZ Embodied AI（XYZ具身智能） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出RoboAgent，通过串联基本能力实现具身任务规划，利用单个VLM构建能力驱动的规划框架，结合多阶段训练方法提升规划效果。

Comments CVPR 2026

HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents

HY-Embodied-0.5：面向现实世界代理的具身基础模型

Tencent Robotics X, HY Vision Team, :, Xumin Yu, Zuyan Liu, Ziyi Wang, He Zhang, Yongming Rao, Fangfu Liu, Yani Zhang, Ruowen Zhao, Oran Wang, Yves Liang, Haitao Lin, Minghui Wang, Yubo Dong, Kevin Cheng, Bolin Ni, Rui Huang, Han Hu, Zhengyou Zhang, Linus, Shunyu Yao

机构 * Tencent Robotics X（腾讯机器人X实验室） ； HY Vision Team（HY视觉团队） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出HY-Embodied-0.5，旨在提升现实世界代理的具身智能能力，通过混合Transformer架构和迭代自演化训练方法，实现高效和强大的模型变体，验证了其在多个基准测试中的优越性能。

Decompose, Look, and Reason: Reinforced Latent Reasoning for VLMs

分解、观察与推理：用于视觉语言模型的强化潜在推理

Mengdan Zhu, Senhao Cheng, Liang Zhao

机构 * Emory University（埃默里大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)

AI总结 本文提出DLR框架，通过动态分解查询、提取连续视觉潜在表示和基于 grounded rationales 推理，提升视觉语言模型在复杂视觉推理中的表现，实验表明其优于现有基线方法。

Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts

视觉而无思维：多模态混合专家中的路由干扰

Haolei Xu, Haiwen Hong, Hongxing Li, Rui Zhou, Yang Zhang, Longtao Huang, Hui Xue, Yongliang Shen, Weiming Lu, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 研究揭示多模态混合专家模型在视觉输入时路由机制无法有效激活任务相关专家，导致推理失败，提出路由干扰假说并验证其有效性。

AVGen-Bench: A Task-Driven Benchmark for Multi-Granular Evaluation of Text-to-Audio-Video Generation

AVGen-Bench: 一项面向多粒度评估的文本到音频视频生成任务驱动基准

Ziwei Zhou, Zeyuan Lai, Rui Wang, Yifan Yang, Zhen Xing, Yuqing Yang, Qi Dai, Lili Qiu, Chong Luo

机构 * Microsoft Research Asia（微软亚洲研究院） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 AVGen-Bench通过11个真实场景的高质量提示，结合轻量专家模型与多模态大语言模型，实现对文本到音频视频生成的多粒度评估，揭示了音频视觉美学与语义可靠性之间的显著差距。

Seeing with You: Perception-Reasoning Coevolution for Multimodal Reasoning

与你共见：多模态推理中的感知-推理共进化

Ziqi Miao, Haonan Jia, Lijun Li, Chen Qian, Yuan Xiong, Wenting Yan, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Zhejiang University（浙江大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出PRCO框架，通过分离的奖励信号提升多模态推理的感知与推理能力，在八个基准测试中平均提升7个百分点。

Comments 21 pages, 15 figures, 6 tables

Reasoning Within the Mind: Dynamic Multimodal Interleaving in Latent Space

思维中的推理：潜在空间中的动态多模态交错

Chengzhi Liu, Yuzhe Yang, Yue Fan, Qingyue Wei, Sheng Liu, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Stanford University（斯坦福大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出DMLR框架，通过动态潜在策略梯度优化和视觉注入策略，在潜在空间中实现视觉与文本的动态交错推理，提升多模态推理性能并保持高效推理。

Multimodal Latent Reasoning via Predictive Embeddings

通过预测嵌入进行多模态潜在推理

Ashutosh Adhikari, Mirella Lapata

专题命中 视觉推理 ：visual language model(abstract)；分类 cs.LG

AI总结 本文提出Pearl框架，通过学习专家工具使用轨迹在潜在空间中进行多模态推理，无需显式调用工具，优于传统重建方法。