视觉大模型 / VLM

M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming

M$^\text{4}$World：用于交互式对象操纵和分钟级流的多视图多模态驾驶世界模型

Ke Cheng, Hanqiao Ye, Lei Shi, Yahui Liu, Yunhan Shen, Jingtao Dong, Zhenke Wang, Wenxuan Ao, Weixiang Xu, Kaining Huang, Shuhan Shen

专题命中 文档图表理解 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对现有驾驶世界生成方法局限，提出M$^\text{4}$World模型，通过灵活接口与多阶段训练实现对象操纵及长时流稳定，引入后训练与生成模型，并用新管道评估，实验证明其在驾驶模拟中有高质量、可控性与稳定性。

Comments 24 pages, 13 figures

GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents

GDP.pdf：针对专业PDF文档的基础多模态推理基准测试

Suhaas Garre, Emily Ritchie, Sushant Mehta, Edwin Chen

机构 * Surge AI 纠错

专题命中 文档图表理解 ：grounding(abstract)；分类 cs.CV

AI总结 该研究针对专业PDF文档构建多模态推理基准测试GDP.pdf，由专业人员编写问题-文档对，通过严格筛选保留问题，有详细评分标准和能力分类。评估七个前沿模型，发现多数错误源于特定模式，公开了完整基准测试。

Comments 9 pages. v2: results updated to July 2026 leaderboard (17 models). Accepted at the 2nd Workshop on Knowledge-Intensive Multimodal Reasoning (KnowledgeMR) at CVPR 2026 (non-archival), under the former title "PDFParse: A Benchmark for Grounded Multimodal Reasoning over Professional PDF Documents". Dataset: https://huggingface.co/datasets/surgeai/GDP.pdf ; Code: https://github.com/surge-ai/gdp-pdf

S-squared-VLA: Decoupling Semantic and Spatial Streams in Vision-Language-Action Models for Autonomous Driving

S平方-VLA：自动驾驶视觉-语言-动作模型中语义与空间流的解耦

Jianguo Yu, Rukang Wang, Duanfeng Chu, Chen Wang, Renju Feng, Liping Lu

机构 * School of Mechanical and Electronic Engineering, Wuhan University of Technology（武汉理工大学机电工程学院） ； Intelligent Transportation Systems Research Center, Wuhan University of Technology（武汉理工大学智能交通系统研究中心） ； School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 研究针对自动驾驶中视觉语言模型生成低级控制动作的局限，提出S平方-VLA解耦语义和空间流，语义流用于意图推理，空间流保留空间特征并赋予先验，双流规划适配器融合二者，在基准测试中取得新的最先进水平，优于基线。

Joint On-and-Off Policy Learning for Vision-and-Language Navigation

用于视觉与语言导航的联合在线与离线策略学习

Qingrong He, Lin Zhao, Kevin Zheng, Liang Lin

机构 * Joy Future Academy（京东探索研究院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 研究视觉与语言导航问题，提出JOP-VLN框架，通过三阶段训练流程，协同结合离线策略模仿学习和在线策略探索，采用高熵轨迹采样和纠错优先轨迹排序策略，在相关基准上取得高成功率，创技术新水平。

Comments Accepted by IROS 2026

Diagnosing Semantic Handoff Failures in Agent-Orchestrated Vision-Language-Action Skill Composition

诊断智能体编排的视觉-语言-动作技能组合中的语义切换失败

Ke Rui, Yushen Zuo, Jiawei Wang, Haoran Jia, Jinming Ma, Weitao Zhou, Minglei Li

机构 * SimpleAI 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)

AI总结 研究智能体编排的视觉-语言-动作技能组合中的语义切换失败问题，通过智能体编排执行框架，调用基于π0.5的技能检查点，在两种初始状态分布下评估，发现单技能与长期任务成功率差距大，为未来技能库改进提供诊断依据。

Journal ref RSS SemRob Workshop 2026

Beyond Description: Cognitively Benchmarking Fine-Grained Action for Embodied Agents

超越描述：为具身智能体进行细粒度动作的认知基准测试

Dayong Liu, Chao Xu, Weihong Chen, Suyu Zhang, Juncheng Wang, Jiankang Deng, Baigui Sun, Yang Liu

机构 * Zhejiang University（浙江大学） ； Wolf 1069 b（沃尔夫1069b） ； Sany Group（三一集团） ； The Hong Kong Polytechnic University（香港理工大学） ； Imperial College London（帝国理工学院） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出CFG-Bench基准测试，旨在评估具身智能体在物理交互中的细粒度动作能力，揭示现有MLLMs在高层次推理中的不足，并通过监督微调提升其性能。

Comments Accepted to ECCV2026

RoboWorld: Fast and Reliable Neural Simulators for Generalist Robot Policy Evaluation

RoboWorld: 用于通用机器人策略评估的快速可靠神经模拟器

Byeongguk Jeon, Seonghyeon Ye, JaeHyeok Doo, Sungdong Kim, Minjoon Seo, Hyungmok Son, Kimin Lee

机构 * KAIST（韩国科学技术院） ； Config 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 提出RoboWorld自动化评估流程，结合快速自回归视频世界模型和任务进度感知视觉语言模型评分，通过Step Forcing减少训练-测试不匹配，实现与真实世界评估高度一致。

Comments Project page: https://byeongguks.github.io/RoboWorld/

BiliVLA: Scene-Aware Vision-Language-Action Model with Reinforcement Learning for Autonomous Biliary Endoscopic Navigation

BiliVLA: 基于强化学习的场景感知视觉-语言-动作模型用于自主胆道内镜导航

Jinsong Lin, Chi Kit Ng, Zhiyong Xiong, Zikang Pan, Yihan Hu, Tabassum Tamima, Ziyi Hao, Eddie Cheung, Jiewen Lai, Huxin Gao, Hongliang Ren

机构 * The Chinese University of Hong Kong（香港中文大学） ； The Third Affiliated Hospital of Sun Yat-sen University（中山大学附属第三医院） ； University of Cambridge（剑桥大学） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 提出BiliVLA框架，将胆道内镜导航建模为指令条件化的视觉运动学习问题，结合场景感知监督和两阶段训练（SFT+GRPO），在ERCP子任务中实现91.96%的动作精度和84.85%的成功率。

Uncertainty-Aware Sequential Decision Rules for Event-Triggered LLM Invocation in Streaming Systems

流系统中事件触发大语言模型调用的不确定性感知序贯决策规则

Zhaohui Wang

机构 * Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 研究流系统中何时调用大语言模型的问题，将其转化为基于风险的序贯停止问题，证明了相关理论结果。通过在涡轮风扇退化数据上的实验，验证假设、比较基线，得出次线性遗憾、高诊断质量等结论，表明异常分数驱动的风险函数更优。

Comments 18 pages, 5 figures. Accepted to the ECML PKDD 2026 Research Track

Designing Safety-Constrained LLM Systems for Public Health Information Access

设计用于公共卫生信息访问的安全约束大语言模型系统

Ben Torkian, Jun Zhou

机构 * University of South Carolina（南卡罗来纳大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 针对公共卫生信息访问，尤其是母婴健康资源导航，设计实现安全约束大语言模型系统。采用多层架构，含领域受限RAG等，通过可控数据管道确保回复基于精选资源。经场景验证，系统安全约束执行一致、性能稳定，为相关领域部署LLM系统提供指导。

Inverse-LLaVA: Rethinking Multimodal Alignment via Text-to-Vision Mapping

Inverse-LLaVA：通过文本到视觉映射重新思考多模态对齐

Xuhui Zhan, Tyler Derr

专题命中 VLM训练与架构 ：LLaVA(title,title_cn)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究重新审视多模态学习中传统映射方向，提出Inverse-LLaVA架构，通过文本到视觉映射反转方向。该架构无需对齐预训练，在多模态基准测试中展现强大学习效率，为多模态架构设计开辟新方向，解耦表示结构与监督方式。

Comments 19pages, 3 figures

Inverting the Streaming-Diffusion Bottleneck: Video-Rate MLLM-Conditioned Edit Diffusion on a Consumer GPU

基于视觉感知的多模态大语言模型条件编辑扩散的视频率流式风格化：蒸馏UNet + MLLM文本编码器上的非对称批处理推理

Yoshiyuki Ootani

机构 * Independent researcher（独立研究员） 纠错

专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 针对蒸馏扩散模型中文本编码器成为瓶颈的问题，提出一种结合非对称CUDA流水线、编译友好的ControlNet-LLLite重构和周期性条件刷新调度的流式管线，在消费级GPU上实现视频率实时风格化编辑。

Comments 14 pages, 4 figures, 13 tables. Code, evaluation harness, and the released Temporal LLLite adapter weights are at https://github.com/otanl/dreamlite-stream (also mirrored to Hugging Face and Zenodo)

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

多模态大语言模型中用于视觉归因的证据重组与预测上下文残差化

Jiawei Liang, Jianjie Huang, Ruoyu Chen, Xianghao Jiao, Siyuan Liang, Shiming Liu, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract)；InternVL(abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型token级视觉证据难检查问题，提出基于证据重组和预测上下文残差化的ERCR框架，经实验验证该框架能改善目标token视觉证据、减轻上下文干扰，为视觉证据检查提供实用改进。

ELF: A Family of Encoder-Free ECG-Language Models

ELF：无编码器心电图语言模型家族

William Han, Tony Chen, Chaojing Duan, Xiaoyu Song, Yihang Yao, Yuzhe Yang, Michael A. Rosenberg, Emerson Liu, Ding Zhao

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Allegheny Health Network（阿勒格尼医疗网络） ； University of California Los Angeles（加州大学洛杉矶分校） ； University of Colorado（科罗拉多大学） ； Allergy and Immunology（过敏与免疫学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 提出三种无编码器架构的ECG语言模型ELF，简化架构和训练流程，在两个数据集上达到或超越现有最优模型。

Comments 34 pages, 12 figures; Accepted to MLHC 2026

Attention-Free and Lightweight Token Reduction for Efficient Vision-Language Models

用于高效视觉语言模型的无注意力轻量级令牌约简

Xuanyi Hao, Zuoyuan Zhang, Zhibo Wang, Xiaoyi Pang, Jiahui Hu, Jiacheng Du, Shuguo Zhuo

机构 * Zhejiang University（浙江大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 针对视觉语言模型在边缘设备部署难的问题，提出无注意力轻量级令牌约简框架，通过基于熵的准则估计令牌重要性，引入一致性信号确保视觉覆盖，经实验验证该框架在精度和效率权衡上表现出色。

Comments This work has been submitted to the IEEE for possible publication

Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment

通过表示锚定和语言-动作对齐实现可泛化的视觉语言动作微调

Dwip Dalal, Shivansh Patel, Chahit Jain, Jeonghwan Kim, Utkarsh Mishra, Alex Baratian, Hyeonjeong Ha, Heng Ji, Svetlana Lazebnik, Unnat Jain

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Texas A&M University（德州农工大学） ； University of California, Irvine（加州大学欧文分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 研究针对VLA策略微调中存在的问题提出Anchor-Align方法，通过视觉语言锚定和语言-动作对齐两个目标增强BC，在物理机器人和模拟测试中均有效果提升，表明保留预训练表示与有效动作学习可兼顾。

Comments Code: https://github.com/dwipddalal/Anchor-Align

Move-Then-Operate: Behavioral Phasing for Human-Like Robotic Manipulation

移动-然后-操作：用于类人机器人操作的行为相位

Haoming Xu, Lei Lei, Jie Gu, Chu Tang, Jingmin Chen, Ruiqi Wang

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou, China.（杭州高等研究院，中国科学院大学，中国杭州） ； University of Science and Technology of China, Hefei, China.（中国科学技术大学，中国合肥） ； School of Aritificial intelligence, Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing, China（人工智能学院，人工智能研究院，北京科技大学，中国北京） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)

AI总结 本文提出Move-Then-Operate框架，将机器人操作分为粗略移动和接触关键交互两个阶段，通过双专家策略提升操作精度与效率。

Comments 15 pages, 10 figures

Beyond Color Geometry: Evaluating Human-Like Color Representations in Vision Models

超越颜色几何：评估视觉模型中类人颜色表示

Ayan Igali, Pakizar Shamoi

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉模型中类人颜色表示，通过基于人类调查数据的模糊感知模型评估，测量类别边界等三个属性，发现掩码自动编码器在超越颜色几何对齐上表现最强，不同模型在颜色表示方面有差异，类人颜色基础有多个方面不能简化为单一分数。

Comments 6 pages, 5 figures, 2 tables submitted to 2026 Joint 14th International Conference on Soft Computing and Intelligent Systems and 27th International Symposium on Advanced Intelligent Systems (SCIS&ISIS 2026)

SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

SIVA-RL：用于多模态强化学习的灵敏度不变视觉对齐

Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Sichuan University（四川大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Macau（澳门大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究多模态强化学习中视觉语言模型预测与视觉证据结合问题，提出SIVA-RL框架，通过特定方法构建局部干预并以奖励下降为权重驱动对齐，在多基准测试中相比基线改进了模型。

Comments 27 pages, 11 figures

Self-Improving is Often Sudden: Enlightenment-style Finetuning for Large-Scale Models

自我提升往往是突然的：大规模模型的顿悟式微调

Jing-Xiao Liao, Tianwei Zhang, Yu-Hao Jiang, Feifei Zhang, Hang-Cheng Dong, Feng-Lei Fan

机构 * School of Computer Science and Artificial Intelligence, Guangdong University of Education（广东第二师范学院计算机科学与人工智能学院） ； School of Instrumentation Science and Engineering, Harbin Institute of Technology（哈尔滨工业大学仪器科学与工程学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 研究大规模模型自主提升，提出顿悟式无训练后微调范式，通过修改关键模块捷径且不更新权重，针对大语言和视觉语言模型有不同实例化，实验证明有效解锁预训练网络潜力，提升性能。

DynTrace: Tracking Dynamic Object Evidence for 4D Spatio-Temporal Reasoning in MLLMs

DynTrace：用于多模态大语言模型中4D时空推理的动态对象证据跟踪

Rongxin Gao, Yuzhi Huang, Dongxuan Liu, Chu Li, Zhenye Wang, Jie Wu, Shuzhao Xie, Jingyan Jiang, Xinghao Ding, Xiaotong Tu, Yue Huang

机构 * Xiamen University（厦门大学） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； China University of Mining and Technology（中国矿业大学） ； Shenzhen Technology University（深圳技术大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型在连续动态场景感知中跟踪动态对象证据的局限，提出DynTrace框架，含DTV和DT-Token两个互补组件，能为模型提供基于几何视觉先验和结构化时空轨迹的动态对象证据，在多个基准测试中达先进水平。

Comments Accepted by ACM MM 2026

Do Image Editing Models Understand Lighting?

图像编辑模型是否理解光照？

Tim Küchler, Johann-Friedrich Feiden, Matthias Nießner, Carsten Rother

机构 * Heidelberg University（海德堡大学） ； Technical University of Munich（慕尼黑工业大学） ； Zuse School ELIZA 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV

AI总结 提出3D锚定光探针基准(3DLP)，通过真实世界HDR数据集评估图像编辑模型对光照变化的编辑准确性，发现模型在镜面高光区域表现较好，但整体仍有改进空间。

Comments Project page: https://tim-kuechler.github.io/3DLP/

Perfect Demo Makes Poor Teacher: Learning Robust Alignment from Critical Motion Segments

完美演示造就差劲教师：从关键运动片段学习鲁棒对齐

Mingyu Liu, Zeju Li, Jiuhe Shu, Hanqing Wang, Yuhao Chao, Hao Chen, Chunhua Shen

机构 * Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Hong Kong University of Science and Technology (GZ)（香港科技大学（广州）） ； Nanjing University（南京大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 针对精细操作中流畅演示因压缩关键对齐动作导致策略学习不足的问题，提出数据级重采样和表示级STAIR特征，利用稠密运动感知监督提升策略鲁棒性。

Holistic Optimal Label Selection for Robust Prompt Learning under Partial Labels

整体最优标签选择用于在部分标签下的鲁棒提示学习

Yaqi Zhao, Haoliang Sun, Yating Wang, Yongshun Gong, Yilong Yin

机构 * Shandong University, Jinan, China（山东大学（济南，中国）） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Holistic Optimal Label Selection方法，通过局部密度过滤和全局最优传输策略，提升部分标签下的提示学习性能，实验表明其在八个基准数据集上表现优异。

Comments ECCV 2026

How You Ask Shapes What You Get: Auditing Breast-Cancer Misinformation in TikTok Search

你如何通过提问来获取信息：审核TikTok搜索中的乳腺癌错误信息

Pooriya Jamie, Homa Hosseinmardi, Rezvaneh Rezapour, Aria Pessianzadeh, Patricia A. Ganz, Amir Ghasemian

专题命中 其他VLM ：vision-language model(abstract)

AI总结 研究TikTok搜索中用户查询框架对乳腺癌错误信息曝光的影响，通过受控实验发现查询框架与错误信息曝光紧密相关，替代医学查询错误信息返回率高，医学信息查询也有错误信息，强调审核查询驱动搜索系统的重要性。