AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
SceneSmith: 面向仿真就绪室内场景的智能体生成
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学）
专题命中 文档图表理解 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 提出层次化智能体框架SceneSmith，通过VLM智能体协作从自然语言生成仿真就绪的室内场景，相比先前方法生成3-6倍物体且碰撞率低于2%。
Comments ICML 2026 Spotlight; Project page: https://scenesmith.github.io/
视觉-语言模型将头部方向误认为注视方向：非语言对话线索
机构 * Brown University（布朗大学） ； Columbia University（哥伦比亚大学） ； Emory University（埃默里大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Michigan（密歇根大学） ； UC San Diego（圣地亚哥大学）
专题命中 文档图表理解 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 本研究通过控制头部方向的实验发现，视觉-语言模型（VLMs）在推断注视目标时主要依赖头部方向而非眼睛外观，导致与人类存在显著性能差距，并指出数据偏差是主要原因。
Comments Accepted by ACL 2026. Project page at https://zoryzhang.github.io/gaze/
Ryze：从生物医学论文中合成富含证据的数据
机构 * University of Edinburgh（爱丁堡大学）
专题命中 文档图表理解 ：VLM(summary_cn,abstract)；分类 cs.AI
AI总结 提出 Ryze 系统，自动从生物医学论文中生成包含完整证据结构的训练数据，并训练出领域专用 VLM BioVLM-8B，在 LAB-Bench 上以低于 200 美元成本达到 48.0% 加权准确率。
Comments Accepted at ACL 2026 System Demonstrations Track. 8 pages, 6 figures
Dr. DocBench：专家级与困难文档解析的综合基准
机构 * Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Southern California（南加州大学） ； Harvard University（哈佛大学） ； IBM Research（IBM研究院） ； University of Arizona（亚利桑那大学） ； Duke University（杜克大学） ； UC Berkeley（加州大学伯克利分校） ； LMU Munich（慕尼黑路德维希-马克西米利安大学）
专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出Dr. DocBench基准，通过基于解析器失败的采样从多语言书籍语料库中选取挑战性文档，包含52个BISAC主题领域和65k高质量标注，用于评估专家级文档解析能力。
Comments 27 pages, 13 figures, 14 tables
EuraGovExam：来自现实世界公务员考试的多语言多模态基准
机构 * School of Computer Science / Data Intelligence Lab（计算机科学学院/数据智能实验室）
专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出一个包含8000多道真实公务员考试题目的多语言多模态基准EuraGovExam，要求模型直接从图像中进行布局感知的跨语言推理，当前最先进的视觉语言模型准确率仅达86%。
AdaCodec: 面向视频多模态大语言模型的预测性视觉编码
机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； JD.com（京东公司）
专题命中 文档图表理解 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 针对视频帧间冗余问题，提出预测性视觉编码AdaCodec，通过条件预测代价决定是否发送完整参考帧或紧凑P-令牌，在匹配视觉令牌预算下提升性能，并大幅降低首令牌延迟。
Comments 23 pages
MMG2Skill: 智能体能否从野外指南中提炼出自我进化的技能？
机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出MMG2Skill框架，将多模态异构的野外指南编译为可编辑技能，通过轨迹级根因反馈持续改进，在GUI控制、开放游戏和策略卡牌任务中显著提升VLM智能体性能。
Comments 35 pages, 12 figures, 13 tables. Code: https://github.com/NJU-LINK/MMG2Skill
弥合2D-3D鸿沟：面向视觉语言导航的分层语义几何地图
机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Bosch Corporate Research（博世企业研究） ； King Abdullah University of Science and Technology（卡布斯大学）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出分层语义几何地图（HSGM），将3D几何信息转化为VLM可理解的结构化表示，结合VLM高层语义规划与经典路径规划，实现零样本视觉语言导航，在R2R-CE和RxR-CE基准上达到最先进性能。
VLM4VLA：重新审视视觉-语言-动作模型中的视觉-语言模型
机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Qwen Team, Alibaba Inc.（阿里巴巴公司Qwen团队）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文通过VLM4VLA最小适配管道，系统研究视觉-语言模型（VLM）的选择和能力如何影响下游视觉-语言-动作（VLA）策略性能，发现VLM通用能力无法预测下游任务表现，且视觉模块是性能瓶颈。
视觉-语言-动作模型的对比表示正则化
机构 * KAIST（韩国科学技术院）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.LG
AI总结 提出机器人状态感知对比损失（RS-CL），通过对比学习对齐VLM表示与机器人本体感受状态，提升VLA模型在机器人操作任务中的性能。
Comments ICML 2026
基于多模态大语言模型的上下文感知工作流分解用于自动移动界面标注
专题命中 GUI与屏幕智能体 ：multimodal large language model(title,abstract)
AI总结 提出一种将标注任务分解为多个上下文感知阶段的工作流方法，通过结构化提示、模式约束JSON输出和元素特定指令，在MUIAnno数据集上评估不同分解策略，发现两步工作流在精度上最优。
STaR-KV: 面向GUI视觉语言模型的时空自适应KV缓存压缩重加权方法
机构 * EPIC Lab, SJTU（上海交通大学EPIC实验室） ； HKUST (GZ)（香港科技大学（广州）） ； The University of Sydney（悉尼大学） ； UESTC（电子科技大学） ； ZJU（浙江大学）
专题命中 GUI与屏幕智能体 ：vision-language model(title)；分类 cs.CV、cs.AI
AI总结 提出STaR-KV，一种无需训练的KV缓存压缩框架，通过子空间感知评分、时间稳定性折扣和熵驱动温度三个维度自适应校准令牌重要性，在GUI任务中实现高精度和近40%的峰值GPU内存节省。
GuidedVLA: 通过即插即用的动作注意力特化指定任务相关因素
机构 * Institute of Trustworthy Embodied AI (TEAI)（可信具身人工智能研究院） ； Shanghai Key Laboratory of Multimodal Embodied AI（上海多模态具身人工智能重点实验室） ； Shanghai Jiao Tong University（上海交通大学） ； OpenDriveLab, The University of Hong Kong（OpenDrive实验室，香港大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract_cn)；grounding(abstract)
AI总结 提出GuidedVLA框架，通过为动作解码器中的注意力头分配人工定义的辅助信号（如物体定位、空间几何、时序技能逻辑），显式引导模型关注任务相关因素，提升VLA模型在域内和域外场景的成功率。
Comments Accepted to RSS 2026. Project page: https://guidedvla.github.io/project_page/
WALL-WM：在事件关节处雕刻世界动作建模
机构 * X Square Robot Team（X Square机器人团队）
专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出WALL-WM世界动作模型，通过事件级视觉-语言-动作预训练解决固定长度动作块与语言、视觉、动作之间的粒度不匹配问题，实现跨语言、场景和任务的泛化，在大规模真实世界评估中达到最先进性能。
PlatonicNav: 在导航中揭示柏拉图式拓扑地图的语义对应
机构 * USYD（新南威尔士大学） ； Maincode ； UNSW（新南威尔士大学） ； La Trobe（拉特罗布大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV
AI总结 提出PlatonicNav框架，通过自监督视觉编码器构建柏拉图式拓扑地图，无需跨模态训练即可统一视觉目标导航、跨模态目标导航和视觉语言导航任务。
多模态大语言模型在复杂交互网页代码生成上的基准测试
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.AI
AI总结 针对现有基准忽略复杂交互行为的问题，提出WebIGBench基准，包含103个真实复杂网页和871个交互动作，并设计新评估流程，测试多模态大语言模型在交互式网页代码生成上的性能。
Qwen-VLA：统一跨任务、环境和机器人形态的视觉-语言-动作建模
机构 * Qwen Team（通义实验室）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI
AI总结 提出Qwen-VLA，一种基于DiT动作解码器的统一具身基础模型，通过大规模联合预训练和具身感知提示，将操作、导航和轨迹预测统一为动作-轨迹预测框架，实现跨任务、环境和机器人形态的泛化。
Comments 34 pages
从人类视频到机器人操作：基于人类中心数据的可扩展视觉-语言-动作学习综述
机构 * Tsinghua University（清华大学） ； HKUST（香港科技大学） ； Xi’an Jiaotong University（西安交通大学） ； Fudan University（复旦大学） ； Microsoft Research Asia（微软亚洲研究院） ； Peking University（北京大学） ； Microsoft Zurich Project（微软苏黎世实验室）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文综述了如何将丰富的人类视频转化为视觉-语言-动作（VLA）模型的有效知识，分类了四种方法（潜在动作表示、预测世界模型、显式2D监督、显式3D重建），并指出了结构化非结构化视频、跨具身和视角的动作映射、以及评估协议设计三大挑战。
Comments Accepted to IJCAI 2026 Survey Track. Project page: https://aaronfengzy.github.io/HumanCentricToVLA-Survey/
Agent技能应超越文本：视觉技能的必要性
机构 * Peking University（北京大学） ； University of Wisconsin（威斯康星大学） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV
AI总结 针对现有技能学习方法仅存储文本经验导致视觉任务瓶颈的问题，提出多模态技能范式，结合文本逻辑与视觉支持，通过自动系统将经验转化为可复用的视觉技能，在GUI等视觉任务中显著优于纯文本技能。
WorldMemArena: 通过动作-世界交互评估多模态智能体记忆
机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； J.P. Morgan Chase（摩根大通） ； ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 提出WorldMemArena基准，通过动作-世界交互循环的四阶段生命周期评估多模态智能体记忆，揭示现有方法在写入、维护、检索和使用中的失败点。
Comments 25 pages, 8 figures
AIGaitor: 面向所有人的隐私保护与无云端运动分析——基于边缘计算
机构 * Department of Biomedical Informatics, Emory University（埃默里大学生物医学信息学系） ； Department of Rehabilitation Medicine, Emory University（埃默里大学康复医学系） ； The Wallace H. Coulter Department of Biomedical Engineering, Emory University and Georgia Institute of Technology（埃默里大学和佐治亚理工学院的Wallace H. Coulter生物医学工程系）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV
AI总结 提出AIGaitor系统，在智能手机上利用边缘计算实现无标记单目运动捕捉与深度学习分析，解决成本、隐私和易用性问题。
Comments 18 pages 3 figures, 2 tables
MMSkills: 面向通用视觉智能体的多模态技能
机构 * Shanghai Jiao Tong University（上海交通大学） ； Xiaohongshu Inc.（小红书公司） ； Southeast University（东南大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI
AI总结 提出MMSkills框架，通过将多模态程序知识编码为紧凑的状态条件包（包含文本程序、运行时状态卡和多视角关键帧），并利用轨迹到技能生成器和分支加载多模态技能智能体，显著提升GUI和游戏场景下视觉智能体的决策能力。
Comments 25 pages, 8 figures, 8 tables. Project page: https://zkangning.github.io/MMSkills_for_Visual_Agents/
屏幕到动作中缺失了什么？面向多模态GUI推理的UI-in-the-Loop范式
机构 * Zhejiang University（浙江大学） ； ZJU-Ant Group Joint Lab of Knowledge Graph（浙大蚂蚁集团知识图谱联合实验室）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI
AI总结 提出UI-in-the-Loop (UILoop) 范式，通过循环的屏幕-UI元素-动作过程，让多模态大模型显式学习UI元素的定位、语义和用法，实现可解释推理，并在UI理解任务上达到最优。
Comments Accepted by ACL 2026 Findings
面向双臂操作的语义-几何任务表示：从人类示范到机器人动作规划
机构 * Interactive Robot Perception & Learning (PEARL) Lab, Computer Science Dept., TU Darmstadt, Germany（图腾大学达姆施塔特分校计算机科学系交互机器人感知与学习实验室） ； Hessian.AI, Darmstadt, Germany（黑森人工智能公司） ； Robotics Institute Germany (RIG)（德国机器人研究所） ； Interactive AI Algorithms & Cognitive Models for Human-AI Interaction (IKIDA), Computer Science Dept., TU Darmstadt, Germany（人机交互的交互人工智能算法与认知模型（IKIDA），图腾大学达姆施塔特分校计算机科学系） ； Center for Cognitive Science, TU Darmstadt, Germany（图腾大学达姆施塔特分校认知科学中心）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.LG
AI总结 提出一种语义-几何图任务表示，通过消息传递神经网络编码器和Transformer解码器联合编码对象身份、语义关系和运动历史，实现从人类示范中学习结构化任务表示，并支持跨实体迁移和双臂操作规划。
Comments 9 pages, 7 figures, preprint
当意义旅行：混合专家模型在语言模型习语理解中的细粒度作用
机构 * Department of Computer Science and Engineering, Indian Institute of Technology Patna, India（印度理工学院帕纳瓦分校计算机科学与工程系） ； School of Information Technology, King Mongkut’s Institute of Technology Ladkrabang, Thailand（泰国拉差班国王理工大学信息科技学院）
专题命中 GUI与屏幕智能体 ：vision language model(abstract)
AI总结 针对低资源东南亚语言中习语的文化隐喻复杂性，提出Varnika多模态习语语料库和混合专家模型HybridMoE，通过控制混合和掩码多模态嵌入缓解专家稀疏性，实现习语理解性能提升5-6%。
RoboStressBench: 在具身场景中基准测试VLM对物理视觉压力的鲁棒性
机构 * HKUST(GZ)（香港科技大学(广州)）
专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 本文提出RoboStressBench，从逆图形学角度将视觉压力分解为材质、视角、光照和几何四个物理维度，系统评估VLM在真实物理压力下的鲁棒性，并引入压力感知求解器提升高压力场景下的性能。
视觉噪声引导的上下文蒸馏用于多模态大语言模型遗忘
机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, UCAS（北京大学交叉学科研究院）
专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出视觉噪声引导的上下文蒸馏（VGID）框架，通过双模态干预构建教师分布进行蒸馏，实现多模态大语言模型参数级遗忘，平衡遗忘效果与模型效用。
RadAgent：一种用于胸部CT逐步解读的工具型AI智能体
机构 * Department of Biosystems Science and Engineering, ETH Zurich（生物系统科学与工程系，苏黎世联邦理工学院） ； ETH AI Center, Zurich（ETH人工智能中心，苏黎世） ； Department of Computer Science, ETH Zurich（计算机科学系，苏黎世联邦理工学院） ； Faculty of Computer Science and Mathematics, Heidelberg University（计算机科学与数学学院，海德堡大学） ； Stanford Center for Artificial Intelligence in Medicine and Imaging, Stanford University（斯坦福大学人工智能在医学和影像中的中心） ； Department of Radiology, Stanford University（放射科，斯坦福大学） ； Department of Quantitative Biomedicine, University of Zurich（定量生物医学系，苏黎世大学） ； Institute of Computer Science, Zurich University of Applied Sciences（应用科学大学计算机科学研究所）
专题命中 幻觉与鲁棒性 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI
AI总结 提出RadAgent，一种通过逐步、可解释过程生成CT报告的工具型AI智能体，在临床准确性、鲁棒性和忠实度上优于3D VLM方法。
视觉说服：什么影响了视觉语言模型的决策？
机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT Media Lab（MIT媒体实验室）
专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出一个框架，通过控制图像选择任务并系统性地扰动输入，利用视觉提示优化方法推断视觉语言模型的潜在视觉效用，揭示影响模型决策的视觉偏好。
Comments Accepted to ICML 2026
使用多片段视频破解多模态大语言模型
机构 * Department of Applied Artificial Intelligence, Sungkyunkwan University（应用人工智能系，成均馆大学） ； Department of Human-Artificial Intelligence Interaction, Sungkyunkwan University（人机交互系，成均馆大学）
专题命中 幻觉与鲁棒性 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出MCV SafetyBench数据集，通过多片段视频评估多模态大语言模型的安全漏洞，发现视频模态比图像更脆弱，动态和多样化上下文增加攻击成功率，并基于图像模态的鲁棒性提出防御策略。
Comments 27 pages, 20 figures, Accepted to the Main Conference of ACL 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈