AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
超越医学诊断：医学多模态大语言模型如何在空间中思考
专题命中 视觉问答 ：multimodal large language model(title,abstract)；分类 cs.CV
AI总结 本文提出SpatialMed基准，通过自主合成空间视觉问答数据评估医学MLLMs的3D空间智能，发现现有模型在医学影像空间推理能力不足。
ME-IQA: 通过重新排序增强的记忆图像质量评估
机构 * City University of Hong Kong（香港城市大学） ； ByteDance Inc.（字节跳动公司）
专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.CV
AI总结 ME-IQA通过构建记忆库和利用推理摘要检索语义和感知对齐的邻居，将VLM重构为概率比较器，并通过门控反思和记忆巩固提升未来决策，从而实现更密集的失真敏感预测，缓解离散崩溃问题。
Comments Published as a conference paper at ECCV 2026
LaViDa：用于多模态理解的大型扩散语言模型
机构 * UCLA（加州大学洛杉矶分校） ； Panasonic AI Research（松下人工智能研究） ； Adobe Research（Adobe研究） ； Salesforce Research（Salesforce研究）
专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；LLaVA(abstract)；visual reasoning(abstract)
AI总结 研究针对现有视觉语言模型在快速推理和可控生成方面的不足，提出基于离散扩散模型构建 LaViDa 系列视觉语言模型，采用多种新技术，在多模态基准测试中性能出色，成为自回归视觉语言模型的有力替代。
Comments 26 pages, 8 figures
ArogyaSutra：面向印度语言的多模态医学推理的多智能体框架
机构 * Indian Institute of Technology Patna（印度理工学院巴特那分校） ； Indian Institute of Technology Kanpur（印度理工学院坎普尔分校） ； Prasannadeb Women’s College（普拉萨纳德布女子学院）
专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI
AI总结 针对印度语言医疗场景中多模态大语言模型性能不足的问题，提出多模态医学问答数据集ArogyaBodha和基于演员-评论家的多智能体框架ArogyaSutra，通过工具接地与双记忆机制提升多语言医学推理准确性。
Comments Accepted for publication in IJCAI,2026
超越思维链：重写作为生成式多模态嵌入的通用接口
机构 * WeChat Vision, Tencent Inc.（腾讯微信视觉部） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 针对思维链推理在检索中产生冗余和语义歧义的问题，提出重写驱动的多模态嵌入框架RIME，联合优化生成与嵌入，并通过跨模态对齐和精炼强化学习实现高效准确的检索。
Comments Accepted by ACMMM 2026
通过片段选择的自适应时间序列推理
机构 * harvard（哈佛大学） ； mit（麻省理工学院） ； mitll（MIT林肯实验室） ； hongkong（香港科学与技术大学）
专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.LG
AI总结 提出ARTIST框架，将时间序列推理建模为序列决策问题，通过控制器-推理器架构和强化学习自适应选择信息片段，提升推理准确率。
Comments ICML 2026
RePlan：基于推理的复杂基于指令的图像编辑区域规划
机构 * Tencent AI Lab（腾讯人工智能实验室） ； CUHK（香港中文大学） ； HKUST（香港科技大学）
专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV
AI总结 研究针对复杂指令图像编辑中现有模型在IV-复杂性下的不足，提出RePlan框架，结合视觉语言规划器与扩散编辑器，经强化学习提升性能，还推出IV-Edit基准，该框架在相关设置中优于强大基线，提高了区域精度和整体一致性。
Comments [ECCV2026] Precise multi-region control and planning for instruction-based image editing. Our project page: https://replan-iv-edit.github.io
模型可以建模，但无法绑定：文本到优化中的结构化 grounding
机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； United States Military Academy（美国军事学院）
专题命中 视觉定位与Grounding ：grounding(title,title_cn)；分类 cs.LG
AI总结 本文研究了文本到优化任务中建模与绑定两个关键能力的分离性，发现随着实例数据增长，模型准确性下降，提出BIND方法通过结构化文件外部化数据来提升绑定性能，验证了绑定专精模型在不同优化类别中的优势。
Comments Accepted to COLM 2026. Code and data: https://github.com/SprocketLab/Text2Opt-Bench
PanoAffordanceNet：迈向360°室内环境中的整体 affordance 地标
机构 * School of Artificial Intelligence and Robotics, Hunan University, China（湖南大学人工智能与机器人学院）
专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV
AI总结 PanoAffordanceNet通过DASM和OSDH解决360°室内环境中的整体affordance地标问题，整合多级约束抑制语义漂移，构建360-AGD数据集，提升具身智能的场景感知能力。
Comments Accepted to IEEE/RSJ IROS 2026. The source code and benchmark dataset will be made publicly available at https://github.com/GL-ZHU925/PanoAffordanceNet
通过概念引导实现鲁棒的上下文分割
机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室）
专题命中 视觉定位与Grounding ：MLLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出概念引导的上下文分割（CG-ICS），通过提取参考图像的高层语义概念而非仅依赖低层视觉匹配，结合文本概念与视觉示例，显著提升分割准确性和鲁棒性。
Comments ECCV 2026
ShopX：面向智能购物中意图到商品实现的基础模型
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI
AI总结 提出ShopX基础模型，通过统一意图理解、执行规划和基于语义ID的商品空间操作，解决大语言模型代理在购物中意图到商品实现的瓶颈，在淘宝生产日志任务上优于工具中介系统。
Comments The new version adds additional results and details
MedBeads：面向可信医疗AI的智能体原生不可变数据基底
机构 * Diagnostic Imaging and Interventional Radiology, Institute of Medicine, University of Tsukuba（东京大学医学研究院诊断影像与介入放射学部） ； Center for Cyber Medicine Research, University of Tsukuba（东京大学计算机医学研究中心）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI
AI总结 针对医疗AI中电子病历与智能体间的上下文不匹配问题，提出基于Merkle有向无环图的不可变数据架构MedBeads，通过确定性图遍历替代概率检索，实现可审计、防篡改的临床上下文提供。
Comments 23 pages, 5 figures, 3 tables. Reference implementation and reproducible Docker demo available at https://github.com/medbeads/medbeads
生长-剪枝-冻结网络：用于嗅觉导航的自适应与持续学习技术
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 提出生长-剪枝-冻结（GPF）网络框架，通过动态调整策略网络层数实现持续学习，在湍流羽流导航任务中达到94%成功率，并推广到其他机器学习任务。
Comments Accepted as poster to the Reinforcement Learning in Big Worlds Workshop at the 2026 Reinforcement Learning Conference
MAG：用于多模态动作与引导生成的网络智能体基准测试与工具包
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Monash University（莫纳什大学） ； Pusan National University（釜山国立大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI
AI总结 介绍MAG这一网络智能体基准测试，统一任务执行与引导写作，有基于截图的定位方案和完整工具包。用其评估模型并详细分析，还设计GRPO训练方法，提升智能体成功率与引导质量，指出当前模型任务完成率低，为后续研究提供方向。
Comments 8 pages main text, 21 pages total including appendices; 11 figures, 7 tables, 2 algorithms. Benchmark, harness, and model checkpoints to be released
用于可泛化机器人控制的原生视频动作预训练
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV
AI总结 研究针对机器人控制中视频动作模型应用于物理环境的不足，提出LingBot-VA 2.0，通过语义视觉动作分词器等四个核心设计原则构建基础模型，经真实世界部署验证其在复杂操作任务中的少样本泛化能力。
TSHA：用于可信安全危害评估场景的视觉语言模型基准
机构 * City University of Hong Kong（香港城市大学） ； East China Normal University（华东师范大学） ； University of Western Australia（西澳大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Development Center of Computer Software Technology（上海计算机软件技术开发中心） ； Zhejiang Gongshang University（浙江工商大学）
专题命中 幻觉与鲁棒性 ：visual language model(title)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出TSHA基准，通过81809个精心挑选的训练样本和1707个挑战性测试样本，评估视觉语言模型在复杂家庭安全场景中的鲁棒性和泛化能力，发现现有模型在安全危害评估中存在显著不足。
当模型遗忘遇上检索增强生成（RAG）：保守秘密还是遗忘知识？
机构 * School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院） ； Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)
AI总结 研究大语言模型训练中敏感信息保留问题，提出基于检索增强生成（RAG）技术的轻量级行为遗忘框架，通过修改外部知识库模拟遗忘，经实验验证该方法符合五个关键遗忘标准，还可扩展到多模态模型和智能体。
Comments This paper is accepted by IEEE Transactions on Dependable and Secure Computing 2025. The source code is available at \url{https://github.com/shihe98/RAG_Unlearning}
TokenSwap：对大型视觉语言模型组合理解的后门攻击
机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； School of Electrical Engineering and Computer Science, University of Queensland, Australia（昆士兰大学电气工程与计算机科学学院） ； Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学设计学院） ； Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR), Singapore（前沿人工智能研究中心（CFAR）） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore（高性能计算研究所（IHPC））
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 研究针对大型视觉语言模型的后门攻击，提出TokenSwap方法，通过注入视觉触发器和交换文本答案中关键令牌语法角色，并采用自适应加权损失，在多基准和不同架构上实现高成功率且隐蔽性强的后门攻击。
InfoFlow KV：面向长上下文的信息流感知KV重计算
机构 * New York University（纽约大学） ； Duke University（杜克大学）
专题命中 VLM训练与架构 ：VLM(summary_cn)；vision-language model(abstract)；分类 cs.LG
AI总结 提出将选择性KV重计算建模为信息流问题，利用查询的注意力范数信号识别语义相关且结构上能传播信息的token，并引入信息流引导的块重排序策略，在LLM和VLM基准上优于现有方法。
Comments In proceedings of the 43rd International Conference on Machine Learning (ICML 2026). Project page: https://infoflow-kv.github.io
Lavida-O：用于统一多模态理解与生成的弹性大掩码扩散模型
机构 * Adobe（Adobe公司） ； UCLA（加州大学洛杉矶分校）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV
AI总结 研究提出Lavida-O统一多模态MDM，采用Elastic-MoT架构，结合轻量级生成与理解分支，通过多种技术支持高效生成。该模型在多模态任务基准测试中性能领先，优于现有模型，还能加速推理，成为可扩展多模态推理和生成新范式。
Comments 31 pages, 15 figures
VistaVLA：用于机器人操作的几何和语义感知3D高斯基础VLA
机构 * EmPACT Lab, Nanyang Technological University（南洋理工大学EmPACT实验室） ； Institute for Infocomm Research (I2R), A*STAR（资讯通信研究院（I2R），新加坡科技研究局）
专题命中 VLM训练与架构 ：grounding(abstract)
AI总结 研究针对VLA模型缺乏3D表示的问题，提出VistaVLA框架，通过3D高斯原语构建几何和语义感知的3D认知表示，利用MtQ机制压缩令牌，在模拟和真实环境评估中有效提升VLA性能，尤其在真实场景中显著提高成功率。
几何在发挥作用吗？对双曲视觉-语言模型层次性的工作点审计
机构 * MADI
专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV、cs.LG
AI总结 本研究针对双曲视觉-语言模型是否利用其几何特性的问题，提出多组诊断指标审计三类主流模型，发现其实际未激活双曲径向/锥机制，层次性表现与几何特性无关。
Comments 48 pages, 5 figures, Under review at TMLR
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈