AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
关键帧指南针：迈向对关键帧条件视频生成的全面评估
专题命中 视觉定位与Grounding ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 研究关键帧条件视频生成，提出关键帧指南针综合基准及自动评估框架，将关键帧执行分解为六个指标评估，通过实验揭示当前模型在关键帧执行与自然视频合成间存在权衡等局限性。
Comments 35 pages
SceneBind：跨视觉、音频和语言绑定“什么”与“哪里”
机构 * University of Washington（华盛顿大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Hankuk University of Foreign Studies（韩国外国语大学）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 研究提出SceneBind全模态场景表示，结合全局语义与对象中心语义空间插槽解决空间结构缺失问题，还提出匹配方案。通过构建新数据集及训练协议进行训练评估，兼容预训练编码器，实现先进检索并能零样本转移到下游任务。
Comments Project website: https://scenebind.github.io/
多域检索的认证域一致性：具有共形风险保证的无标签逐域污染控制
机构 * Electric Power Research Institute (EPRI)（电力研究协会）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 针对多域检索中错误域证据及污染控制问题，提出C3R控制层。基于风险控制预测集构建双分割方案，认证污染预算。通过实验验证其稳定性及有效性，能减少错误权威基础，且与冻结堆栈和重排器无关。
Comments Submitted to ACM TOI
AdaTurn：用于主动视觉感知智能体的预算感知测试时缩放
机构 * University of Rochester（罗切斯特大学） ； Univeristy of Michigan（密歇根大学）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV
AI总结 研究主动视觉感知智能体在不同预算下的任务执行问题，提出AdaTurn框架，通过强制答案DAPO等组件，根据预算调整智能体行为，提高低预算准确率，且能有效转移到多基准测试中。
NeuroGRIP：用于基于知识的脑电图癫痫诊断的检索增强图细化
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG
AI总结 研究针对脑电图癫痫诊断难题，提出NeuroGRIP框架，结合外部医学知识校准脑电图图。通过构建知识库、利用大语言模型提取知识图，经对齐感知查询和相似性搜索检索关系证据，提升诊断准确性与可解释性，为临床诊断提供新框架。
人工智能智能体并非独自失败：上下文首先失败
机构 * The University of Chicago（芝加哥大学）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI
AI总结 研究人工智能智能体可靠性，通过ProofAgent-Harness评估上下文七个标准，验证上下文工程质量是智能体可靠性的领先指标，经受控研究表明上下文质量标准可预测行为结果，确立其为预检信号及可审计层。
Comments 24 pages, 1 figure
ShopX：面向智能购物中意图到商品实现的基础模型
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI
AI总结 提出ShopX基础模型，通过统一意图理解、执行规划和基于语义ID的商品空间操作，解决大语言模型代理在购物中意图到商品实现的瓶颈，在淘宝生产日志任务上优于工具中介系统。
Comments The new version adds additional results and details
MedBeads：面向可信医疗AI的智能体原生不可变数据基底
机构 * Diagnostic Imaging and Interventional Radiology, Institute of Medicine, University of Tsukuba（东京大学医学研究院诊断影像与介入放射学部） ； Center for Cyber Medicine Research, University of Tsukuba（东京大学计算机医学研究中心）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI
AI总结 针对医疗AI中电子病历与智能体间的上下文不匹配问题，提出基于Merkle有向无环图的不可变数据架构MedBeads，通过确定性图遍历替代概率检索，实现可审计、防篡改的临床上下文提供。
Comments 23 pages, 5 figures, 3 tables. Reference implementation and reproducible Docker demo available at https://github.com/medbeads/medbeads
从零步洞察终点：通过MLP稀疏感知截断加速扩散多模态大语言模型
机构 * Zhejiang University（浙江大学）
专题命中 文档图表理解 ：multimodal large language model(abstract)；分类 cs.AI
AI总结 研究针对扩散多模态大语言模型推理效率受固定长度生成约束影响的问题，提出Seer框架，利用MLP激活稀疏性变化检测有效语义边界，进行冗余截断及采用混合执行策略，实验表明其可加速吞吐量并维持性能甚至提升复杂视觉任务准确性。
Comments Accepted to ACM Multimedia (ACM MM) 2026
SoftNav：将3D场景令牌注入视觉语言模型以进行具身导航
机构 * Zhejiang University（浙江大学） ； Shandong University（山东大学）
专题命中 GUI与屏幕智能体 ：VLM(summary_cn,abstract)；vision-language model(abstract)
AI总结 研究针对具身导航中3D场景理解与导航推理协同问题，提出SoftNav方法，通过轻量级投影仪将3D连续表示作为软令牌注入VLM隐藏空间，在HM3D-OVON上超越先前方法，且能零样本转移到其他场景，弥合表征差距实现可转移导航。
Comments 8 pages, 6 figures. Accepted to IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026
动作QFormer：视觉-语言-动作模型中动作监督下的结构化表示塑造
机构 * Shanghai Qizhi Institute（上海期智研究院） ； The Chinese University of Hong Kong（香港中文大学） ； Hong Kong Embodied AI Lab（香港具身人工智能实验室） ； Tsinghua University（清华大学） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 研究视觉-语言-动作模型中动作监督问题，提出动作QFormer，通过基于指令的查询重组多模态信息。在零样本模拟到真实导航中提升了任务成功率、动作生成正确性等，还改变动作监督塑造多模态表示的方式，为提高VLA性能提供新思路。
生长-剪枝-冻结网络：用于嗅觉导航的自适应与持续学习技术
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 提出生长-剪枝-冻结（GPF）网络框架，通过动态调整策略网络层数实现持续学习，在湍流羽流导航任务中达到94%成功率，并推广到其他机器学习任务。
Comments Accepted as poster to the Reinforcement Learning in Big Worlds Workshop at the 2026 Reinforcement Learning Conference
触觉：赋予使用计算机的智能体双手和双脚
机构 * Shanghai Jiao Tong University（上海交通大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI
AI总结 研究针对计算机使用智能体操作层脆弱的问题，提出开源工具Tactile，将异构UI证据转换为基于动作的接口状态，通过特定循环操作。在相关任务中能提升Codex Success@100，证明可靠计算机使用需更强模型及可重用执行基础。
DiMaS：用于引导视觉-语言-动作模型的分布匹配
机构 * ISIR, Sorbonne Université（法国国家信息与自动化研究所，索邦大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.LG
AI总结 研究针对基于流匹配的视觉-语言-动作模型细粒度行为控制不足的问题，提出DiMaS分布匹配引导策略，能有效控制行为，研究其泛化性并分析原因，推动了视觉运动设置下的分布匹配设计。
MAG：用于多模态动作与引导生成的网络智能体基准测试与工具包
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Monash University（莫纳什大学） ； Pusan National University（釜山国立大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI
AI总结 介绍MAG这一网络智能体基准测试，统一任务执行与引导写作，有基于截图的定位方案和完整工具包。用其评估模型并详细分析，还设计GRPO训练方法，提升智能体成功率与引导质量，指出当前模型任务完成率低，为后续研究提供方向。
Comments 8 pages main text, 21 pages total including appendices; 11 figures, 7 tables, 2 algorithms. Benchmark, harness, and model checkpoints to be released
用于可泛化机器人控制的原生视频动作预训练
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV
AI总结 研究针对机器人控制中视频动作模型应用于物理环境的不足，提出LingBot-VA 2.0，通过语义视觉动作分词器等四个核心设计原则构建基础模型，经真实世界部署验证其在复杂操作任务中的少样本泛化能力。
CosFly-VLA：一种用于无人机跟踪的空间感知视觉-语言-动作模型
机构 * Autel Robotics（大疆创新科技有限公司） ； Northeast Normal University（东北师范大学） ； Southern University of Science and Technology（南方科技大学） ； Peking University（北京大学） ； University of Hong Kong（香港大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)
AI总结 针对复杂城市环境中无人机动态目标跟踪问题，提出CosFly-VLA模型，通过结构化预测接口联合定位目标、估计可见性并生成飞行动作。经多阶段训练，该模型在开环误差和闭环成功率上有显著提升，实现从可见帧模仿到空间基础动作闭环控制的进展。
SafeRelBench：用于VLM驱动的具身智能体过程级安全的空间关系感知基准测试
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，字节跳动公司）
专题命中 幻觉与鲁棒性 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.AI
AI总结 研究VLM驱动具身智能体的过程级安全问题，引入SAFERELBENCH基准测试，含507个样本。评估七个智能体发现任务成功与安全合规有差距，该基准明确测试行动前安全条件，凸显空间关系在安全评估中的核心地位。
Comments Preprint. 10 pages, 6 figures, 4 tables
TSHA：用于可信安全危害评估场景的视觉语言模型基准
机构 * City University of Hong Kong（香港城市大学） ； East China Normal University（华东师范大学） ； University of Western Australia（西澳大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Development Center of Computer Software Technology（上海计算机软件技术开发中心） ； Zhejiang Gongshang University（浙江工商大学）
专题命中 幻觉与鲁棒性 ：visual language model(title)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出TSHA基准，通过81809个精心挑选的训练样本和1707个挑战性测试样本，评估视觉语言模型在复杂家庭安全场景中的鲁棒性和泛化能力，发现现有模型在安全危害评估中存在显著不足。
通过动态多轮交互对视觉语言模型进行情境化评估
机构 * UC San Diego（加州大学圣地亚哥分校） ； Northeastern University（东北大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Johns Hopkins University（约翰·霍普金斯大学）
专题命中 幻觉与鲁棒性 ：vision language model(title)；分类 cs.AI
AI总结 研究多模态大语言模型现实有效性问题，提出CEDI框架，通过三方交互、多轮半结构化对话及多种策略评估，应用于视觉幻觉，发现能揭示更多接近实际情况的幻觉，凸显其对MLLMs能力评估的作用。
一眼识你：从面部推断表面人格
机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； Institute of Information Engineering, CAS（中国科学院信息工程研究所） ； School of Cyber Security, UCAS（中国科学院大学网络空间安全学院） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, CAS（中国科学院香港创新研究院人工智能与机器人中心） ； School of Computer Science and Engineering, the Faculty of Innovation Engineering, M.U.S.T（澳门科技大学创新工程学院计算机科学与工程系）
专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 研究从面部图像推断表面人格，提出GlanceFace框架，利用视觉语言模型、语义增强模块及不确定性感知学习策略，在基于MBTI的基准测试中表现出色，揭示面部特征与人格特质关系，助力具身智能体交互策略。
Comments Accepted by The 9th Chinese Conference on Pattern Recognition and Computer Vision, PRCV2026
基于多级智能数据管理的自动硬示例合成
机构 * UCLA（加州大学洛杉矶分校） ； Google（谷歌）
专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI
AI总结 研究多模态大语言模型在内容安全审核任务中易受攻击的问题，提出自动智能红队框架，利用多智能体架构合成对抗示例，无需人工干预，提高模型鲁棒性，降低公共图像安全基准中的误报率。
Comments 23 pages; work in progress
当模型遗忘遇上检索增强生成（RAG）：保守秘密还是遗忘知识？
机构 * School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院） ； Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)
AI总结 研究大语言模型训练中敏感信息保留问题，提出基于检索增强生成（RAG）技术的轻量级行为遗忘框架，通过修改外部知识库模拟遗忘，经实验验证该方法符合五个关键遗忘标准，还可扩展到多模态模型和智能体。
Comments This paper is accepted by IEEE Transactions on Dependable and Secure Computing 2025. The source code is available at \url{https://github.com/shihe98/RAG_Unlearning}
CARPRT：用于黑盒视觉语言模型的类感知零样本提示重加权
机构 * University of Melbourne（墨尔本大学） ； Southeast University（东南大学） ； RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心） ； The University of Tokyo（东京大学）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV、cs.LG
AI总结 研究针对预训练视觉语言模型零样本图像分类中提示与类独立性假设不成立的问题，提出类感知零样本提示重加权方法CARPRT，通过无训练方式量化提示与类的相关性并调整权重，实验表明该方法优于现有方法。
Comments Accepted at ICLR 2026
MultiRef-Compass：迈向多参考到音频-视频生成的综合评估
专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；分类 cs.CV
AI总结 研究针对多参考到音频-视频生成设置，引入MultiRef-Compass基准。通过可扩展管道构建350个样本，定义含四个维度14个子指标的评估协议，集成自动指标与MLLM评判框架，实验表明该基准对MR2AV研究有重要意义。
Comments 32 pages
用于视觉语言模型的U形多粒度学习
机构 * University of Electronic Science and Technology of China（电子科技大学） ； Hithink Research（恒生电子股份有限公司）
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 研究视觉语言模型提示学习的粒度困境，提出U形多粒度提示学习框架UPrompt，通过构建并行多粒度表示及粗细粒度交互增强与监督，在多个基准实验中验证了其有效性和优势。
TokenSwap：对大型视觉语言模型组合理解的后门攻击
机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； School of Electrical Engineering and Computer Science, University of Queensland, Australia（昆士兰大学电气工程与计算机科学学院） ； Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学设计学院） ； Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR), Singapore（前沿人工智能研究中心（CFAR）） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore（高性能计算研究所（IHPC））
专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 研究针对大型视觉语言模型的后门攻击，提出TokenSwap方法，通过注入视觉触发器和交换文本答案中关键令牌语法角色，并采用自适应加权损失，在多基准和不同架构上实现高成功率且隐蔽性强的后门攻击。
InfoFlow KV：面向长上下文的信息流感知KV重计算
机构 * New York University（纽约大学） ； Duke University（杜克大学）
专题命中 VLM训练与架构 ：VLM(summary_cn)；vision-language model(abstract)；分类 cs.LG
AI总结 提出将选择性KV重计算建模为信息流问题，利用查询的注意力范数信号识别语义相关且结构上能传播信息的token，并引入信息流引导的块重排序策略，在LLM和VLM基准上优于现有方法。
Comments In proceedings of the 43rd International Conference on Machine Learning (ICML 2026). Project page: https://infoflow-kv.github.io
ARMOR++：用于对深度伪造检测器进行可转移攻击的多域原语集的智能编排
机构 * Department of Informatics, Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学信息学系） ； Infocomm Technology Cluster, Singapore Institute of Technology（新加坡科技学院信息通信技术集群） ； Department of Applied Physics and Applied Mathematics, Columbia University（哥伦比亚大学应用物理与应用数学系） ； Division of Natural and Applied Sciences, Duke Kunshan University（昆山杜克大学自然科学与应用科学部） ； Department of Electrical and Computer Engineering, University of Toronto（多伦多大学电气与计算机工程系）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 研究针对深度伪造检测器在黑盒对抗转移下可靠性下降问题，提出ARMOR++多智能体框架，利用视觉与语言模型提供语义先验并编排原语选择等，整合多种原语有效针对异构偏差，实验表明其性能优于现有基线，凸显当前检测器可靠性差距及智能编排的有效性。
Lavida-O：用于统一多模态理解与生成的弹性大掩码扩散模型
机构 * Adobe（Adobe公司） ； UCLA（加州大学洛杉矶分校）
专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV
AI总结 研究提出Lavida-O统一多模态MDM，采用Elastic-MoT架构，结合轻量级生成与理解分支，通过多种技术支持高效生成。该模型在多模态任务基准测试中性能领先，优于现有模型，还能加速推理，成为可扩展多模态推理和生成新范式。
Comments 31 pages, 15 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈