AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
口袋牙医：通过高效多模态大语言模型实现设备端牙科图像理解
机构 * The University of Auckland, New Zealand（奥克兰大学） ； Shandong University, China（山东大学） ； The University of Melbourne, Australia（墨尔本大学）
专题命中 视觉问答 ：multimodal large language model(title)；VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出Pocket-Dentist基准，通过评估14种视觉语言模型发现紧凑模型（2B参数）在牙科图像理解中精度更高且计算成本更低，并在iPhone 17 Pro上实现低延迟部署。
迷失于体积：CT-SpatialVQA基准用于评估3D医学视觉-语言模型的语义-空间理解
机构 * Mohamed Bin Zayed University of Artificial Intelligence（莫扎德人工智能大学） ； New York University Abu Dhabi（纽约大学阿布扎克分校）
专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV
AI总结 本文提出CT-SpatialVQA基准，评估3D医学视觉-语言模型对3DCT数据的语义-空间理解能力，发现现有模型在语义-空间推理任务中表现不佳，需更深入整合体积证据以确保临床可靠性。
GeoVista: 用于超高清遥感理解的视觉引导主动感知
机构 * College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院）
专题命中 视觉问答 ：vision-language model(abstract)；分类 cs.CV
AI总结 GeoVista提出一种基于规划的主动感知框架，通过构建全局探索计划和分支式局部检查，实现超高清遥感图像的高效解读，提升全局上下文理解与证据聚合效率。
KBQA-R1：强化大语言模型用于知识库问答
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视觉问答 ：grounding(abstract)
AI总结 提出KBQA-R1框架，通过强化学习（GRPO）将知识库问答建模为多轮决策过程，并引入参考拒绝采样（RRS）解决冷启动问题，在多个基准上取得最优性能。
Comments ICML 2026
CREG: 用于表征VLM空间推理归因中方向性结构的指南针关系证据图
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Columbia University（哥伦比亚大学）
专题命中 视觉推理 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出CREG框架，将令牌级归因转换为以参考为中心的指南针分布并测量方向对齐，揭示当前归因方法的方向性结构有限且常与图像布局混合，任务准确率提升不保证方向归因改善。
VDAWorld: 通过VLM导向的抽象与模拟进行世界建模
机构 * University of Cambridge（剑桥大学）
专题命中 视觉推理 ：VLM(title,title_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出VDAWorld框架，利用视觉语言模型自主构建场景表示并选择物理模拟器，通过抽象与自适应模拟实现高质量世界建模，在交互控制、反事实生成和物理逻辑推理任务上取得最优结果。
Comments Website: https://felixomahony.github.io/vdaworld/
CodePercept: 基于代码的MLLM视觉STEM感知
机构 * MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University（人工智能大模型重点实验室，人工智能学院，计算机科学学院，上海交通大学） ； Qwen Team（通义实验室） ； Beijing Institute of Technology（北京理工大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学）
专题命中 视觉推理 ：MLLM(title_cn,abstract_cn)；visual reasoning(abstract)；分类 cs.CV
AI总结 本文发现多模态大模型在STEM视觉推理中感知能力是瓶颈，提出通过代码作为感知媒介，构建ICC-1M数据集和STEM2Code-Eval基准来增强和评估感知能力。
Comments Accepted by CVPR2026
缓解多图像理解中大型视觉语言模型的跨图像信息泄露
机构 * Sogang University（ソガン大学） ； Princeton University（普林斯顿大学） ； NAVER AI Lab（NAVER AI实验室）
专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI
AI总结 针对大型视觉语言模型在多图像输入时性能下降的问题，提出无需训练且架构无关的FOCUS方法，通过随机噪声掩码和噪声参考输入抑制跨图像信息泄露，显著提升多图像和视频理解性能。
Comments Source code is available at https://github.com/yejipark-m/FOCUS
PhyGDPO: 物理感知的分组直接偏好优化以实现物理一致的文本到视频生成
机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； Meta BizAI（Meta商业人工智能）
专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 提出PhyAugPipe构建大规模物理增强数据集PhyVidGen-135K，并设计PhyGDPO框架，利用分组Plackett-Luce模型和物理引导奖励机制，实现物理一致的文本到视频生成。
Comments ECCV 2026
MMOU：面向长且复杂真实世界视频的大规模多任务全模态理解与推理基准
机构 * NVIDIA, USA（NVIDIA美国分公司） ； University of Maryland, College Park, USA（马里兰大学帕克分校）
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 提出MMOU基准，包含2万个人工标注问题与11877个长视频，覆盖13项技能，评估多模态大模型在长视频中的全模态理解与推理能力，最佳闭源模型仅64.2%准确率，开源模型46.8%。
Comments Project Page: https://huggingface.co/datasets/nvidia/MMOU
模仿人类认知，掌握多图像推理：增强视觉理解的元动作框架
机构 * East China Normal University（华东师范大学） ； ByteDance（字节跳动）
专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV
AI总结 提出受人类认知启发的元动作框架CINEMA，将多图像推理分解为五个结构化元动作，结合检索树采样和两阶段强化学习，在多个基准上超越GPT-4o。
Comments Accepted by CVPR 2026
基于VLM的医学图像分布外检测的Wasserstein对齐定位
机构 * Department of Computing, Imperial College London, UK（伦敦帝国理工学院计算机系） ； Technical University Munich, DE（慕尼黑技术大学） ； Munich Center for Machine Learning (MCML), DE（慕尼黑机器学习中心（MCML））
专题命中 视觉定位与Grounding ：VLM(title,title_cn)；vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV
AI总结 提出WALDO框架，利用最优传输理论通过熵加权切片Wasserstein距离、Goldilocks区域采样和自一致性聚合实现零样本异常定位，在NOVA脑MRI基准上mAP@30达43.5%，相对提升19%。
Comments submitted to MICCAI 2026
面向一对多时间定位
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV、cs.AI
AI总结 针对一对多时间定位（OMTG）任务，提出包含基准、数据集和奖励函数的系统解决方案，显著提升多段视频定位性能。
Comments Accepted to ICML'26
Intent-Handover：在人类使用区域中接地语言以实现可信的机器人到人交接
机构 * DANiLab, University of Leicester（莱斯特大学DANiLab） ； University of Leicester（莱斯特大学） ； School of Computing and Mathematical Sciences, University of Leicester（莱斯特大学计算与数学科学学院） ； School of Metallurgy and Materials, University of Birmingham（伯明翰大学冶金与材料学院）
专题命中 视觉定位与Grounding ：grounding(title)；vision-language model(abstract)；分类 cs.LG
AI总结 提出Intent-Handover方法，通过视觉语言模型识别目标物体和人类使用区域，结合抓取优化和人体姿态跟踪，实现安全、可信的机器人到人物体交接。
Comments Accepted at the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)
超越声学前缀：基于序列化声学记忆的持久接地用于基于LLM的多说话人语音识别
机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
专题命中 视觉定位与Grounding ：grounding(title,abstract)
AI总结 针对LLM在多说话人ASR中性能下降的问题，提出持久接地于序列化声学记忆的方法，通过解纠缠说话人表征和门控残差交叉注意力，显著提升三说话人混合场景的识别效果。
SIMSplat: 面向驾驶场景生成的语言对齐4D高斯泼溅
机构 * Purdue University（普渡大学） ； University of California, Berkeley（加州大学伯克利分校） ； Toyota InfoTech Labs（丰田信息科技实验室）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出SIMSplat，一种基于场景图的4D高斯泼溅框架，通过嵌入语言对齐特征实现自由文本查询、对象级编辑和多智能体仿真，在驾驶场景生成中显著提升定位精度和任务完成率。
奖励科学过程：面向代理数据分析的过程级奖励建模
机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出DataPRM，一种环境感知的生成过程奖励模型，通过主动验证和反思意识的三元奖励策略，提升动态数据分析任务中代理的性能，实验表明其在多个基准测试中表现优异。
Comments KDD 2026
EgoExo-Con: 探索视角不变视频时间理解
机构 * Seoul National University（首尔国立大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出EgoExo-Con基准测试，评估视频大模型在不同视角下的时间理解一致性，并设计View-GRPO强化学习框架提升跨视角一致性。
Comments Accepted to ECCV 2026; project page at https://minjoong507.github.io/projects/EgoExo-Con/
DynProto: 动态原型进化用于分布外检测
机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； University of Nottingham Malaysia（诺丁汉马来西亚大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Key Laboratory of Machine Intelligence and Advanced Computing（智能与先进计算关键实验室）
专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV
AI总结 DynProto通过动态学习分布内信息生成原型，提升分布外检测性能，减少FPR95并提升AUROC。
Comments Under review
从大型语言模型中元学习生态先验解释人类学习与决策
机构 * Institute for Human-Centered AI, Helmholtz Computational Health Center（以人为本的人工智能研究所，海德堡计算健康中心） ； Computational Principles of Intelligence, Max Planck Institute for Biological Cybernetics（计算智能原理，马克斯·普朗克生物 cybernetics 研究院） ； Eberhard Karls University of Tübingen（图宾根大学） ； Princeton AI Lab, Princeton University（普林斯顿大学人工智能实验室）
专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI
AI总结 提出生态理性分析框架，利用大语言模型生成生态有效任务，通过元学习得到ERMI算法，该算法内化自然问题空间的统计规律，灵活适应新情境，在15个实验中优于多个认知模型，表明人类认知可能反映对日常问题生态结构的适应性对齐。
LatentCRS：一种用于桥接基于LLM的对话推荐中语义与行为的变分EM框架
机构 * Nanjing University（南京大学）
专题命中 视觉定位与Grounding ：grounding(abstract)
AI总结 提出LatentCRS框架，通过变分EM过程桥接LLM的语义空间与用户行为模式，解决对话推荐中语义理解与推荐精度不匹配的问题，实验表明其有效提升推荐性能。
Real5-OmniDocBench：面向野外鲁棒文档解析的全尺度物理重建基准
机构 * PaddlePaddle Team, Baidu Inc.（百度公司PaddlePaddle团队） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
专题命中 文档图表理解 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV
AI总结 提出首个对OmniDocBench v1.5进行全尺度一对一物理重建的基准Real5-OmniDocBench，覆盖扫描、弯曲、屏幕摄影、光照和倾斜五种真实场景，通过完整真值映射实现性能退化的因子级归因，揭示文档解析中的“现实鸿沟”。
静止的注意力保持静止：打破视觉惯性以缓解认知幻觉
机构 * Tsinghua University（清华大学）
专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出惯性感知视觉激发（IVE）方法，通过建模视觉注意力的动态响应性，打破多模态大模型中的视觉惯性，从而缓解需要对象间关系推理的认知幻觉。
Design-MLLM：一种用于可验证且美观的室内设计的强化对齐框架
机构 * National Jiangsu University of Finance（江苏财经大学） ； University of Lorraine（洛林大学） ； Institute of Electronics and Information Technology, Chinese Academy of Sciences（中国科学院电子信息技术研究所） ； Tsinghua University（清华大学）
专题命中 VLM训练与架构 ：MLLM(title,title_cn)；multimodal large language model(abstract)；分类 cs.LG
AI总结 提出Design-MLLM框架，通过双分支美学导向奖励的强化对齐，解决室内设计中空间可行性硬约束与美学偏好软约束的矛盾，生成既可行又美观的设计。
稀疏神经元消融引发大型视觉-语言模型中语言核心的灾难性崩溃
机构 * École Polytechnique Fédérale de Lausanne (EPFL)（瑞士洛桑联邦理工学院） ； Idiap Research Institute（日内瓦研究所）
专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；vision-language model(title,abstract)；分类 cs.AI
AI总结 提出渐进式神经元消融方法CAN，发现消融极少量（如LLaVA-1.5-7b中仅4个）位于语言模型下投影层的神经元即可导致LVLM灾难性崩溃，揭示功能依赖语言骨干中的稀疏神经元子集。
Comments Accepted to ICML 2026 Mechanistic Interpretability Workshop
LUQ: 多模态大语言模型的逐层超低位量化
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； HP Inc.（惠普公司）
专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；multimodal large language model(title)；分类 cs.CV、cs.AI、cs.LG
AI总结 提出LUQ方法，通过逐层输出激活熵衡量功能复杂度，对简单层应用超低位量化，结合多模态校准，在LLaVA-1.5和Qwen-2.5-VL上实现低于4-bit量化，内存减少40%和31%，MME性能下降<10%。
Comments Published in Transactions on Machine Learning Research (2026)
现代视频大语言模型需要听觉吗？基准审计与可扩展补救措施
机构 * NAVER Cloud AI（NAVER云AI） ； KAIST AI（韩国国立庆北大学AI）
专题命中 VLM训练与架构 ：LLaVA(summary_cn,abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.CV
AI总结 通过审计10个视频基准发现多数任务仅凭视觉即可解决，音频未被充分利用；提出在LLaVA-OneVision上附加语音/音频编码器，采用25倍令牌压缩，实验证明音频在需要语音理解或跨模态对齐的任务上带来显著提升。
Comments Accepted to Interspeech 2026
基于离散扩散的多模态大语言模型中视觉标记冗余的综合研究
机构 * CCDS, NTU, Singapore（南洋理工大学新加坡分校） ； CCST, ZJUT, China（浙江工业大学中国分校） ； Terminus AI Lab, UCAS, China（中国科学院大学人工智能实验室）
专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；分类 cs.CV
AI总结 本研究系统分析了离散扩散多模态大语言模型中视觉标记冗余的演化规律，发现其仅出现在从头训练的模型处理长答案任务时，并验证了视觉标记剪枝会导致信息损失，而层跳过和渐进剪枝分别适用于不同架构的加速。
Comments Accepted by CVPR 2026
Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings, 2026, pp. 2823-2833
多主体图像生成的层次化概念到外观引导
机构 * Peking University（北京大学） ； Hong Kong University of Science and Technology（香港科学与技术大学）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；visual language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出层次化概念到外观引导框架(CAG)，通过VAE dropout训练和对应感知掩码注意力模块，实现多主体图像生成中身份一致性和精确组合控制。
看到场景才重要：通过场景感知的长视频基准揭示视频理解模型中的遗忘现象
机构 * CUHK (SZ)（香港中文大学（深圳）） ； University of Cambridge（剑桥大学） ； UESTC（电子科技大学） ； CUHK（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV
AI总结 本文提出SceneBench基准，揭示视频理解模型在长场景上下文中的遗忘问题，并提出Scene-RAG方法提升性能2.50%。
Comments Accepted to CVPR 2026 (Highlight)
Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈