AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
EchoPrune: 将冗余视为时间回声以实现高效的视频大语言模型
机构 * KU Leuven（鲁文大学） ； Shanghai Jiaotong University（上海交通大学） ； Weill Cornell Medicine（韦尔医学院）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出EchoPrune方法，通过将冗余视频token视为时间回声，提升视频大语言模型在固定token预算下的时间分辨率，实验表明其在六个视频理解基准上使模型处理20倍帧数，性能提升8.6%且推理速度提升5.6倍。
Comments 9 pages
Auto-Rubric as Reward：从隐含偏好到显式多模态生成标准
机构 * Nanyang Technological University（南洋理工大学） ； Ant Group（蚂蚁集团） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； UIUC（伊利诺伊大学香槟分校）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.AI
AI总结 本文提出Auto-Rubric as Reward框架，通过显式标准分解替代隐含权重优化，提升多模态生成模型对人类偏好的对齐效果，实验证明显式标准能更可靠地实现数据高效对齐。
Comments 28 pages, 10 figures, 11 tables
PPLLaVA：通过提示引导的视频序列理解
机构 * Peng Cheng Laboratory（鹏城实验室） ； Peking University（北京大学） ； XPeng Inc.（小鹏汽车有限公司） ； Ministry of Industry and Information Technology of the People’s Republic of China, China Electronics Standardization Institute, Beijing, China（中华人民共和国工业和信息化部，中国电子标准化研究院，北京，中国）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV
AI总结 PPLLaVA通过提示引导的池化策略实现视频序列高效理解，减少18倍token，提升推理效率并在多种视频理解任务中取得最佳性能。
Comments Accepted to ICLR' 26
GaMMA：迈向大规模多模态模型中的联合全局-时间音乐理解
机构 * Fudan University（复旦大学）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.AI
AI总结 GaMMA通过融合音频编码器和跨模态学习，实现音乐内容的全面理解，并在MusicBench基准测试中取得新高准确率。
面向语音保留的面部表情操控的个性化跨模态情感相关学习
机构 * Guangdong University of Technology（广东工业大学） ； South China University of Technology（华南理工大学） ； Peking University（北京大学） ； Sun Yat-Sen University（中山大学）
专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出PCMECL算法，通过个性化提示和特征差分提升跨模态对齐，解决面部表情操控中情感操控的监督问题。
对齐的多视图脚本用于通用图表到代码生成
机构 * School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算机与信息学院）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.AI
AI总结 本文提出Chart2NCode数据集和CharLuMA模型，通过多语言监督提升图表到代码生成的可执行性和视觉一致性，优于开源基线并具备竞争力。
Comments Accepted to ACL 2026 Main Conference
SMoES：在MoE-VLMs中的软模态引导专家专业化
机构 * Li Auto Inc.（李自动公司）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 本文提出SMoES，通过动态软模态评分、专家分组机制和互信息正则化，提升MoE-VLMs的模态感知专家专业化，实验显示在多模态和语言任务上平均提升0.9%和4.2%，通信开销降低56.1%，吞吐量提升12.3%。
Comments CVPR 2026
VeRVE：通过统一嵌入实现视频的多功能检索
机构 * Georgia Institute of Technology（佐治亚理工学院） ； Amazon（亚马逊） ； Keystone AI
专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出VeRVE框架，结合语义和时刻级检索能力，支持复杂多模态查询，通过对比对齐视觉和文本嵌入实现高效检索，优于其他多模态大语言模型方法。
裁剪不安全的票据：一种资源高效的更安全且更稳健的大语言模型框架
机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全中心）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.LG
AI总结 本文提出一种资源高效的剪枝框架，通过识别并移除与不安全行为相关的参数，减少不安全生成并提高对抗鲁棒性，同时保持模型性能。
面向设计合成
机构 * Carnegie Mellon University（卡内基梅隆大学） ； IIT Kharagpur（印度理工学院哈里科特） ； IIT Kanpur（印度理工学院坎普尔） ； Adobe Research（Adobe研究）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV
AI总结 本文提出GIST，一种无需训练的身份保持图像合成器，用于提升组件到设计流程中的视觉和谐与美学质量。
Comments Accepted to CVEU workshop at CVPR 2026
CWCD：用于结构化医学报告生成的类别级对比解码
机构 * The Department of Computer Science and Engineering（计算机科学与工程系） ； University at Buffalo, The State University of New York, NY, USA（布法罗大学，纽约州立大学）
专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.AI
AI总结 本文提出CWCD框架，通过类别特定参数化和对比正常与遮蔽X光片生成结构化放射报告，提升临床效果和生成质量。
Comments Accepted to MIDL 2026 (Oral)
THOM：从文本生成物理合理的手-物体网格
机构 * UNIST（蔚山科学技术院） ； University of Birmingham（伯明翰大学） ； POSTECH（浦项科技大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 THOM通过两阶段流程从文本生成物理合理的手-物体网格，无需模板网格，结合物理优化和视觉语言模型提升交互合理性。
Comments accepted to CVPR Findings 2026
通过他们的眼睛：基于注视点的个性化用户模拟调谐
机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 本文提出FixATE方法，通过将视觉语言模型的视觉注意力与用户特定的注视模式对齐，提升推荐系统模拟的准确性，实验表明这种对齐能有效提高点击预测性能。
MONETA：通过地理信息和多智能体系统进行多模态行业分类
机构 * Trustworthy Human Language Technologies（可信人类语言技术实验室） ； Technical University of Darmstadt, Germany（德国达姆施塔特工业大学） ； Deutsche Bundesbank（德国联邦银行） ； Frankfurt University of Applied Sciences, Germany（德国法兰克福应用技术大学） ； Research Center for Trustworthy Data Science and Security, Ruhr University Bochum, Germany（德国波鸿鲁尔大学可信数据科学与安全研究中心）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI
AI总结 本文提出MONETA，首个基于文本和地理空间数据的多模态行业分类基准，利用多智能体系统提升分类精度，实现62.10%和74.10%的分类性能。
Comments Accepted to ACL 2026 Main Conference
T-Gated Adapter：一种轻量级时间适配器用于视觉-语言医学分割
机构 * Independent Researcher（独立研究员）
专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 本文提出T-Gated Adapter，通过注入相邻切片上下文提升医学图像分割的连续性，实验表明在FLARE22、BTCV和AMOS22数据集上均取得显著提升，且在跨模态任务中表现优于传统3D模型。
Comments Accepted at the PHAROS-AIF-MIH Workshop at CVPR 2026
HAWK：多模态模型中的头部重要性感知视觉标记修剪
机构 * University of Science and Technology of China（中国科学技术大学） ； ChangXin Memory Technologies, Inc（长鑫存储技术有限公司） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV
AI总结 HAWK通过识别不同注意力头在视觉任务中的重要性，有效保留关键视觉标记，提升多模态模型的推理效率与性能。
Comments CVPR 2026
基于视觉引导的前端代码生成迭代精修
机构 * School of Mathematics, University of Bristol, UK（英国布里斯托大学数学学院） ； Amazon AGI（亚马逊AGI）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI
AI总结 本文提出一种全自动的批评者循环框架，利用视觉语言模型提供结构化反馈以指导代码生成的迭代优化，实验证明其在前端开发中能显著提升代码质量。
Comments Accepted at ICLR 2026 Workshop on AI with Recursive Self-Improvement
基于重要性与多样性的视觉令牌选择：用于高效大视觉-语言模型推理
机构 * Xiamen University（厦门大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV
AI总结 本文提出ID-Selection方法，结合重要性估计与多样性意识迭代选择，有效平衡令牌重要性与多样性，在极端剪枝比下实现高效推理与性能保持。
MIMIC：多模态逆向用于模型解释与概念化
机构 * University of Twente（特温特大学）
专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 本文提出MIMIC框架，通过逆向处理多模态模型内部编码，提升模型可解释性与概念化能力，采用联合逆向与特征对齐目标，结合三种正则化器提升空间对齐、图像平滑与语义真实度。
Comments Accepted at CVPRw 2026 - How Do Vision Models Work? (HOW) Workshop, Project page: https://anaekin.github.io/MIMIC
ClickAIXR: 基于设备的多模态视觉-语言交互与现实世界对象在扩展现实中的交互
机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 ClickAIXR通过设备端视觉-语言模型与基于控制器的对象选择方法，实现对现实世界对象的精确点击交互，提升隐私和延迟方面的可信度。
VLMs在天空与空间之间迷失了吗？LinkS$^2$Bench用于无人机-卫星动态跨视角空间智能
机构 * Xidian University（西安电子科技大学） ； Qinghai Normal University（青海师范大学） ； Sun Yat-sen University（中山大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 本文提出LinkS$^2$Bench，首个评估VLMs跨视角空间智能的综合基准，通过动态无人机视频与高分辨率卫星图像构建17.9k高质量问题-答案对，揭示VLMs在动态跨视角对齐中的性能瓶颈，并提出跨视角对齐适配器提升模型表现。
Lumos: 让语言模型系统认证成为可能
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Indian Institute of Technology Delhi（印度理工学院德里分校）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI
AI总结 Lumos提出首个系统化框架，通过概率编程DSL实现语言模型系统行为的正式认证，支持复杂关系和时间规格，揭示了先进视觉语言模型在自动驾驶场景中的安全风险。
ReDiPrune：基于相关性与多样性的预投影令牌剪枝用于高效的多模态大语言模型
机构 * University at Albany, SUNY（纽约州立大学奥尔巴尼分校） ； Peking University（北京大学）
专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV
AI总结 ReDiPrune是一种无需训练的预投影令牌剪枝方法，通过选择信息丰富的视觉令牌提升多模态大语言模型的效率与准确性。
面向政策适应的图像防护：基准与方法
机构 * Fudan University（复旦大学） ； Tencent（腾讯） ； Peking University（北京大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 本文提出SafeGuard-VL方法，通过强化学习与可验证奖励提升图像防护的政策适应能力，并通过SafeEditBench基准测试验证其有效性。
$AutoDrive\text{-}P^3$：通过强化微调实现感知-预测-规划统一链式推理
机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 本文提出$AutoDrive\text{-}P^3$框架，通过结构化推理整合感知、预测和规划，引入$P^3\text{-}CoT$数据集和$P^3\text{-}GRPO$算法，实现端到端自动驾驶的高效决策与安全规划。
Comments Accepted at ICLR 2026 (International Conference on Learning Representations)
具有记忆增强的视觉-语言代理用于持久且语义一致的对象描述
机构 * Italian Institute of Technology, Genoa, Italy（意大利理工学院，热那亚，意大利） ； University of Genoa, Genoa, Italy（热那亚大学，热那亚，意大利）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 本文提出一种统一的记忆增强视觉-语言代理，通过单一自回归框架同时处理数据关联、对象描述和探索策略，提升持久且语义一致的对象描述能力。
Comments 24 pages, 7 figures, 7 tables (including Supplementary Materials)
PAVAS：物理感知的视频到音频合成
机构 * POSTECH（浦项科技大学） ； Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团公司） ； KAIST（韩国科学技术院）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 PAVAS通过引入物理推理，结合物理参数估计器和物理驱动音频适配器，生成符合物理规律的音频，优于现有视频到音频生成模型。
ParaUni: 通过强化驱动的分层并行信息交互增强统一多模态模型的生成
机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学，教育部类脑智能感知与认知重点实验室） ； Huawei Inc.（华为技术有限公司）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 ParaUni通过并行提取多层视觉语言模型特征并结合强化学习动态调整机制，提升统一多模态模型的生成能力。
FusionAgent：一种具有动态模型选择的多模态代理用于人体识别
机构 * Michigan State University（密歇根州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV
AI总结 FusionAgent通过动态模型选择提升人体识别鲁棒性，利用多模态大语言模型进行样本特定的模型选择，结合ACT分数融合方法，实验表明其在效率和性能上优于现有方法。
Comments CVPR 2026
ViHOI：基于视觉先验的人-物交互合成
机构 * South China University of Technology（华南理工大学）
专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV
AI总结 ViHOI通过从2D图像中提取丰富的交互先验，利用扩散模型提升生成质量，实现人-物交互的高质量合成。
Comments Accepted to CVPR 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈