AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
COHERENCE：在交错多模态上下文中细粒度图像-文本对齐的基准测试
机构 * Southeast University Shanghai AI Laboratory（上海大学上海人工智能实验室） ； Shanghai AI Laboratory（上海人工智能实验室）
专题命中 图文多模态 ：multimodal(title,abstract)；image-text(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI
AI总结 COHERENCE旨在评估MLLM在交错多模态上下文中恢复细粒度图像-文本对应关系的能力，涵盖四个领域，包含6161个高质量问题，并进行六类错误分析以识别当前MLLM的不足。
SMA：用于数据高效多模态学习的子模ularity模态对齐器
机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校）
专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；image-text(abstract)；multimodal foundation model(abstract)
AI总结 本文提出SMA，通过子模ularity目标提升多模态对齐效率，利用集合形式学习更丰富的跨模态结构，在低数据场景下实现显著性能提升。
视觉-语言模型的终身学习：增强的EWC与跨模态知识保留
机构 * Sejong University, Computer Science Engineering（世宗大学，计算机科学工程） ； Technische Universität Ilmenau, Computer Engineering（伊门瑙技术大学，计算机工程）
专题命中 图文多模态 ：cross-modal(title,abstract)；multi-modal(abstract)
AI总结 本文提出一种结合增强EWC与参数高效微调的框架，有效减少视觉-语言模型在连续学习中的遗忘，通过多模态Fisher信息矩阵计算和跨模态一致性保留，实现78%的遗忘率降低，并在动态环境中提升多模态AI系统的适应能力。
Comments 8 pages, 5 figures, 1 table. Applications in autonomous driving, intelligent robotic assistants, and adaptive robotics systems
图片胜过千言吗？基于视觉证据必要性的自适应多模态事实核查
机构 * School of AI Convergence, Soongsil University（顺斯利大学人工智能融合学院） ； MAUM AI Inc.（MAUM人工智能公司） ； Department of Intelligent Semiconductors, Soongsil University（顺斯利大学智能半导体系）
专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 本文挑战了多模态证据普遍提升性能的假设，提出AMuFC框架，通过分析和验证器模型自适应使用视觉证据，提升事实核查准确性。
Comments preprint, 18 pages
对图像与长描述中的森林和树木进行对齐以实现视觉基础理解
机构 * Agency for Defense Development（国防发展局） ； University of Michigan（密歇根大学） ； POSTECH
专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出CAFT模型，通过分层视觉语言学习原理，解决长描述中细节丰富的场景理解问题，实现图像与文本的细粒度对齐，取得六个长文本检索基准的最优性能。
Comments Preprint
为高能物理中的中微子事件分类适应视觉-语言模型
机构 * Department of Computer Science, University of California, Irvine, CA, USA（计算机科学系，加州大学欧文分校，加州，美国） ； Department of Physics, University of California, Irvine, CA, USA（物理系，加州大学欧文分校，加州，美国）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文探讨了将微调后的LLaMA 3.2应用于中微子事件分类，对比了Transformer架构与CNN在准确性和鲁棒性上的表现，展示了视觉-语言模型在物理事件分类中的潜力。
Comments Accepted for publication in Communications Physics (Nature Portfolio)
DistractMIA: 通过语义干扰在视觉语言模型上进行黑盒成员推断
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学）
专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI
AI总结 针对部署的视觉语言模型成员推断难题，提出DistractMIA框架，通过语义干扰技术在仅观察生成文本响应的情况下，有效区分成员与非成员样本，优于现有基线方法。
Comments 23 pages, 8 figures
解锁基于CLIP的类增量学习中的补丁级特征
机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； State Key Laboratory for Novel Software Technology, Nanjing University（南京大学软件新技术国家重点实验室）
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 本文提出SPA方法，通过利用CLIP的补丁级语义信息提升类增量学习性能，通过生成类级语义描述引导补丁特征选择，并利用最优传输对齐语义特征，有效缓解灾难性遗忘。
通过超越128K上下文的泛化有效训练长上下文视觉-语言模型
机构 * CSE Department, HKUST（香港科技大学计算机科学与工程系）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 本文研究了长上下文视觉-语言模型的持续预训练，通过平衡数据和检索优化，提出MMProLong模型在长文档VQA等任务中表现优异，且能扩展至更长上下文和多任务场景。
Comments work in progress
DeCo-DETR：解耦认知DETR用于高效的开放词汇目标检测
机构 * Jiangsu University（江苏大学） ； Brown University（布朗大学） ； Nanyang Technological University（南洋理工大学） ； MBZUAI ； University of New South Wales（新南威尔士大学） ； USC ； University of Toronto（多伦多大学） ； Data61 CSIRO
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 DeCo-DETR通过统一解耦范式解决开放词汇目标检测中的计算开销与训练目标冲突问题，构建层次化语义原型空间并解耦语义推理与定位，提升推理效率。
Comments Accepted at ICLR 2026
视觉语言模型中物体幻觉的双路径电路
机构 * UIUC（伊利诺伊大学香槟分校） ； UMich（密歇根大学） ； Stanford（斯坦福大学） ； HKUST（香港科技大学） ； PKU（北京大学） ； NUS（新加坡国立大学） ； Marquette（马quette大学） ； Southampton（南安普顿大学）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究通过双路径电路分析框架揭示视觉语言模型中物体幻觉的机制，发现视觉接地路径与幻觉路径的交互特性，并通过抑制幻觉路径组件降低幻觉发生率。
CRAFT：面向医学图像合成的临床对齐微调
机构 * Department of Computer Science, Tulane University（路易斯安那大学计算机科学系） ； School of Medicine, Tulane University（路易斯安那大学医学院）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出CRAFT框架，通过临床对齐评分和奖励优化提升医学图像生成质量，减少幻觉生成，提升分类性能。
VIP：基于视觉引导的提示进化用于高效的密集视觉-语言推理
机构 * Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院计算技术研究所） ； University of Liverpool（利物浦大学）
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 本文提出VIP方法，通过视觉引导的提示进化提升密集视觉-语言推理的效率与质量，实现更准确的细粒度物体感知。
Comments Accepted by ICML2026. Code is available at https://github.com/MiSsU-HH/VIP
20/20 Vision Language Models: 通过数据整理单独提升VLMs的方案
机构 * DatologyAI
专题命中 图文多模态 ：image-text(abstract)
AI总结 本文通过数据整理提升VLMs性能，展示在20个公开基准和DatBench九个能力轴上均取得显著提升，同时提升可靠性、OOD泛化和推理效率。
Comments 33 pages, 15 figures. DatalogyAI website for more details: https://www.datologyai.com/
TB-AVA：文本作为语义桥梁用于音频-视觉参数高效微调
机构 * AI2 Lab, KAIST（AI2实验室，韩国科学技术院）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 本文提出利用文本作为语义桥梁，通过冻结音频和视觉编码器构建参数高效微调框架，实现音频与视觉流的文本介导交互，实验表明其在多个基准上取得最佳性能。
Comments 12 pages, 6 figures
基于大语言模型的多模态反馈在学习效果和学生感知上与教师反馈相当且更优
机构 * Carnegie Mellon University（卡内基梅隆大学） ； The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； The University of Hong Kong（香港大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 本文提出一种实时AI辅助的多模态反馈系统，通过整合结构化文本解释与动态多媒体资源，实现学习效果与学生感知的提升，证明AI反馈在清晰度、具体性等方面优于传统教师反馈。
Comments 11 pages, to be published at the 16th International Learning Analytics & Knowledge Conference (LAK '26)
紧凑的潜在流形翻译：一种参数高效的基础模型用于跨模态和跨频率生理信号合成
机构 * Department of Biomedical Signals and Systems（生物医学信号与系统系） ； University of Twente（埃因霍温理工大学）
专题命中 视频多模态 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.AI
AI总结 本文提出CLMT模型，通过双阶段离散翻译范式解决生理信号跨模态和跨频率合成问题，显著提升临床检测精度和超分辨率性能。
通过语义对齐的离散表示实现跨模态领域泛化
机构 * Peter L. Reichertz Institute for Medical Informatics（汉诺威医学院彼得·L·里赫茨医学信息学研究所） ； Lower Saxony Center for AI and Causal Methods in Medicine (CAIMed)（下萨克森医学人工智能与因果方法中心（CAIMed））
专题命中 视频多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 本文提出CoDAAR框架，通过语义对齐解决跨模态泛化与模态特异性之间的平衡问题，结合离散时间对齐和语义对齐机制，在统一离散空间中实现通用跨模态表示。
Comments Added missing affiliation for co-author R. Younis and Z. Ahmadi
学习你需要看到的东西：多模态大语言模型的注视注意力
机构 * NAVER AI Lab（NAVER AI实验室）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文提出Gaze Attention机制，使多模态大语言模型在生成过程中选择性关注任务相关的视觉区域，减少冗余计算并提升聚焦效果，实验表明其在图像和视频理解任务中性能优于密集注意力基线。
探索多模态大语言模型用于边缘端在线事件记忆问答
机构 * Department of Mathematics and Computer Science, University of Catania, Italy（数学与计算机科学系，卡塔尼亚大学，意大利）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文研究多模态大语言模型在边缘端实时在线事件记忆问答中的可行性，通过双线程架构实现视频转文本记忆与问答推理，实验显示边缘端方案在隐私保护方面具有竞争力。
基于多模态图的食管动力障碍分类
机构 * Technical University of Munich, School of Medicine and Health, TUM University Hospital Rechts der Isar（慕尼黑技术大学医学院与健康学院，TUM医院Rechts der Isar分院） ； Technical University of Munich, School of Computation, Information and Technology（慕尼黑技术大学计算、信息与技术学院）
专题命中 视频多模态 ：multimodal(title,abstract)
AI总结 本文提出结合高分辨率阻抗测压仪数据与患者信息的多模态图分类方法，通过图神经网络学习生理意义的表示，提升食管动力障碍分类的准确性。
GraphThinker: 通过事件图思维强化时间感知的视频推理
机构 * Queen Mary University of London（伦敦玛丽女王大学） ； Samsung AI Centre Cambridge（剑桥三星人工智能中心） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学）
专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV
AI总结 本文提出GraphThinker，通过构建结构化事件表示并强化视觉 grounding，减少视频推理中的时间幻觉。在RexTime和VidHalluc数据集上取得显著提升。
Comments Under review
多模态世界模型用于物理机器人交互：同时进行视觉和触觉预测以提高准确性
机构 * University of Lincoln（林肯大学） ； University of Sheffield（谢菲尔德大学）
专题命中 视频多模态 ：multi-modal(title)；分类 cs.CV、cs.AI
AI总结 本文提出多模态世界模型，通过整合视觉和触觉信息提升机器人物理交互的预测精度，特别是在物理模糊场景中表现更优。
Comments This paper is accepted for publication in Robotics and Autonomous Systems
ReTool-Video：具有元增强工具定位的递归工具使用视频代理
机构 * Chongqing University（重庆大学） ； Tianjin University（天津大学） ； MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院MAIS） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore（新加坡科技研究局高性能计算研究所） ； Chongqing National Data AI Research Institute, AI Research Lab（重庆国家数据AI研究院，AI研究实验室）
专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出ReTool-Video，通过构建元增强视频工具库和递归工具使用方法，提升视频理解的稳定性和效果，实验表明其在多个基准测试中优于现有方法。
VideoSEAL: 通过解耦答案权威性来缓解代理长视频理解中的证据错位
机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡）
专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 本文提出VideoSEAL框架，通过解耦规划与答案权威性，解决长视频理解中证据错位问题，提升回答准确性和证据对齐度，实验结果显示在多个基准上表现优异。
Comments Accepted to ICML 2026. 33 pages, 13 figures. Code and models are available at https://github.com/Echochef/VideoSEAL
StreamGaze：流媒体视频中的目光引导时间推理与前瞻性理解
机构 * University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校） ； Adobe Research（Adobe研究院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 StreamGaze通过引入目光引导的任务评估多模态大语言模型在流媒体视频中的时间推理和前瞻性理解能力，揭示了现有模型在目光引导下的时间推理、意图建模和前瞻性预测方面的局限性。
Comments Accepted to CVPR 2026 with strong scores (5/5/5) but desk-rejected after the camera-ready due to not completing all reviewing duties
宽视角闭合：多模态大语言模型中的表征-行动鸿沟
机构 * Nanyang Technological University（南洋理工大学） ； LMMs-Lab Team（多模态大模型实验室团队） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 研究发现多模态大语言模型在感知与行动之间存在鸿沟，通过IMAVB基准测试揭示模型在处理冲突信息时的不足，提出PGLA方法提升拒绝行为。
STAR：语义-时间自适应表示学习用于少样本动作识别
机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Engineering Research Center of Key Software Technologies for Smart City Perception and Planning, Ministry of Education（教育部智能城市感知与规划关键软件技术工程研究中心）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 STAR通过语义对齐和时间感知模块，解决少样本动作识别中的语义-时间对齐和多尺度时间动态建模问题，提升模型在有限样本下的泛化能力。
Comments Accepted for publication in IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)
视频异常检测是否被错误地框架化？来自基于大语言模型和多场景模型的证据
机构 * University of South Florida（佛罗里达州立大学） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV
AI总结 本文探讨视频异常检测是否应关注单场景、空间感知和可解释性，以捕捉环境中的正常结构，而非依赖多场景模型。
统一自主栈：迈向通用机器人自主性的蓝图
机构 * Autonomous Robots Lab（自主机器人实验室）
专题命中 视频多模态 ：multi-modal(abstract)
AI总结 本文提出统一自主栈，通过多模态感知、多行为规划和多层安全导航模块实现通用机器人自主性，经实地测试验证其在复杂环境中的鲁棒性。
Comments 35 pages, 22 figures, 8 tables
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈