AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
使用多模态语言模型检测社交媒体上的AI生成内容
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Meta
专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL
AI总结 针对AI生成内容检测的泛化性差、单模态依赖和缺乏可解释性问题，提出基于多模态数据的紧凑视觉-语言模型，实现检测与解释，在公开基准和内部数据集上达到最优性能。
问题真的重要吗？视觉-语言SFT的无训练数据选择
机构 * Nanjing University（南京大学） ； Institute of Information Engineering（信息工程研究所） ； North University of China（中国北方大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 提出CVS方法，利用冻结的视觉-语言大模型评估问题对答案有效性的影响，无需训练即可筛选出需要跨模态推理的高质量样本，在多个数据集上以少量数据超越全量训练。
重新路由，而非移除：面向视觉语言模型的可恢复视觉令牌路由
机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； National Taiwan University（国立台湾大学）
专题命中 图文多模态 ：MLLM(abstract,comments)；分类 cs.CV、cs.AI
AI总结 针对视觉语言模型中视觉令牌重要性随解码器深度变化的问题，提出无需训练的可恢复路由方法Reroute，将不可逆移除改为可恢复路由，在激进令牌缩减下提升定位能力并保持通用VQA性能。
Comments Code: https://github.com/elmma/mllm-reroute/
面向自动驾驶危险检测的视觉-语言模型任务对齐稳定性分析
机构 * Everett Richards（埃弗里特·里奇ards）
专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI
AI总结 研究视觉-语言模型在自动驾驶危险检测中，嵌入漂移与任务对齐危险分数变化的关系，发现不同腐败类型导致不同的失效模式，建议基准测试包含任务对齐稳定性指标。
Comments 8 pages (5 main body + 3 references / appendices). ICML 2026 Workshop on Combining Theory and Benchmarks (CTB)
建模复杂行为：视觉语言模型中的多人格组合与动态切换
机构 * Xi'an Jiaotong University（西安交通大学） ； Beihang University（北京航空航天大学）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 本研究在视觉语言模型中引入显式人格条件，建立包括单人格、多人格和人格切换的系统评估框架，发现人格提示可提升图像描述但损害精确推理任务，并观察到多特质组合与动态切换中的平衡与残留效应。
Comments 16 pages, 4 figures, 10 tables
将视觉-语言模型从标志性适应到包容性：用于无标签的多标签识别
机构 * State Key Laboratory of Virtual Reality Technology and Systems, SCSE & QRI, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机学院与青岛研究院）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出无监督框架，通过“切割”和“缝合”两阶段适应VLMs，实现无标签的多标签图像识别，在四个数据集上超越现有无监督方法。
跨域音视频欺骗检测基准测试
机构 * Rapid-Rich Object Search (ROSE) Lab and the College of Computing and Data Science, Nanyang Technological University (NTU)（快速丰富对象搜索（ROSE）实验室和南洋理工大学计算与数据科学学院） ； School of Computing and Information Technology and Dongguan Key Laboratory for Intelligence and Information Technology, Great Bay University（计算与信息科技学院和东莞智能与信息技术重点实验室，大湾大学） ； DSO National Laboratories（国防科学实验室） ； College of Computing and Data Science, Nanyang Technological University (NTU)（计算与数据科学学院，南洋理工大学） ； SMBU, Shenzhen 518172, China（深圳SMBU，越南河内VinUniversity，和新加坡NTU） ； VinUniversity, Hanoi 100000, Vietnam ； and NTU, Singapore
专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.MM、eess.AS
AI总结 提出首个跨域音视频欺骗检测基准，评估不同场景下的泛化能力，并设计MM-IDGM算法和Attention-Mixer融合方法提升性能。
Comments 17 pages
面向音视频广义零样本学习的层次化标准化嵌入对齐
机构 * Southeast University（东南大学） ； The University of Hong Kong（香港大学） ； Beijing Institute of Technology（北京理工大学） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education（新一代人工智能技术及其跨学科应用重点实验室（东南大学），教育部） ； School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV
AI总结 提出AHSE方法，通过Z-score标准化和层次化对齐策略（语义、类别、批次三级）解决音视频与文本模态间的分布与结构差异，在三个基准数据集上取得竞争性能。
口语对话中的上下文感知多模态声明验证
机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Sheffield（谢菲尔德大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL
AI总结 提出MAD2基准和上下文感知多模态融合方法，验证对话音频中的声明，发现对话结构比虚假信息框架对验证更重要。
跨模态一致性引导用于自动回归TTS模型中的鲁棒情绪控制
机构 * Alibaba-NTU Global e-Sustainability CorpLab（阿里-国立大学全球可持续发展公司实验室） ； Nanyang Technological University（南洋理工大学） ； College of Computing and Data Science（计算与数据科学学院） ； Alibaba（阿里） ； Alibaba Inc.（阿里公司）
专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.CL
AI总结 本文提出了一种基于文本情绪与显式语音情绪不一致程度的动态尺度的跨模态一致性引导分类器免费引导方法（CCG-CFG），通过使用文本情绪替代dropout条件，并采用硬样本挖掘策略蒸馏CCG-CFG引导信号，从而提升TTS模型的情绪对齐能力。在五个情感语料库和两个TTS基准测试中，该方法在CosyVoice2上实现了情绪识别准确率提升12%，主观评分提升10%，优于基线模型HierSpeech++、Qwen3-TTS和原始CosyVoice2，同时保持可懂性、自然度和高质量。
Comments Accepted to Interspeech 2026, short paper
我理解你的感受：通过对话系统中的多语言情感验证增强深层情感支持
机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL
AI总结 提出情感验证在对话系统中的应用，构建多语言语料库M-EDESConv和测试集M-TESC，设计多语言情感感知门控单元MEGUMI进行时机检测，并评估当前LLM在情感验证响应生成中的表现。
Comments This paper has been accepted for presentation at SIGdial Meeting on Discourse and Dialogue 2026 (SIGDIAL 2026)
后门藏身何处？语音语言模型中后门传播的组件级分析
机构 * University of British Columbia（不列颠哥伦比亚大学） ； École de technologie supérieure（高等技术学院） ； Johns Hopkins University（约翰霍普金斯大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL
AI总结 本文通过后门攻击视角，对语音语言模型进行组件级分析，揭示后门在不同组件中的传播机制，发现后门持久性高度依赖目标组件，且中毒样本与良性样本在共享嵌入中不可直接分离。
Comments Interspeech 2026 (long paper)
碳纤维铺层的人机协同操作
机构 * Automation Technology and Mechanical Engineering, Tampere University（坦佩雷大学自动化技术与机械工程系）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 针对柔性材料自动化处理困难的问题，本文提出结合语音指令、视觉腕部跟踪和力/柔顺控制的多模态方法，实现碳纤维铺层的高效人机协同操作。
Comments Accepted to the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026)
物理驱动声化改善经皮心外膜入路中的多感官针引导
专题命中 音频语音多模态 ：audio-visual(abstract)
AI总结 针对透视下跳动心脏的经皮心外膜入路中针尖定位难题，提出基于物理驱动声化的扩展现实多感官导航方法，通过4D CTA动态心脏解剖重建与实时针追踪，结合多层物理膜模型听觉编码，显著提升导航安全性、准确性和降低认知负荷。
Comments This work has been submitted to the IEEE for possible publication
Journal ref in IEEE Access, vol. 14, pp. 80371-80385, 2026
推理，再推理：跨视角重访提升空间推理
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频多模态 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 提出ReRe框架，通过生成互补新视角视频让MLLM先推理再验证，无需训练即可显著提升空间推理性能。
Comments ICML 2026
CoVEBench: 视频编辑模型能处理复杂指令吗？
机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技）
专题命中 视频多模态 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 提出CoVEBench基准，包含416个源视频和626条多点编辑指令，通过MLLM评估指令遵循度和保真度，揭示当前模型在组合编辑中常遗漏编辑或破坏保留约束。
Comments 34 pages, 11 figures, 9 tables
ProcessThinker: 通过基于展开的过程奖励增强多模态大语言模型推理
机构 * LMU Munich（慕尼黑大学） ； Harvard University（哈佛大学） ； University of Cambridge（剑桥大学） ； Mina AI ； Konrad Zuse School of Excellence in Reliable AI (relAI)（康拉德·楚泽可靠人工智能卓越学校（relAI））
专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 提出ProcessThinker，一种无需显式过程奖励模型的后训练方法，通过步骤标记格式和基于展开的过程奖励，为多步推理提供密集的步骤级奖励，提升多模态推理一致性。
Comments Accepted at ICLR 2026 Workshop on Logical Reasoning of Large Language Models. 7 pages, 1 figure
InternVideo3: 用多模态上下文推理代理化基础模型
机构 * Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出InternVideo3框架，通过多模态上下文推理（MCR）和高效KV缓存压缩方法M^2LA，增强长视频理解与迭代交互能力，在多个基准上取得强性能。
解码多模态线索：揭示仇恨视频背后的隐含意义
机构 * Dalian University of Technology（大连理工大学） ； Tencent（腾讯） ； City University of Hong Kong（香港城市大学） ； Singapore University of Technology and Design（新加坡科技设计大学）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL
AI总结 提出IARE框架，通过信息增强和推理优化实现可解释的仇恨视频检测，在Ex-HateMM和Ex-ImpliHateVid数据集上达到最优性能。
从对应到动作：多模态大语言模型中类人多图像空间推理
机构 * University of Tokyo（东京大学）
专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV
AI总结 提出HATCH框架，通过补丁级空间对齐和动作-答案推理两个目标，提升多模态大模型在多图像空间推理中的性能，在三个基准上超越同规模基线。
Comments ICML 2026
DAM-VLA: 解耦异步多模态视觉语言动作模型
机构 * Intuitive Robots Lab, Karlsruhe Institute of Technology (KIT)（直觉机器人实验室，卡尔斯鲁厄理工学院） ； NVIDIA（英伟达） ； Robotics Institute of Germany（德国机器人研究所）
专题命中 视频多模态 ：multimodal(title)；分类 cs.CV
AI总结 针对VLA模型同步时钟与物理交互中不同模态频率不匹配的问题，提出DAM-VLA，通过解耦各模态时间处理、维护传感器速率更新的潜在缓冲区，并利用门控交叉注意力整合高频模态，在7个真实操作任务中平均成功率提升至95.2%。
Comments 17 pages, 8 figures
Q-Fold: 查询感知的焦点-上下文时空折叠用于长视频理解
机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出Q-Fold，一种无需训练的长视频输入构建框架，通过查询引导将相关片段保留为高保真焦点帧，不相关片段折叠为上下文布局，在固定预算下提升多模态大模型的长视频理解性能。
Comments 10 pages, 5 figures, 8 tables. Code will be made publicly available
SVoT: 基于强化学习的空间推理状态感知思维可视化
机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 提出SVoT框架，通过强化学习生成可验证的中间状态和可视化，结合文本与视觉推理链，提升多模态大模型在多跳空间推理中的可靠性。
CoVR-R: 推理感知的组合视频检索
机构 * Mohamed bin Zayed University of AI（莫扎德·本·扎耶德人工智能大学） ； University of Chicago（芝加哥大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Linköping University（林奈大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出一种零样本推理优先方法，利用大型多模态模型推断编辑的因果和时序后效，并构建CoVR-Reason基准评估，在隐式效应子集上显著优于强基线。
Comments 9 Pages, 3 Figures
World Pilot: 用世界动作先验引导视觉-语言-动作模型
机构 * Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； Nanjing University（南京大学） ； Beihang University（北京航空航天大学）
专题命中 视频多模态 ：image-text(abstract)
AI总结 提出World Pilot框架，通过世界动作模型（WAM）的潜在引导和动作引导两条路径，为VLA模型提供场景演化先验和轨迹级运动提示，在LIBERO-Plus零样本OOD基准上达到84.7%的总成功率，并在多个真实机器人操作任务中取得最高成功率。
Comments Project Website: https://world-pilot.github.io/
任务感知结构化记忆用于动态多模态上下文学习
机构 * Zhihui Chen（陈志辉） ； Ziwei Chen（陈子伟） ； Ling Shao（邵令）
专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出TASM框架，通过任务向量引导压缩、语义感知令牌合并和层次化记忆结构，解决多模态大语言模型上下文学习中记忆压缩导致的语义破坏和静态问题。
Comments Accepted to ICML 2026
弥合法医图像检索中的模态差距
机构 * Advanced Technologies Application Center (CENATAV)（先进技术应用中心（CENATAV）） ； Centro de Sistemas Complejos, Facultad de Física, Universidad de La Habana（哈瓦那大学物理学院复杂系统中心）
专题命中 跨模态检索 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV
AI总结 提出统一检索框架，利用多模态大语言模型生成文本描述并结合视觉与文本特征融合，提升纹身、人脸素描等法医任务的检索精度与鲁棒性。
Comments 23 pages, 5 figures, paper submitted to Elsevier journal
GLACIER：用于分子性质预测的多模态师生基础模型
机构 * Department of Computer Science, University of Southern California（南加州大学计算机科学系） ； Department of Quantitative and Computational Biology, University of Southern California（南加州大学定量与计算生物学系） ； Amazon（亚马逊） ； Department of Medical Biochemistry and Biophysics, Science for Life Laboratory, Karolinska Institutet（卡罗林斯卡学院医学生物化学与生物物理系，生命科学实验室）
专题命中 跨模态检索 ：multimodal(title)
AI总结 提出GLACIER师生框架，通过融合分子图、SMILES和物理化学描述符三种模态，并利用大模型蒸馏，实现高效准确的分子性质预测。
MAGMaR 2026 共享任务结果
机构 * Johns Hopkins University（约翰霍普金斯大学） ； OpenAI ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； Air Force Research Laboratory（空军研究实验室） ； Human Language Technology Center of Excellence, Johns Hopkins University（约翰霍普金斯大学人类语言技术卓越中心） ； University of Amsterdam（阿姆斯特丹大学） ； Huazhong University of Science and Technology（华中科技大学）
专题命中 跨模态检索 ：multimodal(abstract,comments)；分类 cs.CV、cs.CL
AI总结 本文介绍MAGMaR 2026共享任务的结果，包括视频检索和基于检索视频的生成任务，所有提交系统均超越去年基线。
Comments Findings of the 2nd workshop on Multimodal Augmented Generation via Multimodal Retrieval (MAGMaR); Resources at this url: https://github.com/rekriz11/MAGMAR_2026
通过对比交互从零开始学习物体操作
机构 * UC San Diego（加州大学圣地亚哥分校） ； UT Austin（德克萨斯大学奥斯汀分校）
专题命中 跨模态检索 ：multi-modal(abstract)
AI总结 针对对比强化学习在交互密集操作任务中表现不佳的问题，提出交互加权重采样方法，通过保留模式边界提升多模态分段非线性可达性表示，在仿真和真实机器人空气曲棍球任务中取得显著改进。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈