AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
场景图思维：增强多模态大语言模型的结构化视觉推理
机构 * Fudan University（复旦大学）
专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV
AI总结 针对多模态大语言模型忽视结构化关系的问题，提出场景图思维（SaGe）范式，通过自动数据引擎转换数据、构建训练数据，采用两阶段图对齐训练范式，在多模态基准测试中取得显著改进，提升细粒度感知和推理能力。
Comments ICML 2026
SVR-R1：在强化学习中通过自我验证引导多模态推理
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta
专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI
AI总结 SVR-R1是一个多轮强化学习框架，将模型自身验证转化为学习信号。通过GRPO和异步多轮展开框架实现，无需外部监督。在视觉语言推理基准上评估，大幅提高准确率，弥合推理时自我优化与强化学习训练交叉点，还将开源以促研究。
Comments Under submission
CAIRN：使用拓扑感知大型多模态模型进行跨房间3D场景理解
机构 * University of Oxford（牛津大学） ； Microsoft（微软公司） ； Simon Fraser University（西蒙弗雷泽大学）
专题命中 图文多模态 ：multimodal(title)；分类 cs.CV
AI总结 研究针对现有3D-LLMs不能处理多房间场景问题，提出拓扑感知3D-LLM即CAIRN。其将Transformer注意力与场景层次对齐，通过多种方式增强模型能力。在新基准CAIRN-MR上实验，CAIRN在多房间任务中大幅超越前人，单房间任务也具竞争力。
Comments Project Page: https://oceansdepp.github.io/cairn_web/
XR-1：通过学习统一的视觉-运动表示实现多功能的视觉-语言-动作模型
机构 * Beijing Innovation Center of Humanoid Robotics, Beijing, China（北京人形机器人创新中心，北京，中国） ； School of Mechanical Engineering and Automation, Beihang University, Beijing, China（北京航空航天大学机械工程及自动化学院，北京，中国） ； State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University, Beijing, China（虚拟现实技术与系统国家重点实验室，SCSE，北京航空航天大学，北京，中国） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Beijing, China（多媒体信息处理国家重点实验室，计算机科学学院，北京大学，北京，中国）
专题命中 图文多模态 ：multimodal(abstract)；multi-modal(abstract)
AI总结 XR-1通过学习统一的视觉-运动表示，解决视觉-语言-动作模型在低级动作生成和跨数据源领域差距的挑战，提出三阶段训练方法并验证了其在多种机器人和任务上的优越性能。
Comments Accepted to ICML2026 as Oral
在重要时刻思考：用于社交导航的基于RL策略的条件VLM推理
机构 * Institut des Systèmes Intelligents et de Robotique (ISIR)（智能系统与机器人研究所）
专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 研究社交机器人导航中强化学习策略缺乏语义推理能力的问题，提出HUMA混合架构，动态平衡RL策略与VLM的优势。在基准测试中任务成功率提高，减少碰撞，消融研究验证组件，实际部署证明方法可行。
Comments CoRL 2026 submission. 15 pages, 7 figures
检测人工智能生成的视频：视觉-语言双视角综述
机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学中关村人工智能学院） ； Harvard University（哈佛大学）
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL
AI总结 综述人工智能生成视频检测，将任务重定义为事实保真度验证，提出视觉-语言双视角分类法，基于对221篇论文回顾，综合生成范式、审视检测方法、回顾评估指标，讨论挑战并指出未来方向。
Comments 51 pages, accepted by ACL 2026
Journal ref Association for Computational Linguistics 2026 pages 32221 to 32255
WasteAssistant：用于智能垃圾分类与可持续管理的监管引导视觉问答框架
机构 * SVNIT（萨达尔·瓦拉巴伊·国家理工学院） ； NTNU（挪威科技大学） ； KIIT（卡林加工业技术学院）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 该研究针对现有智能垃圾分类系统的不足，提出集成视觉语言模型和多模态大语言模型的框架，构建新数据集，经实验验证基于BLIP的模型效果更佳，提升了分类准确率，确保监管合规，推动多模态AI在垃圾管理中的应用。
Comments 12 Pages, 5 Figures
MonkeyOCRv2：用于文档人工智能的视觉-文本基础模型
机构 * Huazhong University of Science and Technology（华中科技大学） ； Kingsoft Office（金山办公软件）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究针对主流视觉编码器难以应用于文档图像的问题，提出MonkeyOCRv2模型。通过构建大型文档图像预训练语料库及采用联合预训练策略，在多个文档分析任务中提升性能，并验证其作为视觉编码器在文档解析和理解任务中的有效性。
大型视觉语言模型中的认知专家混合体
机构 * Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究大型视觉语言模型中多编码器专家整合难题，提出证据驱动的多模态推理框架，利用布鲁姆分类法及两阶段认知语言化，改进感知和推理能力，实现细粒度分析。
用于隐私保护的针对视觉语言模型的不可察觉且可逆的对抗性示例
机构 * School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院） ； College of Computer Science, Chongqing University（重庆大学计算机科学学院） ； School of Software and engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究针对视觉语言模型基于文本的隐私攻击问题，提出CloakDiff框架，结合扩散对抗编辑与可逆网络生成不可察觉的对抗性示例，设计EDM启发式采样提高保真度，实验证明该框架能实现多模态隐私保护且具高视觉质量和可逆性。
Comments Accepted by ACM MM 2026
BARD：通过高效渐进性块合并和分阶段蒸馏桥接自回归与扩散视觉-语言模型
机构 * Shanghai Academy of AI for Science（上海人工智能科学研究院） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； Nanjing University（南京大学）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 BARD通过高效渐进块合并与分阶段蒸馏将预训练自回归视觉-语言模型转换为解码高效的扩散视觉-语言模型，实现在大块规模下性能恢复与解码效率提升。
镜头中的恶魔：分析并防御可穿戴设备上针对视觉语言模型的物理提示注入
专题命中 图文多模态 ：multimodal(abstract)
AI总结 研究针对可穿戴设备上视觉语言模型的物理提示注入攻击，利用真实环境照片分析出6种威胁向量及对12个模型的影响，攻击成功率高，还提出基于掩码的外部过滤器和基于语义向量的内部检测器两种防御策略。
强化学习会遗忘！迈向持续策略优化
机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education（教育部计算机网络和信息集成重点实验室（东南大学）） ； Zhongguancun Academy（中关村科学城公司） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）
专题命中 图文多模态 ：multimodal(abstract)
AI总结 研究持续训练中强化学习易遗忘问题，引入MRCL基准测试，提出持续策略优化框架CPO，通过参数移动正则化减少遗忘，多模型规模实验验证了其有效性。
通过强大的音频感知增强长格式全模态理解
机构 * SAI, Shanghai Jiao Tong University（上海交通大学 上海人工智能研究院） ； Zhejiang University（浙江大学） ； Shanghai AI Lab（上海人工智能实验室）
专题命中 音频语音多模态 ：omni-modal(title,abstract)；multimodal(abstract)；audio-visual(abstract)
AI总结 为解决全模态理解不足问题，提出AVDC数据集及AVDC-QA-CoT数据集，利用现成模型标注视频，采用两阶段训练范式，在多下游任务实验中取得显著性能提升，推动全模态感知发展。
MAVIN：具有叙事控制的多镜头视听生成
机构 * Peking University（北京大学） ； Kling Team, Kuaishou Technology（快手团队） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Sun Yat-sen University（中山大学）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV
AI总结 提出MAVIN框架，通过边界感知注意力、ID感知传播和多智能体脚本管线，实现多镜头视听生成中的叙事控制，解决时间错位、可控性差和脚本不完整问题。
Comments Accepted to ECCV 2026
一种将多模态人类意图转化为无人机安全机动的中介模型
机构 * University of Notre Dame（诺丁汉大学） ； Imperial College London（伦敦帝国理工学院）
专题命中 音频语音多模态 ：multi-modal(title,abstract)
AI总结 研究如何将多模态人类意图转化为无人机安全机动，提出需求导向的机动响应模型，通过结构化管道处理操作员输入，经多种约束验证后执行，还形式化为此类规范模型，经实验室验证可可靠解释并安全执行相关输入。
Comments 11 pages, 4 figures, preprint for MODRE 2026
LightMem-Ego：适用于日常生活的人工智能记忆
机构 * Zhejiang University（浙江大学） ； South China University of Technology（华南理工大学） ； Central China Normal University（华中师范大学） ； Lenovo Group Limited（联想集团有限公司）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 针对移动和可穿戴设备上个人AI助手回答过去经历查询难的问题，提出LightMem-Ego轻量级流多模态记忆系统，能捕获、对齐并组织视觉和音频流成分层记忆，基于多模态证据生成答案，可部署在多种设备上提供多种支持。
Comments Ongoing work
视频中矛盾与犹豫识别的简单特征与诚实校准
机构 * Indian Institute of Science Education and Research Bhopal（印度科学教育与研究学院博帕尔分院）
专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CV、cs.CL、eess.AS
AI总结 针对ABAW 2026 BAH挑战赛中的矛盾与犹豫识别问题，系统结合情感专用多模态表示与语言犹豫线索，经AMF融合及AP加权集成。引入‘ASR擦除时间’构建特征，实验表明语言是最强通道，校准比架构重要，固定阈值AP加权测试集得分0.731。
零努力图像到音乐生成：一种可解释的基于RAG的视觉语言模型方法
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science（香港科学大学） ； The Hong Kong Polytechnic University Hong Kong China（香港理工大学香港中国） ； The University of Hong Kong Hong Kong China（香港大学香港中国）
专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.AI、cs.MM、eess.AS
AI总结 本文提出一种基于RAG的视觉语言模型方法，实现图像到音乐生成，通过ABC记谱法连接文本与音乐模态，并利用多模态检索增强生成和自反思技术，提供高可解释性且低计算成本的音乐生成方案。
记忆回溯：一个用于大规模背景条件调查模拟的开源平台
机构 * University of California, Berkeley（加利福尼亚大学伯克利分校）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 介绍开源平台记忆回溯，用于大规模背景条件调查模拟。它运用大语言模型，基于文集和他性框架，支持多模态调查。通过案例研究评估，其产生的意见分布更接近真实数据，为专有模拟服务提供替代。
Comments Preprint
将所有内容都转换为在线 API 服务？关于在机器人系统中集成本地化语音识别模型的综述
机构 * Institute of Science Tokyo（东京科学研究所） ； Eindhoven University of Technology（埃因霍温理工大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 eess.AS
AI总结 综述自动语音识别技术在机器人系统中的集成，涵盖其从传统到深度学习模型的演变、相关数据集与工具包，介绍基于 ASR 模型家族等的部署策略及实际平台，指出挑战与未来方向，助力社交机器人研究人员探索人机交互领域。
Comments accepted in 18th International Conference on Social Robotics (ICSR + ART 2026)
深度伪造是否足够逼真？探索语义不匹配作为新的挑战
机构 * Instituto de Telecomunicações, Universidade da Beira Interior（电信研究所，贝拉内里大学）
专题命中 音频语音多模态 ：audio-visual(abstract)；分类 cs.CV
AI总结 本文提出新的评估框架，通过引入语义不匹配类别，评估现有模型在面对语义不一致的深度伪造数据时的鲁棒性，并提出语义强化策略提升检测性能。
Comments Added missing FGI results in semantic reinforcement eval (Table 9), showing an architecture-dependent effect. Abstract, contributions, and conclusion revised accordingly. Clarified RARV-SMM/semantic mismatch definition. Corrected SOTA comparison claim (Sec. 4.7). Added code link
面向富含图表的技术会议视频的问答
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 研究面向富含图表的技术会议视频的问答问题，核心方法是开发基于大语言模型的多模态问答系统LMVQA，主要贡献是显著提高答案准确性，降低响应时间和成本，获领域专家认可。
Comments Accepted for publication in ICSME 2026
基于LoRA的级联多模态融合在医学训练环境中的动作识别
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 研究面向医疗训练环境的动作识别，提出基于LoRA的级联多模态融合框架，结合特定模态适应与顺序融合，无需重新训练组件，在两个数据集上评估，结果显示该策略优于单模态模型且性能有竞争力。
用于可干预多模态模仿的源提升流匹配
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 研究提出源提升流匹配（SL - FM）解决多模态模仿学习中流匹配策略随机性被动问题，核心机制为正交源提升，实验表明其能将被动源随机性转化为可操作变量，提升多模态控制性能。
金融应用中多模态事件序列的基础模型
机构 * Sber（俄罗斯储蓄银行） ； Sber AI Lab（俄罗斯储蓄银行人工智能实验室）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 研究金融应用中多模态事件序列预测建模，提出预训练基础变压器模型统一多源事件成序列，经下一个事件预测学习通用表示，结合现有特征训练轻量级神经模型用于多下游任务，优于传统模型并减少开发开销且已应用取得业务改进。
ERR@HRI 3.0 挑战赛：人机交互中错误与预期的多模态检测
机构 * Cornell University（康奈尔大学） ； Microsoft Research（微软研究院） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Cambridge（剑桥大学）
专题命中 视频多模态 ：multimodal(title,abstract)
AI总结 ERR@HRI 3.0 挑战赛提供自然场景视频数据集，供研究者开发多模态机器学习模型检测人机交互错误与预期，三个团队提交的有效模型超卷积神经网络基线，为构建相关检测系统提供了数据、任务、基线及结果等参考。
迈向可预测、对齐且可扩展的机器人学习
机构 * Astribot Team（Astribot团队）
专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 研究旨在实现可预测、对齐且可扩展的机器人学习。核心方法是引入Lumo - 2潜在世界 - 动作模型，提出多阶段模态预对齐策略。主要贡献是该模型在实证研究中表现出色，优于基线，验证了结构化多模态对齐和预测推理对具身智能的重要性。
长期体育视频中的时间组成推理方法
机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS）
专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV
AI总结 本文提出SportsTime基准和CoTR方法，通过时间接地证据组成提升体育视频长期推理能力，优于现有多模态大语言模型。
InCoM：基于意图的感知与结构化协调用于移动操作
机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； AnyverseDynamics
专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)
AI总结 InCoM通过意图驱动的感知和结构化协调框架，解决移动操作中基座与机械臂动作耦合及感知注意力分配问题，提升任务成功率。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈