AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
想象之前聚焦：扩散引导的寄存器增强部分相关视频检索
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Peng Cheng Laboratory（鹏城实验室）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM
AI总结 本文提出DreamPRVR，通过粗到细的表示学习范式，利用扩散模型生成全局语义寄存器，提升部分相关视频检索的准确性与鲁棒性。
Comments Accepted to CVPR 2026. 15 pages, 7 figures, 3 tables
SafeScreen: 一种以安全优先的个性化视频检索框架用于易受伤害用户的视频筛选
机构 * Worcester Polytechnic Institute（伍斯特理工学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 SafeScreen通过安全优先机制，在确保个性化视频检索的同时满足个体安全约束，采用自动化流程进行视频的连续审批或拒绝，结合个性化安全标准提取、证据驱动评估和LLM决策，实现实时可解释的视频筛选。
Comments 11 pages, 3 figures, 7 tables. Under review for ACM ICMI 2026
AnyUser: 将草图用户意图翻译成家用机器人
机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（湖南大学国家机器人视觉感知与控制技术工程研究中心）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 AnyUser通过相机图像上的自由形式草图（可选语言）实现直观的家庭任务指令，利用多模态输入生成无需先验地图或模型的可执行机器人动作，通过大量评估验证其在不同模拟家庭场景中的高准确性和真实环境中的可靠性。
Comments Accepted to IEEE Transactions on Robotics (T-RO)
强化以学习，选择以推理：视频推理的双范式
机构 * National University of Defense Technology（国防科技大学） ； Sun Yat-sen University（中山大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出RLER双范式，通过强化学习生成证据并验证推理一致性，提升视频推理的可靠性和可解释性，实验表明其在多个基准上均取得最佳性能。
Comments Accepted at CVPR 2026. Camera-ready version
图到帧RAG：面向无训练和可审计的视频推理的视觉空间知识融合
机构 * National University of Defense Technology（国防科技大学） ； Sun Yat-sen University（中山大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出G2F-RAG，通过视觉空间知识融合提升视频推理的可解释性和效率，减少认知负担并保留可追溯的证据轨迹。
Comments Accepted at CVPR 2026. Camera-ready version
UniSurgSAM: 一种用于可靠外科视频分割的统一提示模型
机构 * Department of Biomedical Engineering, National University of Singapore（新加坡国立大学生物医学工程系） ； Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系） ； School of Computer Science, The University of Sheffield（谢菲尔德大学计算机科学学院） ； Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系）
专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV
AI总结 本文提出UniSurgSAM，通过视觉、文本或音频提示实现可靠的外科视频分割，采用解耦两阶段框架解决优化干扰问题，并引入三种关键设计提升可靠性。
Comments Extended version of MICCAI 2025 paper (ReSurgSAM2). 13 pages, 8 figures, 8 tables
C-NAV：迈向开放世界中的自进化持续物体导航
机构 * Beihang University（北京航空航天大学） ； Centre for Artificial Intelligence and Robotics, HKISI-CAS（香港智能科学与工业研究院人工智能与机器人中心） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） ； Beijing Jiaotong University（北京交通大学）
专题命中 视频多模态 ：multi-modal(abstract)
AI总结 本文提出C-Nav框架，通过双路径抗遗忘机制和自适应采样策略，解决持续物体导航中的灾难性遗忘问题，实验表明其在多个模型架构上均优于现有方法，且内存需求显著降低。
Comments Accepted at NeurIPS 2025
Journal ref NeurIPS 2025
机器人需要肢体语言吗？比较不同沟通方式以实现人类共享空间中运动意图的可理解性
机构 * MIT Media Lab（麻省理工学院媒体实验室） ； New England Innovation Academy（新英格兰创新学院）
专题命中 视频多模态 ：multimodal(abstract)
AI总结 研究探讨不同沟通方式对理解四足机器人导航意图的影响，评估表达性动作、灯光、文本和音频等模态对预测准确性、信心和信任度的作用。
基于推理引导的多模态知识利用的检索专家混合
机构 * Northeastern University（东北大学） ； Tsinghua University（清华大学）
专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL
AI总结 本文提出MoRE框架，通过动态选择检索专家提升多模态大语言模型的知识利用效率，实验表明在开放领域问答基准上性能提升超过7%。
MMP-Refer: 多模态路径检索增强的可解释推荐LLM
专题命中 跨模态检索 ：multimodal(title,abstract)
AI总结 MMP-Refer通过多模态路径检索增强LLM，提升推荐系统的可解释性，采用联合残差编码获取多模态嵌入，并设计启发式搜索算法获取检索路径，通过轻量级协作适配器映射图编码至LLM语义空间，提升交互信息理解。
紧凑超立方体嵌入用于快速基于文本的野生动物观察检索
机构 * Inria, LIRMM, UM（法国国家信息与自动化研究所，蒙彼利埃计算机科学实验室，蒙彼利埃大学）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 本文提出紧凑超立方体嵌入框架，通过二进制表示实现高效文本检索，提升大规模野生动物图像和音频数据库的检索效率与鲁棒性。
GenSmoke-GS：一种基于生成模型的多阶段方法，用于从烟雾退化图像中生成新视角
机构 * School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院） ； School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）
专题命中 跨模态检索 ：MLLM(abstract)；分类 cs.CV
AI总结 本文提出GenSmoke-GS方法，通过多阶段流程提升烟雾退化图像的可视性，减少场景内容变化，实验表明其在定量和视觉质量上优于基线模型。
具有不确定性的临床数据基础模型
机构 * University of the Chinese Academy of Sciences（中国科学院大学） ； Columbia University（哥伦比亚大学）
专题命中 跨模态检索 ：multimodal(abstract)
AI总结 本文提出一种考虑不确定性的临床数据基础模型框架，通过学习集合值表示并强制一致性，提升预测性能和数据缺失下的鲁棒性。
无需音频图像对的音频到图像鸟类物种检索：通过文本蒸馏
机构 * Inria, LIRMM, Université de Montpellier（法国国家信息与自动化研究所，蒙彼利埃计算机科学、机器人学与微电子学实验室，蒙彼利埃大学） ； University of Kassel（卡塞尔大学）
专题命中 跨模态检索 ：image-text(abstract)
AI总结 本文提出无需音频图像配对的音频到图像检索方法，通过文本作为语义中介，利用预训练图像文本模型蒸馏出音频文本模型，实现音频与图像表示的对齐，从而在数据稀缺的生物声学场景中有效进行物种识别。
多模态病理生成模型基础框架
机构 * Department of Radiation Oncology, Stanford University School of Medicine（斯坦福大学医学院放射肿瘤学系） ； Department of Psychiatry and Behavioral Sciences, Stanford University School of Medicine（斯坦福大学医学院精神病学与行为科学系） ； Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系） ； Department of Computer Science, Stanford University（斯坦福大学计算机科学系） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） ； Department of Biomedical Data Science, Stanford University（斯坦福大学生物医学数据科学系） ； Department of Radiology, Stanford University（斯坦福大学放射学系） ； Center for Artificial Intelligence in Medicine and Imaging, Stanford University（斯坦福大学医学与影像人工智能中心）
专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出MuPD模型，通过扩散变压器整合病理图像、分子数据和临床文本，实现跨模态生成任务，提升诊断准确性和数据扩展性。
Comments 33 pages, 9 figures
ZINA：多模态细粒度幻觉检测与编辑
机构 * Keio AI Research Center（庆应义塾大学人工智能研究中心） ； Keio University（庆应义塾大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 本文提出ZINA方法，用于多模态大语言模型的细粒度幻觉检测与编辑，通过构建VisionHall数据集验证了其在检测和编辑任务中的优越性。
Comments CVPR 2026 Main Conference
通过涂鸦和跨语言触发器对自动驾驶VLMs进行多模态后门攻击
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文提出GLA攻击方法，利用自然触发器在自动驾驶场景中实现隐蔽稳定的后门攻击，实验显示仅需10%污染率即可达到90%攻击成功率且无误报，同时提升模型性能指标，揭示了自动驾驶VLMs的安全威胁。
Comments This is a submission to the "Pattern Analysis and Applications". The manuscript includes 14 pages and 6 figures. All authors have approved the submission, and there is no conflict of interest to declare
InfoTok: 基于信息理论的容量受限共享视觉标记化在统一多模态大语言模型中的应用
机构 * University of Alberta（阿尔伯塔大学） ； vivo Mobile Communication Co., Ltd（维沃移动通信有限公司）
专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出InfoTok，一种基于信息瓶颈原理的信息正则化标记化机制，通过互信息约束平衡压缩与任务相关性，提升统一多模态大语言模型的图像理解和生成性能。
多模态太赫兹光谱学研究（La,Pr）3Ni2O7薄膜中的配对对称性和正常态伪间隙
专题命中 多模态生成 ：multimodal(title)
AI总结 通过结合体敏感太赫兹时域光谱与太赫兹三次谐波生成，研究（La,Pr）3Ni2O7薄膜的超导配对对称性和正常态伪间隙特性，发现有序态与伪间隙的共存与竞争。
Synthesis4AD：合成异常就是3D异常检测所需
机构 * National Center of Technology Innovation for Intelligent Design and Numerical Control, Huazhong University of Science and Technology（华中科技大学国家智能设计与数控技术创新中心） ； School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院） ； Department of Intelligent Manufacturing, Contemporary Amperex Technology Ltd.（宁德时代新能源科技股份有限公司智能制造部） ； Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院） ； School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）
专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV
AI总结 本文提出Synthesis4AD方法，通过大规模高保真合成异常数据提升3D异常检测性能，利用3D-DefectStudio平台生成精确点云异常掩码，并结合多模态大语言模型实现知识驱动的数据生成，实验表明在多个数据集上达到领先水平。
BoxComm：基于 boxing 的类别感知评论生成与叙述节奏基准测试
机构 * Tsinghua University（清华大学） ； Beijing Sport University（北京体育大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出 BoxComm 数据集，包含 445 场世界拳击锦标赛视频及 52000 多条专业评论，通过分类注解和两项新评估方法，解决拳击评论生成中的节奏与类别准确性问题。
增强基础视觉语言模型对缺失模态的鲁棒性：可扩展的扩散用于双向特征恢复
机构 * Department of Electronics ； Information \ 'an Jiaotong University Xi'an China ； School of Information ； Communications Engineering \ 'an Jiaotong University Xi'an China ； School of Mathematics ； Statistics \ 'an Jiaotong University Xi'an China ； Information \ 'an Jiaotong University ； Communications Engineering \ 'an Jiaotong University ； Statistics \ 'an Jiaotong University
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.AI
AI总结 本文提出一种通用缺失模态恢复策略，通过增强扩散模型实现双向特征对齐，提升视觉语言模型在模态缺失情况下的鲁棒性和可扩展性。
Comments 10 pages, 8 figures, 6 tables. Experiments and some details have been updated
多模态推荐的联合行为引导和模态一致性条件图扩散去噪
专题命中 多模态生成 ：multimodal(abstract)
AI总结 本文提出JBM-Diff模型，通过多视图信息传播和特征融合去除多模态特征中的冗余信息，并从行为角度检测样本对的偏序一致性以提升推荐准确性。
CAGMamba：基于上下文的门控跨模态Mamba网络用于多模态情感分析
机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； Xingning Power Supply Bureau, Guangdong Power Grid Co., Ltd.（广东电网有限责任公司兴宁供电局）
专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CL
AI总结 本文提出CAGMamba网络，通过门控机制实现跨模态信息融合，有效建模上下文依赖和情感演变，实验表明在多模态情感分析任务中表现优异。
MuDD：一种多模态欺骗检测数据集和GSR引导的渐进性知识蒸馏用于非接触欺骗检测
机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院）
专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出MuDD多模态欺骗检测数据集及GSR引导的渐进蒸馏方法，通过跨模态知识蒸馏提升非接触欺骗检测性能，实验表明其在欺骗检测和隐藏数字识别上达到最优。
XModBench：多模态能力与一致性在多语言模型中的基准测试
机构 * Advanced Micro Devices（超威半导体） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Rochester（罗彻斯特大学）
专题命中 多模态评测 ：cross-modal(title,abstract)；omni-modal(abstract)；分类 cs.CV、cs.AI
AI总结 XModBench通过大规模三模态基准测试，评估多语言模型在跨模态一致性中的能力，揭示模型在不同模态下的推理偏差和不平衡问题。
Journal ref Published as a conference paper at ICLR 2026
不要眨眼：多模态推理中的证据崩溃
机构 * Independent Researcher, New Delhi, India（独立研究者，印度新德里）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 研究发现多模态推理过程中证据逐渐消失的现象，提出通过视觉-熵交互模型降低风险，提升模型在分布偏移下的安全性。
Comments 8 pages, 6 figures, 1 table, plus appendix. Submitted to UAI 2026
通过高效深度学习策略实现多模态城市树木检测：结合卫星和街景图像
机构 * Department of Computer Science, University of California, Davis（加州大学戴维斯分校计算机科学系） ； Department of Biological and Agricultural Engineering, University of California, Davis（加州大学戴维斯分校生物与农业工程系）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文提出多模态框架，结合高分辨率卫星图像与地面Google街景图像，实现低标注条件下城市树木的高效检测。通过领域自适应和三种学习策略（半监督、主动学习、混合策略），提升检测精度，混合策略F1-score达0.90，显著优于基线模型。
HandMCM：基于多模态点云的对应状态空间模型用于3D手姿态估计
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV
AI总结 本文提出HandMCM，通过结合局部信息注入/过滤模块和对应建模，利用状态空间模型提升3D手姿态估计的鲁棒性和精度，实验表明其在严重遮挡场景中优于现有方法。
Comments AAAI accepted
何时多模态AI有所帮助？视觉-语言模型与CNN在卫星-地面网络中的频谱管理中的诊断互补性
专题命中 多模态评测 ：multimodal(title)；分类 cs.CV、cs.AI
AI总结 本文研究了视觉-语言模型与CNN在频谱管理中的互补性，提出SpectrumQA基准测试，并发现CNN在空间定位任务中表现优异，而VLM在语义推理任务中具有独特优势，通过任务类型路由器可提升整体性能。
Comments 10 pages, 4 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈