AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
MIRROR：从其他视角学习以进行多模态推理
机构 * University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI
AI总结 研究视觉语言模型在几何问题多模态推理上的不足，构建ODA-Data数据集，提出模态感知互惠推理优化（MIRROR）方法，通过强化学习自我监督，提升多模态推理能力，在相关基准测试中表现更优。
基于推理的防护栏何时效率不高？ResponseGuard：用于实时审核的快速视觉语言防护工具
机构 * POSTECH（浦项科技大学）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究视觉语言防护栏筛查回复是否需推理，提出无链式推理的ResponseGuard，通过对请求、回复和图像的单一合并表示一次前向传递读取有害裁决，在回复有害性检测上优于基于推理的防护栏，且时间成本低，还发现了差距原因及推理防护栏注意力问题。
Comments 8 pages, 6 figures, 3 tables. Project page: https://ndb796.github.io/ResponseGuard ; Code: https://github.com/ndb796/ResponseGuard
病理学视觉语言模型真的能‘看到’病理学吗？
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究病理学视觉语言模型评估中被忽视的问题，提出含多类型样本的PathBind基准，通过对多个VLMs评估发现，当前病理学VLMs在答案性能与视觉语义绑定间有显著差距。
GeoThreat：用于遥感图像解释的大型视觉语言模型的可转移目标对抗攻击
机构 * Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系） ； School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 研究针对大型视觉语言模型在遥感图像解释中的对抗攻击问题，提出GeoThreat方法，通过在概念和感知层面调制对抗表示，结合对抗目标相似性梯度等技术，实现可转移目标对抗攻击，实验证明该方法在可转移性和可控性上具有优越性。
Comments The code will be released at https://github.com/fuyimin96/GeoThreat upon acceptance
DINO-VPT：用于联合物理-数字人脸反欺骗的分层视觉提示调整
机构 * Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究针对人脸反欺骗需求，提出DINO-VPT轻量级仅视觉框架，利用分层视觉提示调整，通过提示路由网络动态注入提示，无需多模态融合，在基准测试中比现有方法准确率更高，证明合理架构能达最优性能。
Comments accepted to IJCB2026
深度伪造新闻检测：一种集成LipNet、DeepSpeech和ResNET的多模态框架用于增强视听分析
专题命中 音频语音多模态 ：multimodal(title)；audio-visual(title)；multi-modal(abstract)
AI总结 针对深度伪造新闻威胁数字新闻媒体真实性的问题，提出集成LipNet、DeepSpeech和ResNET的多模态框架，从音频和视觉线索提取特征，经多种模型分类，实验表明该方法准确率达94%，优于基线，具鲁棒性和实际潜力。
使用基于语音的多模态大语言模型实现可泛化的认知障碍检测
机构 * Faculty of Digital Innovation, Arts \& Sciences, Saskatchewan Polytechnic, Regina SK S4S 5X1, Canada ； School of Basic Medical Sciences, Hebei University, Baoding 071000, China ； Department of Civil \& Environmental Engineering ； School of Mining \& Petroleum Engineering, University of Alberta, Edmonton AB T6G 2H5, Canada
专题命中 音频语音多模态 ：multimodal(title,abstract)
AI总结 研究针对认知障碍检测问题，提出基于开源大语言模型的多模态检测框架，整合语音音频与转录文本，提取特定模态嵌入后连接成特征向量用于分类，在相关基准数据集上评估，该框架准确率达92.4%，优于单模态基线且泛化能力强。
X³-OPD：通过策略对齐将推理能力提炼到大型音频-语言模型中
机构 * Tencent Hunyuan（腾讯混元） ； Zhejiang University（浙江大学）
专题命中 音频语音多模态 ：cross-modal(abstract)
AI总结 针对大型音频-语言模型逻辑推理能力不足，提出X³-OPD跨模态策略蒸馏框架，借助教师模型指导与构建的三层对称语料库训练学生模型，实验证明该方法能提升音频推理及思维链质量，还能保留模型域转移下的能力。
可控且基于内容的推荐
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 研究针对传统推荐系统难以解释和控制的问题，提出CCBR框架，基于文本用户简档表示构建推荐，通过文本瓶颈引入可控性，能实现多模态干预，在多数据集上有竞争力且优于基线，证明了用户引导机制有效。
Comments Under review
超越独立优化：多模态边缘智能中的压缩、混合专家路由和量化交互
机构 * Nirma University（尼玛大学） ； Singapore Institute of Technology（新加坡理工学院） ； Marwadi University（马尔瓦迪大学）
专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 研究多模态边缘智能中高效推理受多种因素限制，回顾相关模型进展，指出技术间相互影响不能独立优化，介绍关键设计权衡，引入视频MoE模型诊断方法，强调多方面开放研究方向。
基于迁移学习的视频游戏状态异构预测多任务学习
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 研究视频游戏状态异构预测，通过适配多模态架构，采用跨任务联合训练共享模型，结合多种信息，经实验比较单多任务训练、评估策略及测试预训练等，还研究游戏内迁移，以降低成本并提升泛化能力。
ViSTR-Bench：多模态大语言模型能否从动态场景中的连续视觉线索进行推理？
机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村科学城） ； School of Engineering, Westlake University（西湖大学工学院） ； School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究聚焦多模态大语言模型在动态场景中从连续视觉线索推理的能力，提出ViSTR-Bench评估套件，基于相关原则建立四维评估，含15个子任务和1340个问答对，经评估发现当前模型在复杂时空推理上有瓶颈，远不及人类。
Comments 37 pages, 37 figures
用于基于平面激光雷达的人体姿态估计的分解时空卷积
机构 * Dalle Molle Institute for Artificial Intelligence (IDSIA), USI-SUPSI（瑞士意大利语区大学提契诺大学人工智能达勒莫利研究所）
专题命中 视频多模态 ：cross-modal(abstract)
AI总结 针对服务机器人仅配备平面激光雷达和普通处理器的情况，提出基于时空块的轻量级网络，用于全向人体检测和相对2D姿态估计，通过跨模态自监督训练，优于基线模型，适用于计算受限的服务机器人空间感知。
多模态CoLRAG-TF：复杂PDF的三重过滤检索
专题命中 跨模态检索 ：multimodal(title,abstract)
AI总结 研究针对异构PDF集合检索增强生成的挑战，提出多模态CoLRAG-TF四轴融合架构，集成多种技术。构建多模态索引，经贝叶斯优化确定融合权重。实验显示其检索召回率高，多跳答案相似性提升显著，还适用于视觉输入，提供通用框架。
Comments 18 pages, 8 tables, 9 figures
一种使用SPHEREx分光光度法和DESI遗产调查成像的恒星-星系分离多模态方法
专题命中 跨模态检索 ：multimodal(title,abstract)
AI总结 研究利用多模态模型，结合光学宽带成像与SPHEREx近红外分光光度法，通过对比学习分离恒星和星系。经实验，变换表示训练的分类器效果更好，能将恒星污染控制在百分之一以下，凸显多模态方法对现代星系调查的实用价值。
Comments 22 pages, 14 figures
实现任意粒度的基于文本的行人检索
机构 * National Key Laboratory of Multispectral Information Intelligent Processing Technology, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院多光谱信息智能处理技术国家重点实验室） ； School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院）
专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV
AI总结 该研究针对基于文本的行人检索中查询粒度不确定问题提出新范式，构建多粒度数据集和评估基准，提出CMAM框架，通过多种策略实现粒度感知检索，实验证明其性能优于现有方法，为行人检索系统奠定基础。
Comments TPAMI-2026 Accepted Paper
Journal ref IEEE Transactions on Pattern Analysis and Machine Intelligence, 2026, pp. 1-18
用于不确定性感知文本到视频检索的分布对齐桥
机构 * School of Electronic and Electrical Engineering, Kyungpook National University（庆北国立大学电子与电气工程学院）
专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV
AI总结 研究文本到视频检索问题，提出分布对齐桥（DAB）框架，将其视为分布对齐任务，通过高斯分布建模考虑不确定性，用受扩散启发的桥和分布感知对比损失优化，在多基准测试中显著优于现有基线并提供校准排名。
Comments ECCV 2026
条件逻辑中的波斯特完全性
专题命中 跨模态检索 ：multimodal(abstract)
AI总结 本文系统研究某些基本条件逻辑的波斯特完全扩张，确定了正则和正规的此类逻辑，证明相关嵌入定理类似结论，还表明某些基本条件逻辑有不可数多个扩张，其在条件规则下闭包放宽，对条件逻辑格结构及多模态逻辑有启示。
孙悟空爆炸：一个统一的科学多模态基础模型
机构 * Shanghai Academy of AI for Science（上海人工智能研究院）
专题命中 多模态生成 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.AI
AI总结 研究针对科学多领域推理需求，引入统一科学多模态模型MKB，围绕共享Transformer主干及定制组件构建，涵盖多科学分支。通过两阶段训练，在多方面实验表现出色，证明该范式可行，为跨领域科学多模态探索提供基础。
用指南引导的多模态语言模型增强可解释的心脏诊断
机构 * Business AI Lab, College of Technology, National Economics University（商业人工智能实验室，技术学院，越南国家经济大学） ； A2I Lab, Phenikaa School of Computing, Phenikaa University（A2I实验室，费尼卡计算机学院，费尼卡大学） ； VNPT AI, VNPT Group（VNPT人工智能，VNPT集团） ； FPT University（FPT大学） ； Department of Pediatrics, Hospital of University Medicine and Pharmacy, Vietnam National University Hanoi（越南河内国家大学医学与药学院儿科学系）
专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI
AI总结 研究针对深度学习模型在心脏诊断中可解释性有限等问题，提出指南引导的多模态框架，通过卷积神经网络、Grad-CAM及结构化解释指南生成诊断报告，实验证明该方法能提升报告质量，增强临床合理性。
Comments 12 pages, 3 figures, accepted at CITA 2026
M$^3$-Gen：利用临床和影像数据对基因表达谱进行可解释的多模态生成
机构 * DEIB - Dipartimento Elettronica, Informazione e Bioingegneria, Politecnico di Milano（米兰理工大学电子、信息与生物工程系）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 研究旨在解决基因表达数据获取受限问题，提出M$^3$-Gen框架，通过对比学习从临床变量和图像中学习潜在表示，以生成生物学连贯的基因表达谱，在TCGA数据集上验证有效性，且具有内在可解释性。
Comments 15 pages, 6 figures
Axolotl3D：用于精确3D形状完成的统一框架
机构 * NVIDIA（英伟达）
专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 针对3D生成模型在多场景适用性有限及缺乏统一框架的问题，提出Axolotl3D模型，它基于多种模态条件设定，利用点云和相机参数，通过统一训练策略实现精确3D形状完成，实验验证其在多方面性能出色。
Comments Accepted to ECCV 2026
GroupVideo：多身份定制文本到视频生成
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Ant Group（蚂蚁集团）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 研究多身份定制文本到视频生成问题，提出GroupVideo框架，融合多模态身份对齐及相关模块，构建高质量数据集，在生成多角色视频时能保持身份一致且动作自然，优于现有方法。
MagicMakeup：用于高保真妆容转移的区域可控扩散Transformer
机构 * Zhejiang University（浙江大学） ； State Key Lab of CAD&CG（计算机辅助设计与图形学国家重点实验室） ； vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司） ； vivo BlueImage Lab（vivo蓝图像实验室）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV
AI总结 研究妆容转移中区域可控性等难题，提出MagicMakeup框架，基于空间约束和概念解缠结，用令牌对齐区域门控和跨模态感知指导实现精确编辑与概念澄清，设计数据生成管道并建立基准，提升了多方面性能和鲁棒性。
超越基于结构的药物设计：多药理学和多靶点药物设计中的几何深度学习
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 研究针对多因素疾病治疗中传统药物设计的不足，将几何深度学习作为有力方法，综述其架构、应用于三个核心维度的情况，强调新兴算法，评估相关要素作用，阐明药物发现从偶然探索到理性、结构驱动的多药理学分子工程的范式转变。
作为最优控制的随机量子化
专题命中 多模态生成 ：multimodal(abstract)
AI总结 研究将随机量子化表述为有限时间随机最优控制问题，利用可处理参考过程及参考校正终端成本，通过神经网络学习残余控制实现最优随机量子化，在多峰势和二维晶格标量\(\phi^4\)理论中取得成果，将量子化表述为控制。
Comments 7 pages, 4 figures
MVEI与EmObserver：通过情感陈述判断增强面向MLLM的视觉情商
机构 * Tsinghua University（清华大学） ； Nankai University（南开大学） ； Beijing Institute of Technology（北京理工大学） ； Chinese Academy of Sciences（中国科学院）
专题命中 多模态评测 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV
AI总结 研究针对多模态大语言模型视觉情商评估缺失问题，引入情感陈述判断公式ESJ，开发INSETS及MVEI基准，构建EmObserver模型。通过实验评估，确立了ESJ、MVEI和EmObserver在推进面向MLLM的视觉情商方面的作用。
6G智能感知与通信无线多模态基础模型中的分布外检测
专题命中 多模态评测 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)
AI总结 研究6G智能感知与通信中无线多模态基础模型的分布外检测问题，提出WMFM - OOD框架，通过构建基站原型和温度缩放概率评分机制区分异常，在DeepVerse6G数据集验证，显著优于基线，提升检测灵敏度，保障网络可靠性。
Comments presented at IEEE VTC 2026 Fall, 4 figures
不平衡下的遗忘：多模态大语言模型遗忘中的公平性基准测试
机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 研究多模态大语言模型遗忘中的公平性问题，提出FAIRGET基准和FAUN算法，通过模拟现实场景下不平衡的遗忘请求，在考虑数据不平衡性质时遗忘身份，实验证明该方法在遗忘质量和公平性上具有优越性。
Comments 33 pages
VoLN：仅视觉的长距离导航——范式、基准和方法
机构 * Beihang University（北京航空航天大学） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）
专题命中 多模态评测 ：MLLM(summary_cn,abstract)；分类 cs.AI
AI总结 研究提出仅视觉的长距离导航（VoLN）范式，通过VoLN-UAV基准及VoLN-MLLM基线进行实例化。在五个环境测试未见分割中评估，揭示了长距离导航在证据整合、目标匹配和闭环稳定性方面的挑战。
Comments 10 pages, 7 figures, 2 tables. Project page: https://admire-ljb.github.io/VoLN-UAV/
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈