多模态大模型

MIRROR: Learning from the Other View for Multi-Modal Reasoning

MIRROR：从其他视角学习以进行多模态推理

Wen Ye, Yuxiao Qu, Aviral Kumar, Xuezhe Ma

机构 * University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI

AI总结 研究视觉语言模型在几何问题多模态推理上的不足，构建ODA-Data数据集，提出模态感知互惠推理优化（MIRROR）方法，通过强化学习自我监督，提升多模态推理能力，在相关基准测试中表现更优。

When Are Reasoning-Based Guardrails Not Efficient? ResponseGuard: A Fast Vision-Language Guard for Real-Time Moderation

基于推理的防护栏何时效率不高？ResponseGuard：用于实时审核的快速视觉语言防护工具

Dongbin Na

机构 * POSTECH（浦项科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究视觉语言防护栏筛查回复是否需推理，提出无链式推理的ResponseGuard，通过对请求、回复和图像的单一合并表示一次前向传递读取有害裁决，在回复有害性检测上优于基于推理的防护栏，且时间成本低，还发现了差距原因及推理防护栏注意力问题。

Comments 8 pages, 6 figures, 3 tables. Project page: https://ndb796.github.io/ResponseGuard ; Code: https://github.com/ndb796/ResponseGuard

Do Pathology Vision-Language Models Truly See Pathology?

病理学视觉语言模型真的能‘看到’病理学吗？

Chengyang Zhang, Wenchuan Zhang, Bo Li, Xinyu Liu, Jiaming Yang, Mengran Li, Chenxun Deng, Jie Chen, Yang Zhang, Wei Ju, Yuhao Yi, Hong Bu, Jiancheng Lv

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究病理学视觉语言模型评估中被忽视的问题，提出含多类型样本的PathBind基准，通过对多个VLMs评估发现，当前病理学VLMs在答案性能与视觉语义绑定间有显著差距。

GeoThreat: Transferable Targeted Adversarial Attacks on Large Vision-Language Models for Remote Sensing Image Interpretation

GeoThreat：用于遥感图像解释的大型视觉语言模型的可转移目标对抗攻击

Yimin Fu, Yuefeng Bai, Baicheng Pan, Zhunga Liu, Michael K. Ng

机构 * Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系） ； School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究针对大型视觉语言模型在遥感图像解释中的对抗攻击问题，提出GeoThreat方法，通过在概念和感知层面调制对抗表示，结合对抗目标相似性梯度等技术，实现可转移目标对抗攻击，实验证明该方法在可转移性和可控性上具有优越性。

Comments The code will be released at https://github.com/fuyimin96/GeoThreat upon acceptance

DINO-VPT: Hierarchical Visual Prompt Tuning for Joint Physical-Digital Face Anti-Spoofing

DINO-VPT：用于联合物理-数字人脸反欺骗的分层视觉提示调整

Pierre Gallin-Martel, Mika Feng, Koichi Ito, Takafumi Aoki

机构 * Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对人脸反欺骗需求，提出DINO-VPT轻量级仅视觉框架，利用分层视觉提示调整，通过提示路由网络动态注入提示，无需多模态融合，在基准测试中比现有方法准确率更高，证明合理架构能达最优性能。

Comments accepted to IJCB2026

K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs

K12-KGraph：一种对齐课程的图谱用于基准测试和训练教育大语言模型

Hao Liang, Qihan Lin, Zhaoyang Han, Xiaochen Ma, Zhen Hao Wong, Meiyi Qiang, Linzhuang Sun, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究所） ； OriginHub Technology（OriginHub技术） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出K12-KGraph，基于中小学教材构建的课程对齐知识图谱，用于构建多选基准测试K12-Bench和训练数据集K12-Train，验证课程结构监督在教育模型训练中的高效性。

Deepfake News Detection: A Multimodal Framework Integrating LipNet, DeepSpeech and ResNET for Enhanced Audio-Visual Analysis

深度伪造新闻检测：一种集成LipNet、DeepSpeech和ResNET的多模态框架用于增强视听分析

Ameena Khan, Muhammad Ahsan Aziz, Muhammad Junaid Asif, Naeem Akhter, Rana Fayyaz Ahmad

专题命中 音频语音多模态 ：multimodal(title)；audio-visual(title)；multi-modal(abstract)

AI总结 针对深度伪造新闻威胁数字新闻媒体真实性的问题，提出集成LipNet、DeepSpeech和ResNET的多模态框架，从音频和视觉线索提取特征，经多种模型分类，实验表明该方法准确率达94%，优于基线，具鲁棒性和实际潜力。

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

使用基于语音的多模态大语言模型实现可泛化的认知障碍检测

Yingchao Huang, Xin Wang, Yuhan Su, Shanshan Yao

机构 * Faculty of Digital Innovation, Arts \& Sciences, Saskatchewan Polytechnic, Regina SK S4S 5X1, Canada ； School of Basic Medical Sciences, Hebei University, Baoding 071000, China ； Department of Civil \& Environmental Engineering ； School of Mining \& Petroleum Engineering, University of Alberta, Edmonton AB T6G 2H5, Canada 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 研究针对认知障碍检测问题，提出基于开源大语言模型的多模态检测框架，整合语音音频与转录文本，提取特定模态嵌入后连接成特征向量用于分类，在相关基准数据集上评估，该框架准确率达92.4%，优于单模态基线且泛化能力强。

X$^3$-OPD: Distilling Reasoning into Large Audio-Language Models via On-Policy Alignment

X³-OPD：通过策略对齐将推理能力提炼到大型音频-语言模型中

Dongjie Fu, Di Cao, Xize Cheng, Zihan Zhang, Wenxu Jia, Yifu Chen, Shengpeng Ji, Yu Zhang, Tao Jin

机构 * Tencent Hunyuan（腾讯混元） ； Zhejiang University（浙江大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 针对大型音频-语言模型逻辑推理能力不足，提出X³-OPD跨模态策略蒸馏框架，借助教师模型指导与构建的三层对称语料库训练学生模型，实验证明该方法能提升音频推理及思维链质量，还能保留模型域转移下的能力。

Controllable and Content-Based Recommendations

可控且基于内容的推荐

Fırat Öncel, Jihoon Jeong, Emiliano Penaloza, Mirco Ravanelli, Laurent Charlin, Cem Subakan

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究针对传统推荐系统难以解释和控制的问题，提出CCBR框架，基于文本用户简档表示构建推荐，通过文本瓶颈引入可控性，能实现多模态干预，在多数据集上有竞争力且优于基线，证明了用户引导机制有效。

Comments Under review

RIME: Enabling Large-Scale Agentic Music Post-Production

RIME：实现大规模智能后期制作

Noah Schaffer, Nikhil Singh

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究针对音乐后期制作问题，引入RIME框架，利用POEMS工具包生成配对数据，评估多模态语言模型，展示其通过监督微调提升智能体性能，是迈向迭代音乐智能体、变革音乐制作的早期步骤。

Beyond Independent Optimization: Compression, MoE Routing, and Quantization Interactions in Multimodal Edge Intelligence

超越独立优化：多模态边缘智能中的压缩、混合专家路由和量化交互

Jay Gor, Karm Dave, Akshita Abrol, Rajesh Gupta, Sudeep Tanwar, Zhengkui Wang

机构 * Nirma University（尼玛大学） ； Singapore Institute of Technology（新加坡理工学院） ； Marwadi University（马尔瓦迪大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 研究多模态边缘智能中高效推理受多种因素限制，回顾相关模型进展，指出技术间相互影响不能独立优化，介绍关键设计权衡，引入视频MoE模型诊断方法，强调多方面开放研究方向。

Cambrian-P: Pose-Grounded Video Understanding

Cambrian-P: 基于姿态的视频理解

Jihan Yang, Zifan Zhao, Xichen Pan, Shusheng Yang, Junyi Zhang, Bingyi Kang, Hu Xu, Shang-Wen Li, Saining Xie

机构 * New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； Meta FAIR 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 该研究提出Cambrian-P，一种增强的视频多模态大语言模型，通过引入可学习的相机令牌和姿态回归头，利用姿态作为轻量级监督信号，显著提升了空间推理能力，并在多个视频问答基准上实现了SOTA表现。

Comments Project Page: https://cambrian-mllm.github.io/

Multi-Task Learning for Heterogeneous Prediction from Video Game State with Transfer Learning

基于迁移学习的视频游戏状态异构预测多任务学习

Jonas Peché, Aliaksei Tsishurou, Alexander Zap, Günter Wallner

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究视频游戏状态异构预测，通过适配多模态架构，采用跨任务联合训练共享模型，结合多种信息，经实验比较单多任务训练、评估策略及测试预训练等，还研究游戏内迁移，以降低成本并提升泛化能力。

ViSTR-Bench: Can MLLMs Reason from Continuous Visual Cues in Dynamic Scenes?

ViSTR-Bench：多模态大语言模型能否从动态场景中的连续视觉线索进行推理？

Han Li, Si Liu, Zehao Huang, Dongxin Lyu, Longfei Xu, Jiahui Fu, Daxin Tian, Yuliang Xiu, Naiyan Wang

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村科学城） ； School of Engineering, Westlake University（西湖大学工学院） ； School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究聚焦多模态大语言模型在动态场景中从连续视觉线索推理的能力，提出ViSTR-Bench评估套件，基于相关原则建立四维评估，含15个子任务和1340个问答对，经评估发现当前模型在复杂时空推理上有瓶颈，远不及人类。

Comments 37 pages, 37 figures

Factorized Spatio-Temporal Convolutions for Human Pose Estimation from Planar Lidar

用于基于平面激光雷达的人体姿态估计的分解时空卷积

Simone Arreghini, Mirko Nava, Nicholas Carlotti, Antonio Paolillo, Alessandro Giusti

机构 * Dalle Molle Institute for Artificial Intelligence (IDSIA), USI-SUPSI（瑞士意大利语区大学提契诺大学人工智能达勒莫利研究所） 纠错

专题命中 视频多模态 ：cross-modal(abstract)

AI总结 针对服务机器人仅配备平面激光雷达和普通处理器的情况，提出基于时空块的轻量级网络，用于全向人体检测和相对2D姿态估计，通过跨模态自监督训练，优于基线模型，适用于计算受限的服务机器人空间感知。

Facade: High-Precision Insider Threat Detection Using Deep Contextual Anomaly Detection

Facade：使用深度上下文异常检测的高精度内部威胁检测

Alex Kantchelian, Casper Neo, Ryan Stevens, Hyungwon Kim, Zhaohao Fu, Sadegh Momeni, Birkett Huber, Cem Topcuoglu, Senaka Buthpitiya, Elie Bursztein, Yanis Pavlidis, Martin Cochran, Massimiliano Poletto

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 研究内部人员特权访问带来的威胁，提出Facade系统，通过考虑事件上下文、基于多模态模型及对比学习策略检测可疑事件，能高精度检测内部威胁且误报率极低，可用于大型企业环境。

Multimodal CoLRAG-TF: Triple-Filtered Retrieval for Complex PDFs

多模态CoLRAG-TF：复杂PDF的三重过滤检索

Takato Yasuno

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究针对异构PDF集合检索增强生成的挑战，提出多模态CoLRAG-TF四轴融合架构，集成多种技术。构建多模态索引，经贝叶斯优化确定融合权重。实验显示其检索召回率高，多跳答案相似性提升显著，还适用于视觉输入，提供通用框架。

Comments 18 pages, 8 tables, 9 figures

A Multimodal Approach to Star--Galaxy Separation using SPHEREx Spectrophotometry and DESI Legacy Survey Imaging

一种使用SPHEREx分光光度法和DESI遗产调查成像的恒星-星系分离多模态方法

Kendrick Nguyen, Richard M. Feder, Sean Bruton, Uroš Seljak

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 研究利用多模态模型，结合光学宽带成像与SPHEREx近红外分光光度法，通过对比学习分离恒星和星系。经实验，变换表示训练的分类器效果更好，能将恒星污染控制在百分之一以下，凸显多模态方法对现代星系调查的实用价值。

Comments 22 pages, 14 figures

Achieving Text-based Person Retrieval with Any Granularity

实现任意粒度的基于文本的行人检索

Jialong Zuo, Hanyu Zhou, Dongyue Wu, Yongtai Deng, Mengdan Tan, Nong Sang, Changxin Gao, Xiang Bai

机构 * National Key Laboratory of Multispectral Information Intelligent Processing Technology, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院多光谱信息智能处理技术国家重点实验室） ； School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 该研究针对基于文本的行人检索中查询粒度不确定问题提出新范式，构建多粒度数据集和评估基准，提出CMAM框架，通过多种策略实现粒度感知检索，实验证明其性能优于现有方法，为行人检索系统奠定基础。

Comments TPAMI-2026 Accepted Paper

Journal ref IEEE Transactions on Pattern Analysis and Machine Intelligence, 2026, pp. 1-18

Distribution-Alignment Bridge for Uncertainty-Aware Text-to-Video Retrieval

用于不确定性感知文本到视频检索的分布对齐桥

Kyeongmo Chae, Jihoon Lee, Sangtae Ahn

机构 * School of Electronic and Electrical Engineering, Kyungpook National University（庆北国立大学电子与电气工程学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究文本到视频检索问题，提出分布对齐桥（DAB）框架，将其视为分布对齐任务，通过高斯分布建模考虑不确定性，用受扩散启发的桥和分布感知对比损失优化，在多基准测试中显著优于现有基线并提供校准排名。

Comments ECCV 2026

Post Completeness in Conditional Logic

条件逻辑中的波斯特完全性

Giuliano Rosella, Yale Weiss

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文系统研究某些基本条件逻辑的波斯特完全扩张，确定了正则和正规的此类逻辑，证明相关嵌入定理类似结论，还表明某些基本条件逻辑有不可数多个扩张，其在条件规则下闭包放宽，对条件逻辑格结构及多模态逻辑有启示。

Fast Approximate Vector Joins via Offline-Online Co-Design

高效近似阈值向量连接的协作与卸载

Kyoungmin Kim, Lennart Roth, Liang Liang, Anastasia Ailamaki

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出统一框架提升向量连接效率，通过软协作复用遍历结果、构建合并索引加速图探索，并采用自适应混合搜索策略增强鲁棒性，实验显示在效率-召回率权衡上优于现有方法。

Semantics at an Angle: When Cosine Similarity Works Until It Doesn't

角度语义：余弦相似度何时有效及失效

Kisung You

机构 * Baruch College, City University of New York（纽约城市大学巴克莱学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 研究探讨余弦相似度在信息处理等领域的应用，围绕其有用性取决于学习表示等因素展开，推导几何恒等式，区分失效机制，回顾证据并描述替代方法，得出其正尺度不变性有条件合理的结论。

Monkey King Bang: A Unified Scientific Multimodal Foundation Model

孙悟空爆炸：一个统一的科学多模态基础模型

Hesen Chen, Xinyu Su, Xiaomeng Yang, Yuetan Lin, Zixiong Yang, Junyi An, Fenglei Cao, Yifeng Jiao, Yunqi Zhang, Yuan Cheng, Zhiyu Tan, Hao Li, Libo Wu, Yuan Qi

机构 * Shanghai Academy of AI for Science（上海人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.AI

AI总结 研究针对科学多领域推理需求，引入统一科学多模态模型MKB，围绕共享Transformer主干及定制组件构建，涵盖多科学分支。通过两阶段训练，在多方面实验表现出色，证明该范式可行，为跨领域科学多模态探索提供基础。

Enhancing Explainable Cardiac Diagnosis with Guide-Grounded Multimodal LLMs

用指南引导的多模态语言模型增强可解释的心脏诊断

Hai-Nam Duy Vuong, Duy-Anh Bui, Trong-Nghia Nguyen, Kim-Ngan Thi Nguyen, Trang Mai Xuan, Tien-Cuong Nguyen, Van-Dem Pham, Thien Van Luong

机构 * Business AI Lab, College of Technology, National Economics University（商业人工智能实验室，技术学院，越南国家经济大学） ； A2I Lab, Phenikaa School of Computing, Phenikaa University（A2I实验室，费尼卡计算机学院，费尼卡大学） ； VNPT AI, VNPT Group（VNPT人工智能，VNPT集团） ； FPT University（FPT大学） ； Department of Pediatrics, Hospital of University Medicine and Pharmacy, Vietnam National University Hanoi（越南河内国家大学医学与药学院儿科学系） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究针对深度学习模型在心脏诊断中可解释性有限等问题，提出指南引导的多模态框架，通过卷积神经网络、Grad-CAM及结构化解释指南生成诊断报告，实验证明该方法能提升报告质量，增强临床合理性。

Comments 12 pages, 3 figures, accepted at CITA 2026

M$^3$-Gen: Interpretable Multimodal Generation of Gene Expression Profiles Using Clinical and Imaging Data

M$^3$-Gen：利用临床和影像数据对基因表达谱进行可解释的多模态生成

Francesca Pia Panaccione, Carlo Sgaravatti, Marco Venere

机构 * DEIB - Dipartimento Elettronica, Informazione e Bioingegneria, Politecnico di Milano（米兰理工大学电子、信息与生物工程系） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究旨在解决基因表达数据获取受限问题，提出M$^3$-Gen框架，通过对比学习从临床变量和图像中学习潜在表示，以生成生物学连贯的基因表达谱，在TCGA数据集上验证有效性，且具有内在可解释性。

Comments 15 pages, 6 figures

Multimodal Learning for Arcing Detection in Pantograph-Catenary Systems

接触网-受电弓系统中弧光检测的多模态学习

Hao Dong, Eleni Chatzi, Olga Fink

机构 * Chair of Structural Mechanics & Monitoring, ETH Zürich（苏黎世联邦理工学院结构力学与监测教授职位） ； Intelligent Maintenance and Operations Systems Lab, EPFL（洛桑联邦理工学院智能维护与运营系统实验室） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出多模态学习框架，结合图像与力数据，有效检测接触网-受电弓系统中的弧光事件，提升检测鲁棒性和准确性。

Trion Engineered Multimodal Transistors in Two dimensional Bilayer Semiconductor Lateral Heterostructures

三重态工程多模态晶体管在二维双层半导体横向异质结中的应用

Baisali Kundu, Poulomi Chakrabarty, Avijit Dhara, Roberto Rosati, Chandan Samanta, Suman K. Chakraborty, Srilagna Sahoo, Sajal Dhara, Saroj P. Dash, Ermin Malic, Saurabh Lodha, Prasana K. Sahoo

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 本研究通过二维双层半导体横向异质结实现多模态晶体管，利用内在能级分离调控三重态生成与传输，为光电和量子技术发展提供新路径。

Journal ref Adv. Funct. Mater. 36, no. 26 (2026): e17486

Axolotl3D: a Unified Framework for Faithful 3D Shape Completion

Axolotl3D：用于精确3D形状完成的统一框架

Anita Hu, Maria Shugrina

机构 * NVIDIA（英伟达） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对3D生成模型在多场景适用性有限及缺乏统一框架的问题，提出Axolotl3D模型，它基于多种模态条件设定，利用点云和相机参数，通过统一训练策略实现精确3D形状完成，实验验证其在多方面性能出色。

Comments Accepted to ECCV 2026