多模态大模型

Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval

从失败中学习：基于难负例的以检索为中心的思维链用于统一多模态检索

Zelong Sun, Jun Wang, Kaicheng Yang, Tiancheng Gu, Ziyong Feng, Zhiwu Lu

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究提出UniME-R1框架，通过基于难负例的以检索为中心的思维链（RC-CoT）学习从检索失败中优化，在多模态检索基准上提升了性能。

Comments 26 pages,10 figures,14 Tables

Text Steganography with Dynamic Codebook and Multimodal Large Language Model

基于动态代码本和多模态大语言模型的文本隐写术

Jianxin Gao, Ruohan Lei, Wanli Peng

机构 * China Agricultural University（中国农业大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出一种基于动态代码本和多模态大语言模型的文本隐写术，通过共享会话配置和多模态模型构建动态代码本，设计加密隐写映射并引入反馈优化机制，提升隐写术的安全性和实用性。

Is Personalized Modality Weighting Actually Personalized? A Controlled Audit of Per-User Weighting Claims in Multimodal Recommenders

个性化模态加权真的是个性化的吗？多模态推荐器中每用户加权声明的受控审计

Jingyuan Zheng, Xin Zhang, Yang Gu, Dongjing Wang, Yuxiang Wang, Xudong Shen, Haiping Zhang, Youhuizi Li, Dongjin Yu

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 该研究审计多模态推荐器的每用户模态加权是否真正个性化，发现单一全局模态权重已提供几乎全部内容增益，每用户加权无一致效用，建议将real-GM与real-shuf作为个性化声明的最低证据标准。

Look Twice: Training-Free Evidence Highlighting for Knowledge-based Visual Question Answering

二次审视：多模态大语言模型中的免训练证据高亮

Marco Morini, Sara Sarto, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出Look Twice框架，通过模型注意力模式识别相关视觉区域和文本证据，提升预训练MLLMs在多模态证据利用中的表现，实验显示在多个VQA基准上效果显著。

Comments Project Page: https://aimagelab.github.io/LoT/

Robust Scene Transfer for PointGoal Navigation via Privileged Sensor Guided Contrastive Learning

基于特权传感器引导对比学习的点目标导航鲁棒场景迁移

Amirhossein Zhalehmehrabi, Tiziano Tezze, Alberto Castelini, Alessandro Farinelli

机构 * University of Padua（帕多瓦大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种传感器引导的自适应对比学习框架，利用特权LiDAR传感器在训练时引导视觉编码器学习导航相关结构，并通过解耦表征学习与策略优化以及跨阶段域不匹配来提升策略级场景迁移能力。

Comments 8 pages, Accepted to IEEE Robotics and Automation Letters (RA-L)

Denoise-then-Retrieve: Text-Conditioned Video Denoising for Video Moment Retrieval

Weijia Liu, Jiuxin Cao, Bo Miao, Zhiheng Fu, Xuelin Zhu, Jiawei Ge, Bo Liu, Mehwish Nasim, Ajmal Mian

机构 * Southeast University（东南大学） ； The University of Adelaide（阿德莱德大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Western Australia（西澳大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Comments Accepted by IJCAI 2025

SEED: Simple ViT and Evolving Harness for Explainable Text Forgery Detection

SEED: 用于可解释文本伪造检测的简单ViT与演化框架

Kahim Wong, Kemou Li, Yiming Chen, Haiwei Wu, Jiantao Zhou

机构 * State Key Laboratory of Internet of Things for Smart City, Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系智慧城市物联网国家重点实验室） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） 纠错

专题命中 多模态生成 ：MLLM(summary_cn,abstract)；分类 cs.CV

AI总结 提出SEED系统，结合相似性引导数据增强、单一ViT联合检测与定位、以及基于MLLM的演化报告生成，在ACM MM 2026文本伪造挑战赛中获得第三名。

Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation

Vorch-IR：长视频统一多模态身份替换生成模型

Yaole Wang, Xiaoyu Chen, Xin Ma, Yang Ding, Gang Yue, Jingjing Chen, Lin Ma, Yaohui Wang

机构 * Vorch Team（Vorch团队） ； Fudan University（复旦大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Vorch-IR是基于LTX2的统一多模态视频身份替换框架，支持单人、双人身份及可选背景替换，通过自动数据构建流水线与时间重叠推理策略，实现长视频生成，在身份保留、动作保真等方面表现出色。

Comments Project page: https://vorch-project.github.io/Vorch-IR-project/

MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation

MMaDA-VLA: 基于统一多模态指令与生成的大型扩散视觉-语言-动作模型

Yang Liu, Pengxiang Ding, Tengyue Jiang, Xudong Wang, Wenxuan Song, Minghui Lin, Han Zhao, Hongyin Zhang, Zifeng Zhuang, Wei Zhao, Siteng Huang, Jinkui Shi, Donglin Wang

机构 * Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； East China University of Science and Technology（华东理工大学） ； Huawei Celia Team（华为Celia团队） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； OpenHelix Robotics 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)

AI总结 本文提出MMaDA-VLA模型，通过统一多模态理解与生成框架，解决机器人操控中的时序不一致和长周期误差累积问题，实现高效视觉-语言-动作生成。

Comments Accepted by ACM MM 2026

KVAE: Family of Tokenizers for Multimodal Generative Models

KVAE：用于多模态生成模型的分词器家族

Andrey Shutkin, Denis Parkhomenko, Ivan Kirillov, Kirill Chernyshev, Kirill Malakhov, Ilia Vasiliev, Ilia Trushkin, Valeriya Kobenko, David Chikovani, Alexander Ivanov, Azat Saginbaev, Egor Silvestrov, Ivan Mikheev, Konstantin Zakharov

机构 * Kandinsky Lab（坎丁斯基实验室） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 本研究提出用于多模态生成模型的KVAE分词器家族，含音频、图像、视频专用型号，性能优于多款前沿开源分词器，公开了训练细节与代码。

RealityBridge: Bridging Editable 3D Gaussian Splatting Driving Simulations and Real-World Videos

RealityBridge: 连接可编辑3D高斯泼溅驾驶模拟与现实世界视频

Zhenhua Wu, Yun Pang, Mingkun Chang, Yuwei Ning, Liangzhi Wang, Yi Xiao, Guanbin Li

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室） ； Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出RealityBridge框架，利用多模态控制和轻量级GateNet，结合自回归长视频训练与奖励引导后训练，缩小编辑后3DGS驾驶视频的Sim-to-Real差距，提升视觉真实感和时间一致性。

Comments Under submission

Vorch-Director: Interactive World Story Model via Noise-Aware Error Rectification

Vorch-Director：基于噪声感知误差校正的交互式世界故事模型

Lisai Zhang, Yidi Wu, Qi Liu, Xin Ma, Yang Ding, Gang Yue, Siqian Yang, Jingyuan Chen, Lin Ma, Yaohui Wang

机构 * Vorch Team（Vorch团队） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.CV

AI总结 Vorch-Director是一种噪声感知残差校正策略，基于LTX-2扩散Transformer，可提升视听长视频生成的稳定性与保真度，支持多镜头、多主体的参考引导生成。

Comments Project page: https://vorch-project.github.io/Vorch-Director-project

CoCo: Code as CoT for Text-to-Image Preview and Rare Concept Generation

CoCo：用于文本到图像预览和稀有概念生成的代码作为CoT

Haodong Li, Chunmei Qing, Huanyu Zhang, Dongzhi Jiang, Yihang Zou, Hongbo Peng, Dingming Li, Yuhong Dai, ZePeng Lin, Juanxi Tian, Yi Zhou, Siqi Dai, Jingwei Wu, Pheng-Ann Heng

机构 * South China University of Technology（南方科技大学） ； StepFun ； Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所） ； Nanyang Technological University（南洋理工大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 CoCo通过代码驱动的推理框架，提升文本到图像生成的精度和可控性，实现结构化图像生成和稀有概念生成。

Comments 21 pages, 7 figures, and 3 tables. Accepted to ECCV 2026

A Reverse-BSDE Diffusion Sampler

反向倒向随机微分方程扩散采样器

Jairon H. N. Batista, Flávio B. Gonçalves, Yuri F. Saporito, Rodrigo S. Targino

机构 * FGV EMAp 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 该研究将反向时间扩散采样器重新表述为前向-后向随机微分方程，证明其与原方法等价并分解近似误差，经合成目标实验验证，该方法对复杂全局结构目标的采样具有良好前景。

From Sports to Safety: Benchmarking Proactive Risk Inference in MLLMs

从运动到安全：多模态大语言模型（MLLM）主动风险推理基准测试

Jiawei Qiu, Yichen Xu, Jianzhe Ma, Mingyang Yu, Wenbin Zhu, Yang Han, Pinzheng Lv, Wenxuan Wang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） 纠错

专题命中 多模态评测 ：MLLM(title_cn,summary_cn)；分类 cs.CV、cs.CL

AI总结 该研究构建了运动主动风险推理基准SPRINT，评估发现当前MLLM危险感知率高但原因识别率低，仅具备表层主动安全能力，缺乏稳定的基于原因的早期预警。

Comments Preprints

M$^3$R-Bench: A Unified Benchmark for Evidence-Grounded Multimodal Metaphor Understanding

M$^3$R-Bench：一个用于基于证据的多模态隐喻理解的统一基准

Hong Jiang, Junnan Zhu, Jingwang Huang, Xiao Sun, Yuming Yang, Jiang Zhong, Ruirui Chen, Jingman Shi, Hao Wu, Nayu Liu, Xinyi Jiang, Kaiwen Wei

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出多模态隐喻理解基准M$^3$R-Bench，针对现有模型的跨模态证据-映射不匹配问题，构建M$^3$R-Reasoner方法，在多指标上超越GPT-5.5等现有模型。

Comments 6 figures and 5 tables. Hong Jiang, Junnan Zhu, and Jingwang Huang contributed equally. Jiang Zhong and Kaiwen Wei are corresponding authors. Code and data are available at https://github.com/hongshi4/M3R-Bench

MEC-Patch: Visible-Infrared Cross-Modal Adversarial Attack Driven by Intrinsic Material Emissivity Laws

MEC-Patch：基于本征材料发射率定律的可见-红外跨模态对抗攻击

Zhixiang Huang, Xinbo Nie, Wenxuan Wang, Lu Yang, Xin Li, Xuelin Qian, Peng Wang

专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.MM

AI总结 本文提出基于斯特藩-玻尔兹曼定律的MEC-Patch跨模态对抗攻击框架，结合NSGA-II与DAR策略，可欺骗多模态检测器并提升环境鲁棒性，为多模态感知系统安全评估提供新思路。

Comments Accepted by the 34th ACM International Conference on Multimedia (MM '26). Includes supplementary material

SciQNet: Two-Stage Multimodal Adaptation for Scientific Image Quality Assessment

SciQNet：面向科学图像质量评估的两阶段多模态适配框架

Yin-Loon Khor, Yi-Jie Wong, Jing Jie Tan, Ming Jie Lee

机构 * Universiti Malaya（马来亚大学） ； Universiti Tunku Abdul Rahman（拉曼大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出SciQNet两阶段多模态适配框架，在ICME 2026科学图像质量评估挑战赛评分赛道获第2，模型在SIQA-S、SIQA-U等指标表现优异，证实预训练数据相关性的重要性。

RESPClinBench: Benchmarking Multimodal Clinical Decision-Making and Longitudinal Disease Management in Respiratory Specialty Care

RESPClinBench：呼吸专科医疗中的多模态临床决策与纵向疾病管理基准测试

Mouxiao Bian, Zhi Chen, Ruiyao Chen, Lu Lu, Hengrui Liang, Chaoyi Huang, Yiluo Lin, Jingru Ding, Yun Zhong, Yueming Su, Jie Xu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Macau University of Science and Technology（澳门科技大学） ； First Affiliated Hospital of Guangzhou Medical University（广州医科大学附属第一医院） ； Guangzhou Institute of Respiratory Health（广州呼吸健康研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究开发了呼吸专科多模态临床决策与纵向疾病管理基准RESPClinBench，在两个数据集上评估7种大模型，识别模型在肺结节评估和COPD管理的局限，为模型选择提供临床依据。

HoloCount: A Holistic Visual Counting Benchmark for MLLMs

HoloCount：用于多模态大语言模型的整体视觉计数基准

Jinhong Deng, Limeng Qiao, Guanglu Wan

机构 * Meituan（美团） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态大语言模型定量精度瓶颈及现有计数基准局限，引入HoloCount基准，从语义、分析计数和鲁棒性测试三方面评估模型，经对20多个模型详尽评估，揭示其性能差距，为多模态系统发展提供路线图。

Comments Technical report

OneEmo: A Unified Multimodal Reasoning Model for Emotion Perception, Understanding, and Interaction

OneEmo：用于情感感知、理解与交互的统一多模态推理模型

Jiahao Huang, Zheng Lian, Jingyi Zhang, Zhide Chen, Xiaojiang Peng, Shaonan Wang

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 针对现有情感智能多模态模型忽略任务协同的问题，研究人员提出统一多模态情感模型OneEmo，构建EmoWorld-130K数据集并采用Emo-Chord强化学习策略，其性能优于同规模基线模型，参数远少于商业模型且结果具竞争力。

OmniMech: All-in-one Multimodal Mechanical Benchmark for 3D Reconstruction

OmniMech：面向3D重建的全合一多模态机械基准

Taiting Lu, Runze Liu, Ziwei Dong, Sisong Bei, Jingying Zeng, Mingjia Wang, Zhenghao Li, Kaiyuan Lin, Yi-Shan Wu, Yangshoudu Zheng, Hongxing Pan, Kai Zhang, Guoliang Shi, Ling Ma, Yifan Yang, Jiaying Lu, Qi He, Sung-Liang Chen, Yi-Chao Chen, Yincheng Jin, Mahanth Gowda

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 研究人员提出OmniMech——首个百万级多模态机械基准，针对工业制造数据的可执行CAD生成任务，含四类任务，实验发现现有模型在相关任务中存在不足，将发布资源支持后续研究。

CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning

CP-MoE：一致性保留的混合专家用于持续学习

Yang Liu, Toan Nguyen, Flora D. Salim

机构 * School of Computer Science and Engineering University of New South Wales（计算机科学与工程学院 新南威尔士大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出CP-MoE，一种基于瞬时专家的持续学习框架，通过一致性保留的路由偏置和瞬时专家引导的正则化机制，减少参数干扰和遗忘，同时保留跨任务知识转移。

Comments Accepted at CoLLAs 2026

A Survey of Deep Learning for Geometry Problem Solving

深度学习在几何问题求解中的应用综述

Jianzhe Ma, Wenxuan Wang, Qin Jin

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文综述了深度学习在几何问题求解中的应用，涵盖相关任务、方法、评估指标及未来方向，旨在提供实践参考以推动该领域发展。

Comments ACL 2026 Main Conference

Bias Analysis of L2 Speaking Assessment Systems Using Concept Activation Vectors

基于概念激活向量的L2口语评估系统的偏差分析

Arya Labroo, Mengjie Qian, Kate Knill

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 该研究将概念激活向量（CAV）分析扩展到BERT和Whisper两个L2口语评估系统，发现概念可恢复性及对概念的敏感性依赖于模型架构，稀疏自编码器（SAEs）可提升概念线性恢复性但会减弱激活空间敏感性。

Space2Ground 2.0: A Multi-Source Dataset and Framework for Agricultural Monitoring through Fusion of Street-Level and Satellite Imagery

Space2Ground 2.0：结合街景与卫星影像的农业监测多源数据集及框架

Iason Tsardanidis, Alkiviadis Koukos, George Choumos, Vasileios Sitokonstantinou, Charalampos Kontoes

机构 * Operational Unit BEYOND Centre, IAASARS, National Observatory of Athens（雅典国家天文台IAASARS研究所BEYOND中心业务单元） ； DHI Water & Environment（DHI水环境公司） ； Artificial Intelligence Group, Wageningen University & Research（瓦赫宁根大学及研究中心人工智能组） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究提出Space2Ground 2.0多源框架，整合卫星与街景影像构建农业监测基准数据集，实验证实街景影像可提升作物分类效果，为多模态农业监测提供了可复现方法。

Comments This paper has been accepted for presentation at the 45th EARSeL Symposium, Athens, Greece. The Space2Ground 2.0 dataset, is publicly available through Zenodo at: https://doi.org/10.5281/zenodo.21219542

Are Pretrained Image Matchers Good Enough for SAR-Optical Satellite Registration?

预训练图像匹配器在SAR-光学卫星配准中表现如何？

Isaac Corley, Alex Stoken, Gabriele Berton

机构 * Taylor Geospatial（泰勒地理空间公司） ； Independent Researcher（独立研究者） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文评估了24种预训练匹配器在跨模态卫星配准中的表现，发现显式跨模态训练并非必然提升性能，且部署协议对精度影响显著。

Comments CVPR 2026 Image Matching Workshop

Meaning over Motion: A Semantic-First Approach to 360° Viewport Prediction

基于意义而非运动：一种以语义为先的360度视口预测方法

Arman Nik Khah, Arvin Bahreini, Ravi Prakash

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.MM

AI总结 本文提出了一种基于语义的360度视口预测方法，通过整合认知意图和关联前瞻机制，有效缓解了眼跳陷阱问题，提升了视频流媒体的效率和用户体验。

Comments Following an internal verification, the authors identified an inconsistency in the experimental data pipeline that requires the reported results to be recomputed. We are withdrawing this version while we re-run the analysis

Visual Intention Grounding for Egocentric Assistants

面向第一人称视角助手的视觉意图定位

Pengzhan Sun, Junbin Xiao, Tze Ho Elden Tse, Yicong Li, Arjun Akula, Angela Yao

机构 * National University of Singapore（新加坡国立大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出首个第一人称视觉意图定位数据集EgoIntention，及推理至定位（RoG）指令微调方法，解决多模态模型在第一人称视角下的意图定位问题，实现了统一的视觉定位能力。

Unified Agent: Managing Interactions across Devices

统一智能体：管理跨设备交互

Xinshuang Liu, Runfa Blark Li, Shaoxiu Wei, Xin Lin, Truong Nguyen

机构 * University of California, San Diego（加利福尼亚大学圣迭戈分校） 纠错

专题命中 多模态Agent ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文针对现有智能体跨设备交互场景的不足，提出带紧凑状态设计的统一智能体，构建对应基准数据集，其性能显著优于多种现有设计，且在不同MLLM设置下表现鲁棒。