多模态大模型

A Model-Internal Protocol for Assessing Multimodal Models as Integrated Systems

你能看到你所绘制的内容吗？面向统一多模态模型整体评估的语义闭环框架

Hao Zhang, Jiaxin Qi, Zhijiang Tang, Jianqiang Huang

机构 * Hangzhou Institute for Advanced Study（杭州高等研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Computer Network Information Center（计算机网络信息中心） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对统一多模态模型的系统级评估缺口，提出无标注的SGU语义闭环框架，通过感知-生成-推理流程评估模型综合能力，发现高性能模型存在自生成上下文推理局限，为下一代模型开发提供基准基础。

Comments 21 pages, 8 figures, 12 tables. Title updated; author contribution and corresponding-author notes added. Hao Zhang and Jiaxin Qi contributed equally; Jianqiang Huang is the corresponding author

Verifiably grounded machine interpretation of lunar geology

月球地质学的可验证机器解释

Tom Sander, Kay Wohlfarth, Christian Wöhler

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本研究将地质知识推理方法嵌入多模态视觉-语言架构，构建可验证的月球地质学机器解释模型，结合开卷检索解决数值年龄定年依赖记忆先验的问题，明确自动地质推理的必要架构。

HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision

HT-Bench：基于自我中心视觉的灵巧全手触觉表示基准与学习

Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Wanlin Li, Chenxi Xiao, Ziyuan Jiao, Yuanxin Zhong

机构 * Beihang University（北航） ； Rimbot ； BUPT（北邮） ； ShanghaiTech University（上海科技大学） ； Tsinghua University（清华大学） ； CAS（中国科学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)

AI总结 提出HT-Bench多任务基准和HandTouch编码器，通过大规模自我中心视觉与全手触觉数据，在触觉相似性检索、掩码修复、视觉到触觉合成等任务上验证了触觉表示的有效性。

Comments 9pages, 4figures

Socioduality: A Relational Process Framework for Human-AI Interaction

社会对偶性：用于人机交互的关系过程框架

Mehmed Zahid Çögenli

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出社会对偶性这一关系过程框架，通过嵌套单元定义人机交互过程，经实验验证其可用于分析人机交互中贡献的形成及路径信息。

Comments 50 pages, 4 figures, 12 tables. Revised version adds a Supplementary Exploratory Analysis comparing Sociodual pathways with blind developmental/task-process segmentation, with granularity and record-format checks and an unseen-case extension. Main construct specification unchanged; minor editorial and terminology refinements

SportsGrounder: Proposal-Aided Interleaved Grounding for Dense Sports Video Reasoning

SportsGrounder：用于密集体育视频推理的提案辅助交错定位框架

Yizhi Li, Jiawei Jiang, Guanhong Wang, Yingcai Wu, Gaoang Wang

机构 * Zhejiang University（浙江大学） ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对LMMs难以处理密集体育视频细粒度推理的问题，提出SportsGrounder框架，结合IGF机制与AAS模块，在SoccerNet等数据集上实现最优准确率。

Comments ACMMM 2026

Self-supervised Learning Matters: A Simple Ensemble Solution for Micro-Gesture Recognition

自监督学习至关重要：一种用于微手势识别的简单集成方案

Tingyi Liu, Kun Li, Fei Wang, Junjie Chen, Zhiliang Wu, Jihao Gu, Haixu Liu, Dan Guo

机构 * Hefei University of Technology（合肥工业大学） ； United Arab Emirates University（阿拉伯联合酋长国大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Anhui Evolution Technology Co., Ltd.（安徽进化科技有限公司） ； Nanyang Technological University（南洋理工大学） ； University College London（伦敦大学学院） ； The University of Sydney（悉尼大学） ； Beijing QBoson Quantum Technology Co., Ltd.（北京量子芯科技有限公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种集成自监督RGB模型与监督多流模型的框架，在MiGA挑战赛微手势分类赛道取得第一名，通过自监督预训练提升性能，在iMiGUE测试集上达到74.419%的top-1准确率。

The Concept Allocation Zone: Tracking How Concepts Form Across Transformer Depth

概念分配区：追踪概念如何跨越Transformer深度形成

James Henry

机构 * Independent Researcher（独立研究者） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出概念分配区（CAZ）框架，通过层间度量（分离度、概念一致性、概念速度）检测概念在残差流中逐渐形成的深度区间，并在34个模型上验证了分离曲线的多模态性及温和CAZ的因果活性。

Comments v2: substantial revision. Cross-architecture ordering statistic and MHA/GQA cohort-split claim retracted per recomputation; corpus and companion-paper citations refreshed. See paper's "Changes from Version 1" section for the full list of superseded values

A Systematic Survey on Event Camera Representation Learning

事件相机表示学习系统综述

Hongwei Ren, Youxin Jiang, Tuopusen Huang, Lei Yu, Xiao Wang, Min Liu, Lin Wang, Xiangqian Wu

专题命中 视频多模态 ：multimodal(abstract)

AI总结 综述从原始事件流转换为可学习表示的角度，分类梳理了基于密集和稀疏表示的方法，分析其在结构规则性、时间保真度、稀疏保持和架构兼容性上的权衡，并总结基准与未来方向。

Comments Under Review

MKG-CARE: Case-Aware Reasoning with Multimodal Knowledge Graphs for Explainable Medical Image Diagnosis

基于多模态知识图谱和可靠性引导精化的病例感知医学图像分类

Yiming Xu, Yixuan Liu, Yuhang Zhang, Ling Zheng, Yihan Wang, Qi Song

机构 * University of Science and Technology of China（科学技术大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种基于多模态知识图谱的病例感知推理框架，通过构建结构化诊断记忆、自适应检索相似病例、知识传播与注入机制以及置信度校准的决策精化方案，提升医学图像分类的性能和可解释性。

Explainable Multimodal Depression Recognition in Clinical Interviews via PHQ-Aligned Symptom Summarization

基于PHQ对齐症状总结的临床访谈中可解释多模态抑郁识别

Wenjie Zheng, Qiming Xie, Jianfei Yu, Yang Wang, Lei Cao, Fei Wang, Shijin Wang, Rui Xia, Chengqing Zong

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究针对临床访谈多模态抑郁识别的可解释性不足问题，提出Explain-MDRC框架，构建含PHQ-8对齐注释的Explain-DAIC数据集，开发PhqCML模型，提升识别性能并提供可解释中间证据。

Which Negatives Matter? Ask Your Text Encoder: Adaptive Similarity Margins for Dense-Caption Retrieval

哪些负样本重要？询问你的文本编码器：用于密集字幕检索的自适应相似度间隔

Haoyue Liu, Ye Chen, Zhichao Wang, Xiaoying Tang

机构 * Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)（深圳未来智能网络研究院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

AI总结 该研究针对密集字幕检索中InfoNCE目标函数过早饱和的问题，提出HN-CLIP方法，通过文本编码器的文本-文本几何构建自适应相似度间隔，在四个基准上提升R@1，且训练速度更快，仅用20%数据即可达最强基线。

BRIDGE: Behavior-Guided Residual Integration with Dual-Frequency Graph Evidence

基于行为的候选校准用于多模态推荐

Zesheng Li, Chengchang Pan, Honggang Qi

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出了一种基于行为的候选校准方法，通过将训练-only的共用户重叠转换为带符号的候选证据，并仅应用于多模态骨干网络生成的短名单，以提高多模态推荐系统的性能。

Comments 12 pages, 3 figures. Accepted at the 35th ACM International Conference on Information and Knowledge Management (CIKM 2026). Project page: this https URL (https://lizesheng13.github.io/bridge/)

DiffDef: A Diffusion Model for Generating Multimodal Goal Shapes From Demonstrations for Deformable Object Manipulation

DiffDef：一种用于从演示中生成可变形物体操纵的多模态目标形状的扩散模型

Bao Thach, Tanner Watts, Siyeon Kim, Britton Jordan, Mohanraj Shanthi, Shing-Hei Ho, James M. Ferguson, Tucker Hermans, Alan Kuntz

机构 * Robotics Center and Kahlert School of Computing, University of Utah（大学计算机学院和机器人中心，犹他大学） ； NVIDIA Corporation（英伟达公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 针对现有可变形物体操纵方法依赖不切实际的目标获取方式、无法处理多模态目标的问题，提出DiffDef扩散模型，学习可行目标形状分布，在仿真和两种物理机器人平台上验证其可提升任务性能。

Comments Published and presented at ICRA 2026. 8 pages, 20 figures

GEM: Geometric Erasure by Contrastive Velocity Matching in Rectified Flows

整流流中对比速度匹配的几何擦除

Jonas Henry Grebe, Tobias Braun, Anna Rohrbach, Marcus Rohrbach

机构 * University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出GEM框架，通过对比速度匹配实现整流流模型中的概念擦除，结合生成流网络与教师引导的流匹配，有效抑制有害内容生成。

Reading Between the Pixels: An Inscriptive Jailbreak Attack on Text-to-Image Models

在像素之间阅读：一种针对文本到图像模型的 inscription 性 jailbreak 攻击

Zonghao Ying, Haowen Dai, Lianyu Hu, Zonglei Jing, Quanchen Zou, Yaodong Yang, Aishan Liu, Xianglong Liu

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出 Etch 框架，通过分解对抗提示为语义伪装、视觉空间锚定和字形编码三层，实现对文本到图像模型的 inscription 性 jailbreak 攻击，验证了现有安全机制的不足。

Exploiting Completeness Perception with Diffusion Transformer for Unified 3D MRI Synthesis

利用扩散变换器的完整性感知实现统一的3D MRI合成

Junkai Liu, Nay Aung, Theodoros N. Arvanitis, Joao A. C. Lima, Steffen E. Petersen, Le Zhang

机构 * School of Engineering, University of Birmingham, UK（伯明翰大学工程学院） ； William Harvey Research Institute, Queen Mary University London, UK（女王玛丽大学伦敦威廉·哈里维研究所） ； Barts Heart Centre, St Bartholomew’s Hospital, Barts Health NHS Trust, UK（巴特勒心脏中心，圣巴塞洛缪医院，巴特勒健康 NHS信托） ； Division of Cardiology, Johns Hopkins University School of Medicine, US（约翰霍普金斯大学医学院心脏病科） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出CoPeDiT模型，通过完整性感知机制提升3D MRI合成的语义一致性与鲁棒性。

Comments Accepted to TMLR

Guided Diffusion by Optimized Loss Functions on Relaxed Parameters for Inverse Material Design

通过放松参数优化损失函数引导扩散用于逆材料设计

Jens U. Kreber, Christian Weißenfels, Joerg Stueckler

机构 * Intelligent Perception in Technical Systems Group, University of Augsburg, Germany（技术系统智能感知组，乌尔姆大学，德国） ； Faculty of Mathematics, Natural Science and Engineering, University of Augsburg, Germany（数学、自然科学与工程学院，乌尔姆大学，德国） ； Centre for Advanced Analytics and Predictive Sciences, University of Augsburg, Germany（高级分析与预测科学中心，乌尔姆大学，德国） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 通过优化损失函数引导扩散模型，用于逆材料设计，实现高效且多样化的设计生成。

Diffusion-based Denoising Beats Vanilla Score Matching in Parameter Estimation: A Theoretical Explanation

基于扩散的去噪在参数估计中优于普通得分匹配：一个理论解释

Benedikt Lütke Schwienhorst, Nadja Klein, Johannes Lederer

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文通过理论分析证明，对于具有分离模态的多峰分布，基于扩散的去噪得分匹配估计器（DDSME）相比普通得分匹配估计器（SME）具有更优的误差界，并解释了扩散方法优越性的原因。

Reinforcing Egocentric Spatial Perception in Multimodal Large Language Models via Ego Scene Augmentation

通过自我场景增强在多模态大语言模型中强化自我中心空间感知

Chi Kit Wong, Ye Pan, Yuanhuiyi Lyu, Xu Zheng, Zidong Cao, Lutao Jiang, Zixin Zhang, Huiyu Zhou, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Guangxi Zhuang Autonomous Region Information Center（广西壮族自治区信息中心） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究如何强化多模态大语言模型的自我中心空间感知，提出自我场景增强框架ESA，利用自我元素图作为中间表示，通过视觉基础模型增强空间感知，在EgoTextVQA基准上取得显著性能提升。

Comments 14 pages, 8 figures. Chi Kit Wong and Ye Pan contributed equally. Code: this https URL (https://github.com/Chikit-WONG/spatialGraph)

Mitigating GenAI-Powered Evidence Pollution for Out-Of-Context Misinformation Detection

缓解生成式人工智能（GenAI）驱动的证据污染以检测脱离上下文的虚假信息

Zehong Yan, Peng Qi, Wynne Hsu, Mong Li Lee

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.MM

AI总结 该研究针对GenAI污染证据削弱OOC多模态虚假信息检测的问题，提出跨模态证据重排序与声明-证据推理策略，在基准数据集上验证了其对现有检测器鲁棒性的提升效果。

Comments 15 pages, 11 figures

XDen-1K: A Density Field Dataset of Real-World Objects

XDen-1K：一个现实世界物体的密度场数据集

Jingxuan Zhang, Tianqi Yu, Yatu Zhang, Jinze Wu, Kaixin Yao, Jingyang Liu, Yuyao Zhang, Jiayuan Gu, Jingyi Yu

机构 * ShanghaiTech University（上海科技大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 XDen-1K通过提供大规模现实世界物体的多模态数据，推动物理基础视觉推理和具身AI的研究。

Comments Project Page: this https URL (https://xden-1k.github.io/)

Object-aware graph matching network for cross-domain remote sensing image localization

面向跨域遥感图像定位的感知对象图匹配网络

Tao Liu, Kan Ren, Qian Chen

机构 * Jiangsu Key Laboratory of Spectral Imaging and Intelligent Sense, Nanjing University of Science and Technology（江苏光谱成像与智能感知重点实验室，南京理工大学） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对跨域跨模态遥感图像地理定位难题，提出感知对象图匹配框架，构建IRVL328数据集，在SUES-200、IRVL328等数据集上取得良好性能。

ROBOSHACKLES: A Safety Dataset for Human-Injury Prevention in Embodied Foundation Models

ROBOSHACKLES: 面向具身基础模型中人体伤害预防的安全数据集

Zhuowen Yin, Chongyang Liu, Wenzhang Yang, Renjue Li, Yinxing Xue

机构 * Institute of Al for Industries, Chinese Academy of Sciences（工业人工智能研究所，中国科学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 为解决机器人伤害人类数据难以安全收集的问题，提出基于真实观测的安全数据构建流水线，生成包含1万条视频的ROBOSHACKLES数据集，涵盖直接和间接伤害类别，评估发现现有模型在安全关键场景下100%产生不安全动作。

SPyCE: Skill-Policy Co-evolution for Multimodal Agents

SPyCE：多模态智能体的技能-策略协同进化

Ru Zhang, Weijie Qiu

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究多模态智能体，提出SPyCE框架，将推理轨迹提炼为分层技能库与策略协同进化，执行技能捕获局部操作，工作流技能编码高级先验，实验证明该框架优于基线，为构建多模态智能体提供新范式。

Comments Accepted by ACM MM 2026

CharTool: Tool-Integrated Visual Reasoning for Chart Understanding

CharTool: 集成工具的视觉推理用于图表理解

Situo Zhang, Yifan Zhang, Zichen Zhu, Da Ma, Lei Pan, Danyang Zhang, Zihan Zhao, Lu Chen, Kai Yu

机构 * X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院X-LANCE实验室） ； Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室） ； Suzhou Laboratory（苏州实验室） ； AISpeech Co., Ltd.（思必驰科技股份有限公司） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出CharTool，通过集成工具提升多模态大语言模型对图表的理解能力，通过双重数据管道和代理强化学习，在六个图表基准测试中取得显著提升。

Comments Accepted by ACMMM 2026

Every Picture Tells a Dangerous Story: Memory-Augmented Multi-Agent Jailbreak Attacks on VLMs

每幅画都讲述一个危险的故事：基于内存增强的多智能体 jailbreak 攻击 VLMs

Jianhao Chen, Shiqin Wang, Haoyang Chen, Hanjie Zhao, Haozhe Liang, Zheng Wang, Tieyun Qian

机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） ； Tianjin University（天津大学） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 本文提出MemJack框架，通过视觉语义引导多智能体协作，利用迭代空域投影过滤器提升对VLMs的攻击成功率，实验表明其在COCO数据集上达到71.48%的攻击成功率。

Comments This work was accepted by WISE2026. 15 pages, 2 figures

UAV-Based Infrastructure Inspections: A Literature Review and Proposed Framework for AEC+FM

基于无人机的基础设施检查：面向AEC+FM的文献综述与提出框架

Amir Farzin Nikkhah, Dong Chen, Bradford Campbell, Somayeh Asadi, Arsalan Heydarian

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文综述了无人机在基础设施检查中的应用，提出框架整合多模态数据与Transformer架构，以提高检测准确性和可靠性，未来研究方向包括轻量级AI模型和合成数据集。

Comments Accepted for publication in the Proceedings of the International Conference on Computing in Civil Engineering (i3CE 2025)

Deep Multimodal Fusion Detection through Spatial Mask and Channel Fusion

基于空间掩码与通道融合的深度多模态融合检测

Guandi Wang, Ming Li, Yunsen Xing, Junle Liu

机构 * KTH Royal Institute of Technology（KTH皇家理工学院） ； University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文针对现有多模态融合检测的过拟合问题，提出Attention-Driven Complementarity Resampling框架，通过语义掩码交换与可学习通道竞争实现跨模态目标检测的性能提升，在多数据集上取得了有竞争力的结果。

FermatSyn: SAM2-Enhanced Bidirectional Mamba with Isotropic Spiral Scanning for Multi-Modal Medical Image Synthesis

FermatSyn: 基于改进双向Mamba的多模态医学图像合成方法

Feng Yuan, Yifan Gao, Haoyue Li, Xin Gao

机构 * USTC（中国科学技术大学） ； SII（上海信息研究所） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 FermatSyn通过改进的双向Mamba结合Fermat螺旋扫描策略，解决多模态医学图像合成中全局一致性与局部细节的平衡问题，提升合成图像质量与临床应用价值。

Comments MICCAI 2026

Remask, Don't Replace: Token-to-Mask Refinement in Diffusion Language Models

重新标记，而非替换：扩散大语言模型中的令牌到标记细化

Lin Yao

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出Token-to-Mask（T2M）方法，通过重新标记可疑令牌而非覆盖来提升扩散大语言模型的准确性，在AIME 2025和CMATH上分别提升13.33和8.56个百分点。