多模态大模型

From Hallucination to Grounding: Diagnosing Visual Spatial Intelligence via CRISP

从幻觉到扎根：通过CRISP诊断视觉空间智能

Zhixing Li, Yinan Yu

机构 * Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出CRISP诊断范式，通过一致性评估解耦感知与推理，揭示闭源模型存在度量估计不准确和未利用隐式结构表示的问题，开源模型则受限于多跳组合推理能力。

Comments Accepted to ECCV 2026

TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

TraMP-LLaMA: 基于解耦指令微调的生成式可解释性用于面部表情质量评估

Shuchao Duan, Alan Whone, Hossein Rahmani, Jun Liu, Majid Mirmehdi

机构 * School of Computer Science University of Bristol（布里斯托大学计算机科学学院） ； Translational Health Sciences University of Bristol（布里斯托大学转化健康科学学院） ； School of Computing and Communications Lancaster University（兰卡斯特大学计算与通信学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 提出TraMP-LLaMA多模态框架，融合外观和轨迹特征，采用解耦指令微调策略，联合预测严重度并生成结构化文本报告，在PFED5-plus数据集上优于基线方法。

GAVEL: Grounded Caption Error Verification and Localization

GAVEL：基于视觉定位的标题错误验证与定位

Zixian Gao, Atsushi Hashimoto, Kuniaki Saito

机构 * OMRON SINIC X Corporation（欧姆龙SINIC X公司） 纠错

专题命中 多模态评测 ：image-text(abstract)；分类 cs.CL

AI总结 提出GAVEL任务，联合解决图像-文本对的验证、解释和定位问题，构建数据集和基准，监督基线在定位和解释指标上持续改进。

Comments conference

PressMimic: Pressure-Guided Motion Capture and Control for Humanoid Robot Imitation

PressMimic: 压力引导的动作捕捉与控制用于人形机器人模仿

Yi Lu, Shenghao Ren, Tianyu Xiong, Zhaoxiang Li, Jiaqi Li, He Zhang, Tao Yu, Qiu Shen, Xun Cao

机构 * School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院） ； Key Laboratory of Optoelectronic Devices and Systems with Extreme Performances of MOE, Nanjing University（南京大学极端性能光电技术与系统教育部重点实验室） ； BNRist, Tsinghua University（清华大学北京信息科学与技术国家研究中心） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 提出PressMimic框架，通过压力模态融合RGB估计3D姿态和全局运动，并利用压力监督策略实现物理一致的接触模式，提升人形机器人模仿的准确性和稳定性。

PhysEditWorld: A Large-Scale Dataset Toward Physics-Editable World Models

PhysEditWorld: 一个面向物理可编辑世界模型的大规模数据集

Bin Hu, Yanwen Ma, Jiehui Huang, Ziliang Zhang, Haoning Wu, Ruicheng Zhang, Yaokun Li, Zijun Wang, Yuechen Zhang, Chun-Mei Tseng, Hanhui Li, Shengju Qian, Jun Zhou, Kaipeng Zhang, Xiaodan Liang, Jiaya Jia, Xiu Li

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Beihang University（北京航空航天大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Independent Researcher（独立研究者） ； Shanghai Jiao Tong University（上海交通大学） ； Sun Yat-sen University（中山大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tencent（腾讯） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 提出PhysEditWorld数据集，通过UE5重放渲染管线生成多重力配置下的动作条件视频，支持可控物理编辑，用于改进世界模型的动力学建模和一致性。

Comments Project page: https://yizhiqianbi.github.io/physeditworld/

LAMP: Lane-Aligned Motion Primitives for Feasible Trajectory Prediction

LAMP: 面向可行轨迹预测的车道对齐运动基元

Sangjin Han, Hoseong Jung, Jeongtae Her, Changhyun Choi, H. Jin Kim

机构 * Seoul National University（首尔大学） ； Hyundai Motor Company（现代汽车公司） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出LAMP框架，利用VQ-VAE学习形状感知运动基元作为离散意图查询，并结合车道拓扑先验的可行性意图选择器，在保持行为多样性的同时提升预测轨迹的拓扑一致性和可行性。

Comments IEEE ITSC 2026, 6 pages

DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues

DiCoBench: 通过差异性和共性视觉线索进行多图像细粒度感知的基准测试

Geng Li, Yuxin Peng

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 提出DiCoBench，一个包含765个样本的高分辨率多图像基准，通过差异性和共性视觉线索评估多模态大模型的细粒度感知能力，发现顶尖模型与人类准确率（98.3%）差距显著。

Comments Accepted by ECCV 2026. Project page with code: https://github.com/PKU-ICST-MIPL/DICO_Bench_ECCV2026

Simulating Unified Tensor Resharding in heterogeneous AI systems

模拟异构AI系统中的统一张量重分片

Sumit Kumar, Sayantan Dasgupta, Kushal Mitra, Meet Dadhania, Rohan Sudhir Basugade, Praveen Tammana, Satananda Burla, Abed Mohammad Kamaluddin, Rinku Shah

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出异构感知模拟器Xsim，通过非均匀负载划分、定制环构建和分块分区等方法，准确模拟异构分布式LLM训练，误差小于5%。

Listening Like a Judge: A Music-Aware Framework for Automatic Singing Performance Evaluation

像法官一样聆听：一种用于自动歌唱表现评估的音乐感知框架

Neelam Saini, Sourav Ghosh

机构 * Samsung R&D Institute Bangalore, India（三星研发中心班加罗尔，印度） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出MusicJudge框架，通过模态引导的块对齐多模态分析，结合歌词正确性与音高节奏保真度，实现自动歌唱质量评估，实验验证与人类专家判断高度一致。

Comments Accepted at Interspeech 2026. Supplementary material: https://neelam472.github.io/MusicJudge/Supp.pdf (backup mirror: https://sourav-ghosh.github.io/MusicJudge/Supp.pdf )

Perception, Verdict, and Evolution: Hindsight-Driven Self-Refining Forensics Agent for AI-Generated Image Detection

感知、判断与进化：基于事后洞察的自优化取证智能体用于AI生成图像检测

Yangjun Wu, Keyu Yan, Yu Liu, Jingren Zhou, Fei Huang, Rong Zhang, Zhou Zhao, Fei Wu

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出ForeAgent框架，采用感知-判断架构融合多视图线索，并引入事后洞察驱动的自优化策略，通过采样-反思-进化范式持续提升检测能力，在多个基准上达到最优性能。

Comments 10 pages

Multi-Modal Environment-Aware Beam Management for Massive MIMO: A Geometry-Driven Virtual Base Station Framework

大规模MIMO的多模态环境感知波束管理：一种几何驱动的虚拟基站框架

Yijie Bian, Wei Guo, Jie Yang, Shenghui Song, Jun Zhang, Shi Jin, Khaled B. Letaief

专题命中 多模态Agent ：multi-modal(title,abstract)

AI总结 提出几何驱动框架，利用3D LiDAR点云和位置信息构建虚拟基站数据库，通过镜像对称建模主导反射路径，实现粗信道重建和低开销波束训练，并采用双智能体深度强化学习协调波束选择，提升波束管理效率。

DocArena: Turning Raw Documents into Controllable Training Environments for Document Search Agents

DocArena：将原始文档转化为可控的训练环境用于文档搜索代理

Jiamian Wang, Ruiyi Zhang, Tong Yu, Jing Shi, Samyadeep Basu, Rajiv Jain, Zhiqiang Tao, Tong Sun

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； Adobe Research（Adobe研究院） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出DocArena自动化流程，通过多模态文档结构化、推理型QA对构建和质量控制，生成可控训练环境，使基于文本LLM的搜索代理在多模态文档检索和问答中取得最佳性能。

Comments search agent for documents

Empowering GUI Agents via Autonomous Experience Exploration and Hindsight Experience Utilization for Task Planning

通过自主经验探索与事后经验利用赋能GUI智能体任务规划

Tianyi Men, Zhuoran Jin, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出PEEU方法，通过自主探索环境发现经验并利用事后经验合成严格对齐的高层训练数据，提升小型多模态大语言模型在GUI任务中的规划与跨网站泛化能力。

Comments Accepted to ACL 2026 Main

Advancing Omnimodal Embodied Agents from Isolated Skills to Everyday Physical Autonomy

推进全模态具身智能体：从孤立技能到日常物理自主

Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出OmniAct框架，通过分层异步架构统一规划、记忆和验证，实现机器人在非结构化环境中的持久自主，在40项真实任务中提升成功率并降低token消耗。

Socratic agents for autonomous scientific discovery in high-dimensional physical systems

用于高维物理系统中自主科学发现的苏格拉底式智能体

Xianrui Zeng, Pengfei Liu, Yirui Zang, Yang Shen, Fei Yu, Chunlei Yu, Minghao Liu, Yang Du

机构 * Hangzhou Institute for Advanced Study（杭州高等研究 institute） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Institute of Optics and Fine Mechanics（上海光学精密机械研究所） ； Department of Thoracic Surgery（胸外科部门） ； Shanghai Pulmonary Hospital（上海 pulmonary 医院） ； School of Medicine（医学院） ； Tongji University（同济大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 提出多智能体AI科学家AHOIS，通过苏格拉底式诘问实现闭环实验中的自主科学发现，在高维多模光纤平台上自主验证随机干涉编码假设、发现自适应稀疏测量策略并诊断故障模式。

Comments 27 pages,5 figures

Agentic Collaborative Cognition for Zero-Shot 3D Understanding

零样本3D理解的智能体协作认知

Wenxin Wang, Bo Zhang, Feng Chen, Zixuan Wang, Wen Li, Changsheng Li, Yinjie Lei

机构 * Sichuan University（四川大学） ； Adelaide University（阿德莱德大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出协作多智能体框架，通过规划智能体补充视角和感知智能体构建结构化认知地图，实现零样本3D理解，在6个基准上达到最优性能。

Comments Accepted by ECCV 2026. Project page: https://zhangbo135.github.io/agentic-collaborative-cognition/

Monte Carlo Tree Search with Tensor Factorization for Optimization Problems in Robotics

基于张量分解的蒙特卡洛树搜索用于机器人优化问题

Teng Xue, Yan Zhang, Amirreza Razmjoo, Sylvain Calinon

机构 * Idiap Research Institute（Idiap研究机构） ； École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑分校） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 提出TTTS算法，利用张量分解压缩决策树分支间的隐式相关性，以线性复杂度降低MCTS的计算和存储开销，在逆运动学、运动规划、多阶段操作等任务中实现高效全局优化。

Comments 25 pages, 17 figures

Modeling Local, Global, and Cross-Modal Context in Multimodal 3D MRI

多模态3D MRI中的局部、全局和跨模态上下文建模

Minh Duc Do, Tillmann Rheude, Noel Kronenberg, Roland Eils, Benjamin Wild

机构 * Berlin Institute of Health at Charité - Universitätsmedizin Berlin（柏林健康研究所，柏林夏里特医学院） ； Health Data Science Unit, Heidelberg University Hospital and BioQuant（海德堡大学医院与BioQuant健康数据科学部） ； Intelligent Medicine Institute, Fudan University（复旦大学智能医学研究所） ； Department of Mathematics and Computer Science, Freie Universität Berlin（柏林自由大学数学与计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV

AI总结 提出MICViT，一种3D视觉Transformer，通过四种注意力机制显式建模模态内和跨模态的局部与全局交互，在多数据集脑龄预测任务中优于现有方法。

TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference

TOPS：通过构建令牌最优保留集实现高效多模态大语言模型推理的第一性原理视觉令牌剪枝

Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； University of Electronic Science and Technology of China（电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 提出TOPS方法，基于信息论分析确立任务相关性、信息覆盖和语义多样性三大原则，无训练且模型无关地剪枝视觉令牌，在LLaVA-NeXT上剪除77.8%令牌仍保持甚至提升性能。

Comments 27 pages, 18 figures

VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

VisNec: 衡量和利用视觉必要性进行多模态指令微调

Mingkang Dong, Hongyi Cai, Jie Li, Sifan Zhou, Bin Ren, Kunyu Peng, Yuqian Fu

机构 * SJTU（上海交通大学） ； Universiti Malaya（马来亚大学） ； CMU（卡内基梅隆大学） ； MBZUAI（穆萨台普大学人工智能研究所） ； KIT（卡尔斯鲁厄理工学院） ； KAUST（王国立阿联酋科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出VisNec分数衡量视觉输入在多模态指令微调中的边际贡献，结合语义聚类选择高必要性样本，在15%数据上达到全数据性能的100.2%。

Comments Accepted at ECCV 2026. Project Page: https://dmk041218.github.io/VisNec/

OctoSense: Self-Supervised Learning for Multimodal Robot Perception

OctoSense: 多模态机器人感知的自监督学习

Anthony Bisulco, Jeremy Wang, Kostas Daniilidis, Randall Balestriero, Pratik Chaudhari

专题命中 多模态训练与对齐 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

AI总结 提出OctoSense传感器平台和数据集，通过“晚融合”掩码自编码器实现多模态自监督学习，在多种退化条件下鲁棒预测光流、深度、语义分割和自运动。

Methane-Plume Segmentation From Hyperspectral Satellite Imagery Via Multimodal Deep Learning

基于多模态深度学习的高光谱卫星图像甲烷羽流分割

Brayan Quintero, Jeferson Acevedo, Samuel Traslaviña, Hoover Rueda-Chacón

机构 * Department of Computer Science, Universidad Industrial de Santander（计算机科学系，圣安德烈斯工业大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出一种多模态深度学习模型，集成特征引导的甲烷增强机制，在MPDataset上取得优于现有方法的性能，实现高精度与高效率的甲烷羽流分割。

Comments Accepted at IEEE International Geoscience and Remote Sensing Symposium (IGARSS) 2026

DynFS-MoE: Dynamic Functional-Structural Mixture-of-Experts for Post-Traumatic Epilepsy Diagnosis

DynFS-MoE: 用于创伤后癫痫诊断的动态功能-结构混合专家模型

Jun-En Ding, Spencer Chen, Henry Noren, Daniel Valdivia, Christine Yohn, Suhina Patel, Taylor Zink, Hai Sun, Feng Liu

机构 * Department of Systems Engineering, Stevens Institute of Technology（史蒂文斯理工学院系统工程系） ； Department of Neurosurgery, Robert Wood Johnson Medical School, Rutgers University（罗格斯大学罗伯特·伍德·约翰逊医学院神经外科） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出动态多模态混合专家框架，通过时间感知功能-结构编码和类别条件专家路由，融合功能与结构MRI，在三个二分类任务中优于静态融合基线，并揭示有意义的ROI交互。

Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs

保持VIGILant：通过多模态大语言模型中的反事实视觉对齐缓解视觉懒惰

Xi Xiao, Chen Liu, Chih-Ting Liao, Yunbei Zhang, Qizhen Lan, Yuxiang Wei, Lin Zhao, Janet Wang, Jianyang Gu, Muchao Ye, Tianyang Wang, Hao Xu

机构 * UAB（阿拉巴马大学伯明翰分校） ； Yale（耶鲁大学） ； UNSW（新南威尔士大学） ； Tulane（杜兰大学） ； Georgia Tech（佐治亚理工学院） ； NEU（东北大学） ； OSU（俄亥俄州立大学） ； UIowa（爱荷华大学） ； Harvard（哈佛大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出VIGIL框架，通过强化学习后训练最大化视觉输入与生成响应间的互信息，惩罚“盲目自信”实例，有效缓解MLLMs的视觉懒惰问题，在幻觉和推理基准上优于现有方法。

Comments ECCV 2026

Pseudo-Text-Conditioned 3D Grounding DINO for Organ Localization in Abdominal CT

伪文本条件3D Grounding DINO用于腹部CT器官定位

Siqi Chen, Han Gong, Keyi Hou, Jingxuan Yang, Sheethal Bhat, Andreas Maier

机构 * Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出CT-3GDINO，一种轻量级3D检测器，通过冻结伪文本类令牌替代真实文本编码器，实现腹部CT中五个器官的定位，在193个体积上达到0.5830 mAP。

Comments 24 pages, 17 figures

Liquid Fusion of Heterogeneous Representations Towards General Salient Object Detection

异构表示的液态融合用于通用显著目标检测

Ke Chen, Ling Zhou, Guangqi Jiang, Gengshen Wu, Yi Liu, Shoukun Xu

机构 * School of Computer Science and Artificial Intelligence, Changzhou University（常州大学计算机科学与人工智能学院） ； College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出液态融合网络（LFNet），通过动态门控机制融合SSM（VMamba）和CNN（ConvNeXt）的异构表示，并设计显著引导上采样（SGU）算子，在五个任务上实现SOTA性能。

Comments 20 pages, 5 figures

Multi-modality Image Fusion under Adverse Weather: Mask-Guided Feature Restoration and Interaction

恶劣天气下的多模态图像融合：掩码引导的特征恢复与交互

Xilai Li, Xiaosong Li, Haishu Tan, Tao Ye, Huafeng Li, Hongbin Wang

机构 * Foshan University（佛山大学） ； China University of Mining and Technology, Beijing（中国矿业大学（北京）） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出一种掩码引导的多模态图像融合方法，通过伪真实标签和掩码生成机制同时实现特征恢复与跨模态交互，在合成和真实数据集上超越现有方法。

Comments Accepted at ECCV 2026

PathFLIP: Fine-grained Language-Image Pretraining for Versatile Computational Pathology

PathFLIP：面向多功能计算病理学的细粒度语言-图像预训练

Fengchun Liu, Songhan Jiang, Linghan Cai, Ziyue Wang, Yongbing Zhang

机构 * Harbin Institute of Technology, Shenzhen, School of Computer Science and Technology（哈尔滨工业大学（深圳）计算机科学与技术学院） ； National University of Singapore, Department of Electronic and Computer Engineering（新加坡国立大学电子与计算机工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出PathFLIP框架，通过将幻灯片级描述分解为区域级子描述并生成文本条件区域嵌入，实现细粒度视觉-语言对齐，在多个基准上优于现有模型且训练数据更少。

Utilizing Cognitive Signals Generated during Human Reading to Enhance Keyphrase Extraction from Microblogs

利用人类阅读过程中产生的认知信号增强微博关键词抽取

Xinyi Yan, Yingyi Zhang, Chengzhi Zhang

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 研究利用脑电图（EEG）和眼动追踪信号增强微博关键词抽取（AKE），发现EEG特征带来最大性能提升，两种信号部分互补但存在冗余。

Journal ref IPM, 2024

Learning Probabilistic Filters with Strictly Proper Scoring Rules

使用严格适当评分规则学习概率滤波器

Eviatar Bach, Ricardo Baptista, Jochen Bröcker, Bohan Chen, Andrew Stuart

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 提出基于严格适当评分规则和Transformer的集成滤波器PSEF，通过合成轨迹训练分析映射逼近滤波分布，在非线性非高斯问题上优于经典方法。

Comments 87 pages, 17 figures