ACM MM

HalluScope: Fine-grained Hallucination Diagnosis for Multimodal Large Language Models

HalluScope：多模态大语言模型的细粒度幻觉诊断

Weilin Jin, Mingyu Wang, Wenbo Li, Haoyang Huang, Yifan Wu, Ying Li, Gang Huang, Zhonghai Wu

机构 * Peking University（北京大学） ； Joy Future Academy（京东探索研究院） 纠错

AI总结 研究针对多模态大语言模型的幻觉问题，提出细粒度幻觉诊断任务，开发数据集并设计奖励函数，训练HalluScope-4B和HalluScope-8B模型，在多个基准测试中达最优，其诊断解释能有效指导目标模型纠正幻觉。

Comments Accepted to ACM Multimedia 2026 (ACM MM 2026)

Exo2EgoPose: Leveraging Exocentric Demonstrations for Vision-Language guided Egocentric 3D Hand Pose Forecasting

Exo2EgoPose：利用外心演示进行视觉语言引导的自我中心3D手部姿态预测

Zhaofeng Shi, Heqian Qiu, Lanxiao Wang, Xiang Li, Hongliang Li

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

AI总结 研究视觉语言引导的自我中心3D手部姿态预测任务，提出Exo2EgoPose框架，利用外心演示补偿自我中心视角线索不足，含双层外心重建模块和全局到局部调制模块，实验显示该方法优于现有技术，具备人机转移能力且有改进。

Comments Accepted by ACMMM 2026

Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation

通过双阶段蒸馏实现无约束事件-图像特征匹配的无标签目标域适应

Zhonghua Yi, Hao Shi, Qi Jiang, Yufan Zhang, Kailun Yang, Kaiwei Wang

机构 * Zhejiang University（浙江大学） ； Hunan University（湖南大学） ； National University of Defense Technology（国防科技大学） ； Ant Group（蚂蚁集团） 纠错

AI总结 研究针对无约束事件-图像特征匹配问题，提出双阶段训练范式，先进行无标签蒸馏预训练，再引入极线引导自蒸馏框架，在新的跨模态评估基准上实验，取得领先的姿态估计性能。

Comments Accepted to ACM MM 2026. The source code and benchmark will be made publicly available at https://github.com/ZhonghuaYi/nexus2-official

Latent Denoising Improves Visual Alignment in Large Multimodal Models

潜在去噪提升大多模态模型的视觉对齐

Dhruv Parikh, Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna

机构 * University of Southern California（南加州大学） ； DEVCOM ARL Army Research Office（DEVCOM ARL陆军研究办公室） 纠错

AI总结 本文提出通过潜在去噪框架改进大多模态模型的内部视觉特征对齐和多模态理解，采用掩码和高斯噪声混合腐蚀视觉token，并利用解码器恢复教师特征，提升模型在分布偏移下的鲁棒性。

Comments ACM MM 2026

AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition

AffectAgent：协同多智能体推理用于检索增强的多模态情感识别

Zeheng Wang, Zitong Yu, Yijie Zhu, Bo Zhao, Haochen Liang, Taorui Wang, Wei Xia, Jiayu Zhang, Zhishu Liu, Hui Ma, Fei Ma, Qi Tian

机构 * Great Bay University（大湾大学） ； Guangming Laboratory（光明实验室） 纠错

AI总结 本文提出AffectAgent，通过协同多智能体推理框架，解决多模态情感识别中的模态模糊和复杂情感依赖问题，引入MB-MoE和RAAF提升表现。

Comments Accepted by ACM MM 2026

When Modalities Remember: Continual Learning for Multimodal Knowledge Graphs

当模态记住：多模态知识图谱的持续学习

Linyu Li, Zhi Jin, Yichi Zhang, Dongming Jin, Yuanpeng He, Haoran Duan, Gadeng Luosang, Nyima Tashi

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Computer Science, Zhejiang University（浙江大学计算机科学学院） ； School of Cyber Science and Engineering, Wuhan University（武汉大学网络科学与工程学院） ； School of Information Science and Technology, Tibet University（西藏大学信息科学与技术学院） 纠错

AI总结 本文提出MRCKG模型，通过多模态-结构协同课程和跨模态知识保存机制，解决多模态知识图谱的持续学习问题，提升新知识学习能力。

Comments Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026)

MOON3.0: Reasoning-aware Multimodal Representation Learning for E-commerce Product Understanding

MOON3.0: 基于推理的多模态表示学习用于电商产品理解

Junxian Wu, Chenghan Fu, Zhanheng Nie, Daoze Zhang, Bowen Wan, Wanxian Guan, Chuan Yu, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

AI总结 MOON3.0通过多头模态融合、联合对比与强化学习框架及细粒度残差增强模块，提升电商产品细粒度属性建模能力，并在大规模多模态电商基准MBe3.0上实现零样本最优性能。

Comments Accepted by the 34th ACM International Conference on Multimedia (ACM MM), 2026. 10 pages, 6 figures

ZoomV: Temporal Zoom-in for Efficient Long Video Understanding

TimeSearch: 基于聚光灯和反射的层次视频搜索用于类人长视频理解

Yuan Zhang, Junwen Pan, Rui Zhang, Xin Wan, Qizhe Zhang, Ming Lu, Qi She, Shanghang Zhang

机构 * ByteDance（字节跳动） ； School of Computer Science, Peking University（北京大学计算机科学学院） 纠错

AI总结 TimeSearch通过Spotlight和Reflection机制，提升长视频理解的准确性和效率

Comments ACMMM 2026

Stabilizing Multi-Attack Adversarial Training via Bandit Optimization

通过老虎机优化稳定多攻击对抗训练

Rui Wang, Zeming Wei, Xiyue Zhang, Meng Sun

机构 * Peking University（北京大学） ； University of Bristol（布里斯托大学） 纠错

AI总结 针对多攻击对抗训练的高开销或参数漂移问题，提出校准对抗采样（CAS）框架，将其转化为多臂老虎机优化，降低成本并提升鲁棒性。

Comments ACM MM 2026

Detail Continuation over a Trustworthy Coarse Scale for Autoregressive Super-Resolution

面向自回归超分辨率的可信粗尺度细节延续

Hongyi Fang, Jiahui Wu, Yichen Yue, Benjia Zhou, Dan Zeng

机构 * Sun Yat-Sen University（中山大学） ； Beijing Institute of Technology（北京理工大学） 纠错

AI总结 针对生成式超分辨率的幻觉问题，提出K2N将全路径自回归生改为k到N的细节延续，直接由LR建立粗尺度状态，仅自回归恢复精细尺度，在标准指标上与VARSR相当，幻觉评估中优势明显。

Comments Accepted by ACM Multimedia 2026

Knowledge-guided Disentanglement with Atomic Actions for Action Recognition

面向动作识别的基于原子动作的知识引导解缠

Tianci Wu, Siqi Cao, Guangming Zhu, Jiang Lu, Siyuan Wang, Longfei Zhang, Jincai Huang, Jun Sheng, Liang Zhang

机构 * Xidian University（西安电子科技大学） ； National University of Defense Technology（国防科技大学） ； Human Institute of Advanced Technologyy（人类高级技术研究院） ； Shanghai Road Transport Development Center（上海市道路运输发展中心） 纠错

AI总结 本文提出KDA方法，用LLMs分解动作标签为原子动作，经KIM和KDM解缠，在多标签动作识别基准上达SOTA性能，且模块可通用集成。

Comments ACMMM 26

MoECa: Aligning Feature Reuse with Expert Decomposition in Diffusion Transformers

MoECa: 在扩散变换器中对齐特征复用与专家分解

Maoliang Li, Haojing Chen, Jiayu Chen, Zihao Zheng, Xinhao Sun, Hailong Zou, Xiang Chen

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Software Engineering, University of Electronic Science and Technology of China（电子科技大学软件工程学院） 纠错

AI总结 针对DiT-MoE中跨时间步的冗余计算，提出基于专家分支级别的细粒度缓存框架MoECa，实现分支级特征复用，并引入专家感知自适应控制和同步缓存更新，在多个模型上取得高达2.83倍加速且质量损失极小。

Comments Will appear in ACM MM'2026

Mitigating Shared-Private Branch Imbalance via Dual-Branch Rebalancing for Multimodal Sentiment Analysis

通过双分支重新平衡缓解共享-私有分支不平衡以实现多模态情感分析

Chunlei Meng, Jiabin Luo, Pengbin Feng, Zhenglin Yan, Chengyin Hu, Zhongxue Gan, Chun Ouyang

AI总结 本文提出双分支重新平衡框架，通过解耦共享与私有分支，缓解多模态情感分析中的分支不平衡问题，提升模型鲁棒性。

Comments This study has been Accepted by ACM MM 2026

Geometry-Aware Localized Watermarking for Copyright Protection in Embedding-as-a-Service

基于几何的局部水印技术用于嵌入即服务的版权保护

Zhimin Chen, Xiaojie Liang, Wenbo Xu, Yuxuan Liu, Wei Lu

机构 * School of Computer Science ； Engineering, Sun Yat-sen University Guangzhou China ； Engineering, Sun Yat-sen University 纠错

AI总结 本文提出GeoMark框架，通过几何感知的局部水印技术，在嵌入即服务中实现鲁棒的版权保护，实验表明其在对抗攻击下保持了高验证稳定性和低误报率。

Comments Accepted to ACM Multimedia 2026 (ACM MM '26)

When Classes Evolve: A Benchmark and Framework for Stage-Aware Class-Incremental Learning

当类别进化：一种面向阶段感知类增量学习的基准和框架

Zheng Zhang, Tao Hu, Xueheng Li, Yang Wang, Rui Li, Jie Zhang, Chengjun Xie

机构 * Dalian University of Technology（大连理工大学） ； Hefei Institutes of Physical Science, Chinese Academy of Sciences（合肥物理科学研究院，中国科学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 STAGE通过学习抽象的进化模式，在类增量学习中有效解决类间区分和类内形态适应问题。

Comments 34th ACM International Conference on Multimedia (ACM MM '26)

MUSE: A Heterogeneity-Aware Multimedia Search Engine for Mobile SoCs

AME：一种高效的异构代理记忆引擎用于智能手机

Xinkui Zhao, Qingyu Ma, Yifan Zhang, Hengxuan Lou, Sai Liu, Chang Liu, Guanjie Cheng, Naibo Wang, Yueshen Xu

AI总结 AME是一种为智能手机设计的高效异构代理记忆引擎，通过硬件感知的矩阵流水线和调度方案提升内存处理效率，实现更高吞吐量和更低延迟。

Comments Accepted by the 34th ACM International Conference on Multimedia (MM '26). 9 pages, 11 figures

One Patch Is Enough: Reinforcement-Optimized Visual Token Grounding for MLLM-Based Scene Text Spotting

一个补丁就够：面向基于多模态大语言模型（MLLM）的场景文本定位的强化优化视觉标记接地

Rui Tang, Wentao Yang, Peirong Zhang, Yongxin Shi, Shun Zhang, Huiguo He, Lianwen Jin

机构 * South China University of Technology（华南理工大学） ； HiThink Research（海思思考研究院） 纠错

AI总结 针对现有多补丁场景文本定位范式的冗余噪声与定位歧义问题，提出以视觉为中心的单补丁文本定位框架 SPaTS，通过强化学习优化的单补丁选择等技术实现性能提升，显著优于前沿相关模型。

Comments 15 pages, 11 figures. Accepted to ACM Multimedia 2026

Journal ref Proceedings of the 34th ACM International Conference on Multimedia (MM '26), 2026

AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis

AuEmoChat：用于对话语音合成的真实情感理解与呈现

Zhenqi Jia, Yuan Zhao, Aruukhan, Rui Liu, Haizhou Li

AI总结 针对对话语音合成中情感表达不真实及多模态令牌干扰问题，提出AuEmoChat框架，通过AuEmoCodec学习情感令牌空间、AuEmoToMe合并冗余令牌，集成到模型并结合情感流匹配渲染语音，实验证明其性能优于现有基线。

Comments Accepted by ACMMM 2026

M3MAD-Bench: Multi-Dimensional Evaluation of Multi-Agent Debate Across Domains and Modalities

M3MAD-Bench: 多智能体辩论在不同领域和模态中真的有效吗？

Ao Li, Jinghui Zhang, Luyu Li, Yuxiang Duan, Lang Gao, Mingcai Chen, Weijun Qin, Shaopeng Li, Fengxian Ji, Ning Liu, Lizhen Cui, Xiuying Chen, Yuntao Du

机构 * Shandong University（山东大学） ； MBZUAI ； Nanjing University of Posts and Telecommunications（南京邮电大学） ； BOB Cloud（BOB云） 纠错

AI总结 M3MAD-Bench通过多领域、多模态和多维指标评估多智能体辩论方法的有效性，提供全面的性能-成本分析。

Comments Accepted by ACMMM 2026

PhysOmni: Physics-Grounded Multi-Object Scene Generation from a Single Image with Real-Time Interaction

TelePhysics: 从单张图像生成物理一致的多物体场景 with 实时交互

Xin Zhang, Yabo Chen, Yijie Fang, Wanying Qu, Haibin Huang, Chi Zhang, Feng Xu, Xuelong Li

机构 * Fudan University（复旦大学） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI）） 纠错

AI总结 本文提出TelePhysics，一种无需训练的框架，通过整体场景级3D重建将单张图像转换为物理一致且可控的视频。该方法通过统一的空间坐标系统表示完整场景几何，解决物体穿透和对齐模糊问题，实现准确的多物体交互和更丰富的复杂控制类型，从而在保持逼真视觉保真度的同时实现实时物理交互预览。

Comments ACMMM 2026. Project page: https://physomni.github.io/

PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media

PROVE：一种用于视觉媒体的感知移除一致性基准

Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

机构 * MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus） 纠错

AI总结 本文提出RC指标和PROVE-Bench基准，通过滑动窗口特征比较和分布跟踪提升图像和视频移除任务的评估精度，实现更符合人类感知的一致性衡量。

Comments Accepted by ACMMM 2026. Project Page: https://xiaomi-research.github.io/prove/

CLIP-Guided Backdoor Defense through Entropy-Based Poisoned Dataset Separation

基于CLIP的后门防御：通过基于熵的中毒数据集分离

Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） 纠错

AI总结 该研究提出CLIP引导后门防御（CGD），用CLIP分离干净与中毒输入，重训练模型中和后门，在4个数据集11种攻击上ASR降至1%以下，CA降幅仅0.3%，适配性与鲁棒性优异。

Comments 15 pages, 9 figures, 15 tables. To appear in the Proceedings of the 32nd ACM International Conference on Multimedia (MM '25)

BioPro: Towards Difference-Aware Gender Fairness for Vision-Language Models

BioPro: 关于差分意识的性别公平性在视觉-语言模型中

Yujie Lin, Jiayao Ma, Qingguo Hu, Wenbo Li, Genji Li, Derek Wong, Jinsong Su

机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系） 纠错

AI总结 BioPro通过差分意识的性别公平性方法，在视觉-语言模型中实现选择性去偏，减少中性情境中的性别偏见同时保持显性情境中的性别忠实性。

Comments ACM Multimedia 2026

Time-Frequency Consistency Learning for Robust Speech Deepfake Detection

用于鲁棒语音深度伪造检测的时频一致性学习

Jun Xue, Zhuolin Yi, Yanzhen Ren, Yihuan Huang, Jiayu Xiong, Yi Chai, Guanxiang Feng, Jiajun Liu, Tong Zhang

机构 * School of Cyber Science and Engineering, Wuhan University（武汉大学网络科学与工程学院） ； Tongji university（同济大学） 纠错

AI总结 研究语音深度伪造检测在实际部署中因声学前端处理管道失真导致鲁棒性不足的问题，提出时频一致性学习框架，通过注意力驱动软对齐机制和频域结构一致性约束，提升检测模型在实际场景中的鲁棒性。

Comments Accepted by ACM MM 2026

FreeLit: Paired-Free Indoor Relighting via Physics-Guided Diffusion

FreeLit：通过物理引导扩散实现无配对室内重光照

Chi-En Yen, Duy-Khanh Ngo, Wen-Wei Tang, Huu-Phu Do, Wen-Hsiao Peng, Ching-Chun Huang

AI总结 本文针对室内场景重光照难题，提出FreeLit无配对框架，利用物理引导光照先验及重光照引导的固有稳定策略，结合面向可控性的评估指标，实现稳定、物理一致且可控的重光照，提升低光照场景下的鲁棒性，无需配对监督。

Comments Updated to the ACM Multimedia 2026 camera-ready version

GeoAnchor: Collaborative Reasoning via Latent Decomposition for 3D Spatial Understanding

GeoAnchor：通过潜在分解进行协作推理以实现3D空间理解

Hao Li, Han Fang, Zixin Pan, Xin Wei, Hongbo Sun, Jinglin Xu, Zhiyu Lin, Ye Yuan, Zhongjiang He, Yu Yu, Hao Sun

机构 * Shanghai Jiao Tong University（上海交通大学） ； Xingchen AGI Lab, China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（星辰通用人工智能实验室，中国电信人工智能技术（北京）有限公司） ； University of Science and Technology Beijing（北京科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

AI总结 针对从2D图像理解3D空间关系的挑战，提出GeoAnchor框架，通过分解3D空间信息为互补组件并结合协作训练策略，实现动态可解释推理，在复杂3D推理任务中优于现有技术。

Comments Accepted by ACM MM 2026

G-MAD: A Game-Based Data Generation Framework for Multi-View RGB-T Aerial Object Detection

G-MAD：用于多视图RGB-T航空目标检测的基于游戏的数据生成框架

Yechan Kim, JongHyun Park, Dongho Yoon, Namhoon Jung, Moongu Jeon

机构 * LIG Defense&Aerospace（LIG国防与航空航天公司） ； GIST（韩国科学技术院） 纠错

AI总结 研究针对航空目标检测中数据集构建的问题，提出基于游戏的G-MAD数据生成框架，可解决视点控制、数据对齐及标注成本等问题，支持多视图相机放置等功能，还构建并发布了AMOD基准。

Comments ACM Multimedia 2026 (Supplementary Material Included)

GEAR: Reconstruction of Classical Paintings via Geometry Grounding and Appearance Restitution

GEAR：通过几何定位和外观还原重建古典绘画

Qinyu Zhang, Xinda Liu, Yunchen Li, Yunzhuo Liu, Chenxi Hu, Kang Li, Guohua Geng

AI总结 研究旨在解决从单幅古典绘画重建3D场景的难题，提出免训练的GEAR框架，先通过几何定位增强3D高斯重建稳定性，再在空间约束下恢复外观，经实验验证其在多方面优于基线，还构建了相关基准。

Comments Accepted by ACM MM 2026

UAV-ON: A Benchmark for Open-World Object Goal Navigation with Aerial Agents

UAV-ON：用于空中智能体的开放世界目标导航基准测试

Jianqiang Xiao, Yuexuan Sun, Yixin Shao, Boxi Gan, Rongqiang Liu, Yanjin Wu, Weili Guan, Xiang Deng

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

AI总结 介绍用于空中智能体开放世界目标导航的UAV-ON基准测试，含14个环境及1270个目标对象，通过实例级指令编码。实现多种基线方法评估，结果凸显空中导航和语义目标基础的复合挑战，推动复杂环境下无人机可扩展自主性研究。

Comments Accepted to ACM MM 2025

Color Me Correctly: Bridging Perceptual Color Spaces and Text Embeddings for Improved Diffusion Generation

正确为我上色：弥合感知颜色空间与文本嵌入以改进扩散生成

Sung-Lin Tsai, Bo-Lun Huang, Yu Ting Shen, Cheng Yu Yeo, Chiang Tseng, Bo-Kai Ruan, Wen-Sheng Lien, Hong-Han Shuai

机构 * National Yang Ming Chiao Tung University 纠错

AI总结 研究文本到图像生成中颜色对齐问题，提出利用大语言模型消除颜色提示歧义、在文本嵌入空间指导颜色混合操作的无需训练框架，提高了颜色准确性且不影响图像质量，弥合文本语义与视觉生成差距。

Comments Accepted to ACM Multimedia 2025 (MM '25)