多模态大模型

Prototype-based Self-Supervised Multimodal Learning for PPG and Accelerometry Signals

基于原型的PPG与加速度计信号自监督多模态学习

Wanting Mao, Maxwell A Xu, Harish Haresamudram, Mithun Saha, Santosh Kumar, James Matthew Rehg

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Memphis（密苏里大学孟菲斯分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)

AI总结 针对PPG与加速度计等生物信号的多模态学习局限，提出基于原型的SSL框架ProtoMM，开发Pulse-Motion基础模型，性能优于现有对比式及多模态SSL方法。

Reasoning Dynamics and the Limits of Monitoring Modality Reliance in Vision-Language Models

推理动态与监控模态依赖性的局限性

Danae Sánchez Villegas, Samuel Lewis-Lim, Nikolaos Aletras, Desmond Elliott

机构 * University of Copenhagen, Department of Computer Science（哥本哈根大学计算机科学系） ； University of Sheffield, School of Computer Science（谢菲尔德大学计算机科学学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究分析18种VLM的推理动态，发现模型易受早期预测影响，推理训练模型在模态条件下表现出更强的纠正行为，但其效果依赖于模态条件，且CoT的可检测性因模型而异。

Comments Accepted for publication in COLM 2026

Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens

链式视觉思维：通过连续视觉标记教学VLMs更好地看到和思考

Yiming Qin, Bomin Wei, Jiaxin Ge, Konstantinos Kallidromitis, Stephanie Fu, Trevor Darrell, XuDong Wang

机构 * UC Berkeley（加州大学伯克利分校） ； UCLA（洛杉矶大学） ； Panasonic AI Research（松下人工智能研究） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 COVT通过连续视觉标记提升VLMs的视觉推理能力，使模型在多个基准测试中性能提升3%-16%。

Comments Project page: https://wakalsprojectpage.github.io/covt-website/

Exo2EgoPose: Leveraging Exocentric Demonstrations for Vision-Language guided Egocentric 3D Hand Pose Forecasting

Exo2EgoPose：利用外心演示进行视觉语言引导的自我中心3D手部姿态预测

Zhaofeng Shi, Heqian Qiu, Lanxiao Wang, Xiang Li, Hongliang Li

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究视觉语言引导的自我中心3D手部姿态预测任务，提出Exo2EgoPose框架，利用外心演示补偿自我中心视角线索不足，含双层外心重建模块和全局到局部调制模块，实验显示该方法优于现有技术，具备人机转移能力且有改进。

Comments Accepted by ACMMM 2026

Beyond Boundary Frames: Talking-Head Inbetweening via Context-Aware Motion Modeling

超越边界框架：基于音频视觉语义的上下文中心视频插值

Yuchen Deng, Hai-Tao Zheng, Jie Wang, Xiaotian Li, Feidiao Yang, Yuxing Han

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出BBF框架，通过解耦多模态条件，结合视觉上下文、文本语义和音频时间动态，提升视频插值的可控性和准确性，实验表明其在通用插值和音视频同步生成任务中优于现有方法。

Place-it-R1: Unlocking Environment-aware Reasoning Potential of MLLM for Video Object Insertion

Place-it-R1: 解锁多模态大语言模型在视频物体插入中的环境感知推理潜力

Bohai Gu, Taiyi Wu, Dazhao Du, Jian Liu, Shuai Yang, Xiaotong Zhao, Alan Zhao, Song Guo

机构 * HKUST（香港科技大学） ； Tencent Video（腾讯视频） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 Place-it-R1通过多模态大语言模型的环境感知推理能力，实现物理一致的视频物体插入，提供两种模式以平衡保真度与合理性。

Comments https://nevsnev.github.io/Place-it-R1/

Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation

通过双阶段蒸馏实现无约束事件-图像特征匹配的无标签目标域适应

Zhonghua Yi, Hao Shi, Qi Jiang, Yufan Zhang, Kailun Yang, Kaiwei Wang

机构 * Zhejiang University（浙江大学） ； Hunan University（湖南大学） ； National University of Defense Technology（国防科技大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 研究针对无约束事件-图像特征匹配问题，提出双阶段训练范式，先进行无标签蒸馏预训练，再引入极线引导自蒸馏框架，在新的跨模态评估基准上实验，取得领先的姿态估计性能。

Comments Accepted to ACM MM 2026. The source code and benchmark will be made publicly available at https://github.com/ZhonghuaYi/nexus2-official

Generative Experiences for Digital Mental Health Interventions: Evidence from a Randomized Study

生成体验用于数字心理健康干预：来自随机研究的证据

Ananya Bhattacharjee, Michael Liut, Matthew Jörke, Diyi Yang, Emma Brunskill

机构 * Stanford University（斯坦福大学） ； University of Toronto Mississauga（多伦多大学滑铁卢分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出生成体验范式，通过动态构建干预体验提升数字心理健康干预效果，实验显示GUIDE在减压和用户体验方面显著优于基线对照。

AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition

AffectAgent：协同多智能体推理用于检索增强的多模态情感识别

Zeheng Wang, Zitong Yu, Yijie Zhu, Bo Zhao, Haochen Liang, Taorui Wang, Wei Xia, Jiayu Zhang, Zhishu Liu, Hui Ma, Fei Ma, Qi Tian

机构 * Great Bay University（大湾大学） ； Guangming Laboratory（光明实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出AffectAgent，通过协同多智能体推理框架，解决多模态情感识别中的模态模糊和复杂情感依赖问题，引入MB-MoE和RAAF提升表现。

Comments Accepted by ACM MM 2026

Bridging Source Code and Bytecode for Smart Contract Vulnerability Detection via Dual-Perspective Cross-Modal Distillation

ExDoS：专家引导的双焦点跨模态蒸馏用于智能合约漏洞检测

Ye Tian, Yifan Jia, Yanbin Wang, Jianguo Sun, Haitao Xu, Xin Wang, Zhihua Fu

专题命中 跨模态检索 ：cross-modal(title,abstract)

AI总结 本文提出ExDoS方法，通过双焦点蒸馏框架，从源代码到字节码转移语义知识，提升智能合约漏洞检测的细粒度对齐与识别能力。

Comments This work has been submitted to the IEEE for possible publication

Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization

通过前缀保留优化缩小多模态生成式检索中的索引-解码差距

Yufei Chen, Zihan Wang, Yubao Tang, Yukun Zhao, Maarten de Rijke, Zhaochun Ren

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 提出前缀保留优化（PRO）框架，通过前缀排序蒸馏、词汇调度和几何分数融合三种机制，缩小多模态生成式检索中索引与解码之间的差距，提升目标标识符前缀的保留率，在九个多模态检索任务上超越现有基线。

Comments 29 pages, 5 figures; code: https://github.com/layingfish/MGR_PRO

Evaluation-Verification Reward for Consistent Multi-Reference Image Editing

用于一致多参考图像编辑的评估-验证奖励

Yingmao Miao, Pengfei Zhang, Xiaochen Lv, Meng Yu, Lei Sun, Xiangxiang Chu, Chao Shen, Chenhao Lin

机构 * Xi’an Jiaotong University（西安交通大学） ； Amap, Alibaba（高德，阿里巴巴） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 针对多参考图像编辑的视觉一致性与奖励模型缺失问题，提出多维度评估-验证奖励EVR，实现无需架构改动的现成编辑器RL微调，性能优于Qwen-Image-Edit并达到或超NanoBanana。

Shieldstral

护盾斯特拉尔

Antonia Calvi, Avinash Sooriyarachchi, Giada Pistilli, Guillaume Lample, Maarten Buyl, Maximilian Augustin, Maximilian Müller, Pierre Stock, Tom Bewley, Wassim Bouaziz, Yimu Pan, Abdelaziz Bounhar, Abhijeet Somani, Aditi Kabra, Adrian Valente, Adrien Petralia, Adrien Sadé, Alan Jeffares, Albert Jiang, Aleksandr Timashov, Alexandre Cahill, Alexandre Gavaudan, Alexandre Laval, Alexandre Sablayrolles, Amélie Héliou, Amos You, André Jonasson, Andrew Bai, Andrew Ehrenberg, Andrew Zhao, Angele Lenglemetz, Anmol Agarwal, Arata Suzuki, Arjun Majumdar, Arthur Fournier, Artjom Joosen, Aylin Guliz Akkus, Aysenur Karaduman, Baptiste Bout, Baptiste Rozière, Baudouin De Monicault, Benjamin Holzschuh, Benjamin Lefaudeux, Benjamin Tibi, Bernhard Stadlbauer, Błażej Osiński, Camille Le Scao, Chaoran Yu, Charlotte Cronjäger, Chen-Yo Sun, Chris Bamford, Christian Wallenwein, Christophe Renaudin, Clémence Lanfranchi, Corentin Barreau, Corentin Sautier, Cristiana-Diana Diaconu, Cyprien Courtot, Daniel Marczak, Darius Dabert, Diego de Las Casas, Dominik Nuss, Dylan Rubini, Dzmitry Soupel, Elizaveta Demyanenko, Elliot Chane-Sane, Emilien Fugier, Emmanuel Gottlob, Erik Aas, Etienne Goffinet, Étienne Millon, Eujeong Choi, Fabian Paischer, Fabian Schlager, Faruk Ahmed, Federico Baldassarre, Filip Szatkowski, Florian Wiesner, Gabrielle Berrada, Gaëtan Ecrepont, Gaétan Lepage, Gaspard Blanchet, Gaspard Donada-Vidal, Gauthier Delerce, Gauthier Guinet, Genevieve Hayes, Georgii Novikov, Gianluca Galletti, Guillaume Breton, Guillaume Kunsch, Guillaume Martin, Guillaume Raille, Gunjan Dhanuka, Gunshi Gupta, Han Zhou, Harshil Shah, Hasan Furkan Vural, Hédi Hadiji, Hope McGovern, Hugo Cisneros, Hugo Thimonier, Indraneel Mukherjee, Ivan Cuevas Salazar, Jacques Sun, Jan Ludziejewski, Jason Rute, Jean Quentin, Jean-Hadrien Chabran, Jean-Malo Delignon, Jie Zhang, Joachim Studnia, Joep Barmentlo, Johannes Brandstetter, John Harvill, Jonas Amar, Jonas Schweizer, Joséphine Delas, Josselin Somerville, Julien Denize, Julien Tauran, Kartik Khandelwal, Khyathi Raghavi Chandu, Kilian Tep, Kush Jain, Larissa Laich, Laura Calem, Laurence Aitchison, Laurent Callot, Laurent Fainsin, Léo Cotteleer, Léonard Blier, Lingxiao Zhao, Louis Martin, Louis Serrano, Lucile Saulnier, Ludovic Ho Fuh, Luis Montero, Manon Chossegros, Marcin Możejko, Margaret Jennings, Markus Hennerbichler, Martin Alexandre, Mathieu Poirée, Mathieu Schmitt, Mathilde Guillaumin, Matthieu André, Matthieu Dinot, Matthieu Futeral, Maurits Bleeker, Mauro Comi, Max Mynter, Maxim Berman, Maxime Darrin, Maxime Louis, Melina Jingting Laimon, Mert Unsal, Mia Chiquier, Michael Pilcer, Michał Pietruszka, Michał Zając, Mikhail Biriuchinskii, Minh-Quang Pham, Minwoo Kang, Morgane Rivière, Namit Katariya, Nathan Grinsztajn, Nathan Simpson, Neeraj Aggarwal, Neha Gupta, Ola Mysiak, Oliver Leicht, Olivier Bousquet, Olivier Duchenne, Parag Jain, Patricia Wang, Patrick Blies, Patrick von Platen, Paul Jacob, Paul Wambergue, Paula Kurylowicz, Pavan Kumar Reddy, Pavel Kuksa, Philippe Pinel, Philomène Chagniot, Pierre-André Savalle, Piotr Milos, Prateek Gupta, Pravesh Agrawal, Quentin Desreumaux, Quentin Torroba, Quercus Hernandez, Ram Ramrakhya, Randall Isenhour, Ranjit Parva, Raul Perez Pelaez, Reinhard Sonnleitner, Rémi Delacourt, Richard Kurle, Rishi Shah, Rob Romijnders, Rohin Arora, Romain Sauvestre, Roman Soletskyi, Rosalie Millner, Rupert Menneer, Sagar Vaze, Samuel Barry, Samuel Belkadi, Samuel Humeau, Sanchit Gandhi, Sandeep Subramanian, Sarthak Mittal, Saskia Adaime, Sean Cha, Sebastian Kaltenbach, Shashwat Dalal, Shashwat Verma, Sherif Waly, Shrimai Prabhumoye, Siddhant Waghjale, Siddharth Gandhi, Simon Lepage, Simon Sorg, Soham Ghosh, Sophie Marbach, Srijan Mishra, Stanislas Lange, Steve Hong, Sumukh Aithal, Szymon Antoniak, Tarun Kumar Vangani, Teven Le Scao, Théo Cachet, Thibaut Lavril, Thomas Chabal, Thomas Coste, Thomas Defard, Thomas Foubert, Thomas Robert, Thomas Wang, Tianyu Zhang, Tim Lawson, Timothée Lacroix, Tobias Kronlachner, Tom Edwards, Tomas Hodan, Tuhin Das, Tyler Wang, Ulrick BLE, Umar Jamil, Umberto Tomasini, Valentin Macé, Van Phung, Vedant Nanda, Victor Jouault, Victor Letzelter, Victor Paltz, Victor Poucheret, Vincent Maladière, Vincent Pfister, Virgile Richard, Vladislav Bataev, Wen Ding Li, William Havard, William Marshall, Xinghui Li, Xingran Guo, Xinyu Yang, Yann Dreze, Yassine El Ouahidi, Yassir Bendou, Yihan Wang, Yves Martin des Taillades, Zaccharie Ramzi, Zhenlin Xu, Zsofia Csakany

机构 * OpenAI ； Anthropic ； Google DeepMind（谷歌DeepMind） ； DeepSeek-AI（深势科技人工智能） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 研究提出护盾斯特拉尔这一多模态安全分类器，将内容审核设为二元问答任务，通过特定数据构建方法及评估集，让小的自适应模型在文本安全基准测试中表现出色，在多模态安全分类上达新水平。

Stable Attention Response for Reliable Precipitation Nowcasting

稳定注意力响应以实现可靠的降水现在预测

Penghui Wen, Zexin Hu, Sen Zhang, Patrick Filippi, Xiaogang Zhu, Allen Benter, Thomas Bishop, Zhiyong Wang, Kun Hu

机构 * School of Computer Science, The University of Sydney（悉尼大学计算机科学学院） ； School of Life and Environmental Science, The University of Sydney（悉尼大学生命与环境科学学院） ； School of Computer Science and Information Technology, The University of Adelaide（阿德莱德大学计算机科学与信息技术学院） ； Digital Agriculture, Orange Agricultural Institute（数字农业，橙色农业研究所） ； School of Science, Edith Cowan University（埃迪斯科文大学科学学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出HARECast框架，通过头部注意力响应能量调节提升降水现在预测的稳定性，实验证明其在SEVIR和MeteoNet基准上表现优异。

HERO: Hierarchical Evidential Reasoning Optimization for Radiology Report Generation via Reason-then-Summarize

对齐发现与诊断：一种自洽的强化学习框架用于可信的放射学报告

Kun Zhao, Guodong Liu, Hui Ji, Siyuan Dai, Pan Wang, Jifeng Song, Chenghua Lin, Liang Zhan, Haoteng Tang

机构 * University of Pittsburgh（匹兹堡大学） ； University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德谷分校） ； The University of Manchester（曼彻斯特大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出了一种自洽的强化学习框架，用于生成可信的放射学报告，通过优化生成过程和减少幻觉，提升了临床效果。

HalluScope: Fine-grained Hallucination Diagnosis for Multimodal Large Language Models

HalluScope：多模态大语言模型的细粒度幻觉诊断

Weilin Jin, Mingyu Wang, Wenbo Li, Haoyang Huang, Yifan Wu, Ying Li, Gang Huang, Zhonghai Wu

机构 * Peking University（北京大学） ； Joy Future Academy（京东探索研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型的幻觉问题，提出细粒度幻觉诊断任务，开发数据集并设计奖励函数，训练HalluScope-4B和HalluScope-8B模型，在多个基准测试中达最优，其诊断解释能有效指导目标模型纠正幻觉。

Comments Accepted to ACM Multimedia 2026 (ACM MM 2026)

LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content

LiveXiv —— 基于 arXiv 论文内容的多模态实时基准测试集

Nimrod Shabtay, Felipe Maia Polo, Sivan Doveh, Wei Lin, M. Jehanzeb Mirza, Leshem Choshen, Mikhail Yurochkin, Yuekai Sun, Assaf Arbelle, Leonid Karlinsky, Raja Giryes

机构 * Faculty of Engineering Tel-Aviv University（特拉维夫大学工程学院） ； IBM Research（IBM研究院） ； Department of Statistics, University of Michigan（密歇根大学统计学系） ； JKU Linz, Austria（林茨大学，奥地利） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； MIT-IBM（麻省理工学院-IBM） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 针对多模态模型训练中测试数据污染问题，提出基于 arXiv 论文的 LiveXiv 实时基准，自动生成 VQA 对，用部分模型评估降低成本，验证了其性能差异极小，数据集已在 HuggingFace 公开。

Not Truly Multilingual: Script Consistency as a Missing Dimension in VLM Evaluation

并非真正的多语言：脚本一致性作为VLM评估中缺失的维度

Prabhjot Singh, Bhushan Pawar, Madhu Reddiboina, Rajvee Sheth

机构 * RediMinds Inc.（RediMinds公司） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Independent Researcher（独立研究员） 纠错

专题命中 多模态评测 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 提出PuMVR基准，评估10个VLM在旁遮普语三种文字上的表现，发现显著的脚本差距，并提出脚本一致性率（SCR）作为必要评估指标。

CardioBench: A Real-World Data Benchmark for Evaluating Large Language Models in Clinically Authentic Cardiovascular Care Scenarios

MyoCardBench：用于评估临床真实心血管护理场景中大型语言模型的真实世界数据基准

Xiao Li, Mouxiao Bian, Zhaodi Wu, Sijie Ren, Juechen Chen, Lu Lu, Jingru Ding, Yun Zhong, Jie Xu, Yixiu Liang, Junbo Ge

机构 * Shanghai Institute of Cardiovascular Diseases（上海市心血管病研究所） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Minhang Hospital, Fudan University（复旦大学附属闵行医院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 该研究开发MyoCardBench真实世界基准评估大语言模型在心血管护理场景的性能，涵盖多任务数据集，经专家注释审核。7个模型在零样本设置下输出，GPT-5.4表现最佳。此基准为评估模型提供框架，助于发现优势与不足。

Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness

用于评估开放式生成的两级元评分标准：GAMUT，事实完整性基准

Xilun Chen, Zhaleh Feizollahi, Ross Goodwin, Seungwhan Moon, Scott Yih, Pinar Donmez, Babak Damavandi, Luna Dong

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 研究如何评估开放式生成内容的事实完整性，提出两级元评分标准框架并实例化为Gamut基准，构建基于真实图像的问题及评分标准，评估多个模型，发现其具挑战性、区分性且对法官选择鲁棒。

SEAR: Simple and Efficient Adaptation of Visual Geometric Transformers for Unpaired RGB+Thermal 3D Reconstruction

SEAR: 一种简单且高效的视觉几何变换器在RGB+热成像3D重建中的适应

Vsevolod Skorokhodov, Chenghao Xu, Shuo Sun, Olga Fink, Malcolm Mielle

机构 * Schindler EPFL Lab（施耐德EPFL实验室） ； EPFL（瑞士联邦理工学院） ； Örebro University（奥雷布罗大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 SEAR通过简单高效的微调策略，使预训练的几何变换器适应多模态RGB-热成像输入，显著提升了3D重建和姿态估计性能，尤其在低光照和浓烟等挑战条件下表现优异。

DM$^3$-Nav: Decentralized Multi-Agent Multimodal Multi-Object Semantic Navigation

DM$^3$-Nav：去中心化多智能体多模态多目标语义导航

Amin Kashiri, Atharva Jamsandekar, Yasin Yazıcıoğlu

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Northeastern University（东北大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 DM$^3$-Nav是一种去中心化的多智能体语义导航系统，支持多模态开放词汇目标指定和多目标任务，通过局部通信实现自主协调，验证了在真实办公环境中的有效性。

MOON3.0: Reasoning-aware Multimodal Representation Learning for E-commerce Product Understanding

MOON3.0: 基于推理的多模态表示学习用于电商产品理解

Junxian Wu, Chenghan Fu, Zhanheng Nie, Daoze Zhang, Bowen Wan, Wanxian Guan, Chuan Yu, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 MOON3.0通过多头模态融合、联合对比与强化学习框架及细粒度残差增强模块，提升电商产品细粒度属性建模能力，并在大规模多模态电商基准MBe3.0上实现零样本最优性能。

Comments Accepted by the 34th ACM International Conference on Multimedia (ACM MM), 2026. 10 pages, 6 figures

Multi-Modal Learning meets Genetic Programming: Analyzing Alignment in Latent Space Optimization

多模态学习遇见遗传编程：分析潜在空间优化中的对齐

Benjamin Léger, Kazem Meidani, Christian Gagné

机构 * Mila, Université Laval（Mila，拉瓦尔大学） ； Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学） ； Canada-CIFAR AI Chair（加拿大-卡内基梅隆人工智能主席） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文研究SNIP方法在符号回归中多模态潜在空间优化的对齐效果，发现跨模态对齐在优化过程中未改善且过于粗糙，导致有效对齐引导的优化尚未实现。

Comments Accepted at PPSN 2026 (Trento, Italy). To appear in Springer LNCS

When Modalities Remember: Continual Learning for Multimodal Knowledge Graphs

当模态记住：多模态知识图谱的持续学习

Linyu Li, Zhi Jin, Yichi Zhang, Dongming Jin, Yuanpeng He, Haoran Duan, Gadeng Luosang, Nyima Tashi

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Computer Science, Zhejiang University（浙江大学计算机科学学院） ； School of Cyber Science and Engineering, Wuhan University（武汉大学网络科学与工程学院） ； School of Information Science and Technology, Tibet University（西藏大学信息科学与技术学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出MRCKG模型，通过多模态-结构协同课程和跨模态知识保存机制，解决多模态知识图谱的持续学习问题，提升新知识学习能力。

Comments Accepted at the 34th ACM International Conference on Multimedia (ACM MM 2026)

Latent Denoising Improves Visual Alignment in Large Multimodal Models

潜在去噪提升大多模态模型的视觉对齐

Dhruv Parikh, Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna

机构 * University of Southern California（南加州大学） ； DEVCOM ARL Army Research Office（DEVCOM ARL陆军研究办公室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出通过潜在去噪框架改进大多模态模型的内部视觉特征对齐和多模态理解，采用掩码和高斯噪声混合腐蚀视觉token，并利用解码器恢复教师特征，提升模型在分布偏移下的鲁棒性。

Comments ACM MM 2026

DragonCrawl: A Generative, Intent-Based Framework for Scalable Mobile End-to-End Testing

DragonCrawl：一种用于可扩展移动端到端测试的生成式意图框架

Sowjanya Puligadda, Mengdie Zhang, Ali Zamani, Dhruva Dixith Kurra, Eric Chen, Juan Marcano

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 DragonCrawl是基于GPT-4o多模态的移动端到端测试框架，通过验证用户流程阻止问题提交，缩短测试入门时间，节省大量维护工作量，实现规模化持续质量保证。

Comments 12 pages, 6 figures, 6 pages

Attention Fusion for Bridge Deck Delamination Detection

多传感器注意力网络用于混凝土桥面亚表面脱层自动检测

Alireza Moayedikia, Amirhossein Moayedikia

机构 * Department of Business Technology and Entrepreneurship, Swinburne University of Technology（斯winburne技术大学商业技术与创业系） ； Swinburne University of Technology（斯winburne技术大学） ； University of Sydney（悉尼大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出多传感器注意力网络用于混凝土桥面亚表面脱层检测，通过整合GPR和IRT数据，提升自动化检测性能。

Deformable Medical Image Registration with KAN-based Implicit Neural Representations

基于KAN的隐式神经表示的可变形医学图像配准

Nikita Drozdov, Marat Zinovev, Dmitry Sorokin

机构 * Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出基于KAN的INR框架KAN-IDIR与RandKAN-IDIR，用于无需数据集级训练的逐对优化可变形医学图像配准，在多模态医学图像上实现高准确性、低开销与稳定性，适用于临床研究。

Comments Accepted at Machine Learning and Knowledge Extraction