多模态大模型

A Generative Foundation Model for Multimodal Histopathology

多模态病理生成模型基础框架

Jinxi Xiang, Mingjie Li, Siyu Hou, Yijiang Chen, Xiangde Luo, Yuanfeng Ji, Xiang Zhou, Ehsan Adeli, Akshay Chaudhari, Curtis P. Langlotz, Kilian M. Pohl, Ruijiang Li

机构 * Department of Radiation Oncology, Stanford University School of Medicine（斯坦福大学医学院放射肿瘤学系） ； Department of Psychiatry and Behavioral Sciences, Stanford University School of Medicine（斯坦福大学医学院精神病学与行为科学系） ； Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系） ； Department of Computer Science, Stanford University（斯坦福大学计算机科学系） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） ； Department of Biomedical Data Science, Stanford University（斯坦福大学生物医学数据科学系） ； Department of Radiology, Stanford University（斯坦福大学放射学系） ； Center for Artificial Intelligence in Medicine and Imaging, Stanford University（斯坦福大学医学与影像人工智能中心） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MuPD模型，通过扩散变压器整合病理图像、分子数据和临床文本，实现跨模态生成任务，提升诊断准确性和数据扩展性。

Comments 33 pages, 9 figures

ZINA: Multimodal Fine-grained Hallucination Detection and Editing

ZINA：多模态细粒度幻觉检测与编辑

Yuiga Wada, Kazuki Matsuda, Komei Sugiura, Graham Neubig

机构 * Keio AI Research Center（庆应义塾大学人工智能研究中心） ； Keio University（庆应义塾大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出ZINA方法，用于多模态大语言模型的细粒度幻觉检测与编辑，通过构建VisionHall数据集验证了其在检测和编辑任务中的优越性。

Comments CVPR 2026 Main Conference

Multimodal Backdoor Attack on VLMs for Autonomous Driving via Graffiti and Cross-Lingual Triggers

通过涂鸦和跨语言触发器对自动驾驶VLMs进行多模态后门攻击

Jiancheng Wang, Lidan Liang, Yong Wang, Zengzhen Su, Haifeng Xia, Yuanting Yan, Wei Wang

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出GLA攻击方法，利用自然触发器在自动驾驶场景中实现隐蔽稳定的后门攻击，实验显示仅需10%污染率即可达到90%攻击成功率且无误报，同时提升模型性能指标，揭示了自动驾驶VLMs的安全威胁。

Comments This is a submission to the "Pattern Analysis and Applications". The manuscript includes 14 pages and 6 figures. All authors have approved the submission, and there is no conflict of interest to declare

InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

InfoTok: 基于信息理论的容量受限共享视觉标记化在统一多模态大语言模型中的应用

Lv Tang, Tianyi Zheng, Bo Li, Xingyu Li

机构 * University of Alberta（阿尔伯塔大学） ； vivo Mobile Communication Co., Ltd（维沃移动通信有限公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出InfoTok，一种基于信息瓶颈原理的信息正则化标记化机制，通过互信息约束平衡压缩与任务相关性，提升统一多模态大语言模型的图像理解和生成性能。

Multimodal Terahertz Spectroscopy of the Pairing Symmetry and Normal-State Pseudogap in (La,Pr)$_3$Ni$_2$O$_7$ Films

多模态太赫兹光谱学研究（La,Pr）3Ni2O7薄膜中的配对对称性和正常态伪间隙

Shuxiang Xu, Guangdi Zhou, Hao Wang, Tianyi Wu, Wei Wang, Liyu Shi, Dong Wu, Haoliang Huang, Xinbo Wang, Jinfeng Jia, Qi-Kun Xue, Zhuoyu Chen, Tao Dong, Nanlin Wang

专题命中 多模态生成 ：multimodal(title)

AI总结 通过结合体敏感太赫兹时域光谱与太赫兹三次谐波生成，研究（La,Pr）3Ni2O7薄膜的超导配对对称性和正常态伪间隙特性，发现有序态与伪间隙的共存与竞争。

Synthesis4AD: Synthetic Anomalies are All You Need for 3D Anomaly Detection

Synthesis4AD：合成异常就是3D异常检测所需

Yihan Sun, Yuqi Cheng, Junjie Zu, Yuxiang Tan, Guoyang Xie, Yucheng Wang, Yunkang Cao, Weiming Shen

机构 * National Center of Technology Innovation for Intelligent Design and Numerical Control, Huazhong University of Science and Technology（华中科技大学国家智能设计与数控技术创新中心） ； School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院） ； Department of Intelligent Manufacturing, Contemporary Amperex Technology Ltd.（宁德时代新能源科技股份有限公司智能制造部） ； Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院） ； School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出Synthesis4AD方法，通过大规模高保真合成异常数据提升3D异常检测性能，利用3D-DefectStudio平台生成精确点云异常掩码，并结合多模态大语言模型实现知识驱动的数据生成，实验表明在多个数据集上达到领先水平。

BoxComm: Benchmarking Category-Aware Commentary Generation and Narration Rhythm in Boxing

BoxComm：基于 boxing 的类别感知评论生成与叙述节奏基准测试

Kaiwen Wang, Kaili Zheng, Rongrong Deng, Yiming Shi, Chenyi Guo, Ji Wu

机构 * Tsinghua University（清华大学） ； Beijing Sport University（北京体育大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出 BoxComm 数据集，包含 445 场世界拳击锦标赛视频及 52000 多条专业评论，通过分类注解和两项新评估方法，解决拳击评论生成中的节奏与类别准确性问题。

Enhancing Foundation VLM Robustness to Missing Modality: Scalable Diffusion for Bi-directional Feature Restoration

增强基础视觉语言模型对缺失模态的鲁棒性：可扩展的扩散用于双向特征恢复

Wei Dai, Haoyu Wang, Honghao Chang, Lijun He, Fan Li, Jian Sun, Haixia Bi

机构 * Department of Electronics ； Information \ 'an Jiaotong University Xi'an China ； School of Information ； Communications Engineering \ 'an Jiaotong University Xi'an China ； School of Mathematics ； Statistics \ 'an Jiaotong University Xi'an China ； Information \ 'an Jiaotong University ； Communications Engineering \ 'an Jiaotong University ； Statistics \ 'an Jiaotong University 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.AI

AI总结 本文提出一种通用缺失模态恢复策略，通过增强扩散模型实现双向特征对齐，提升视觉语言模型在模态缺失情况下的鲁棒性和可扩展性。

Comments 10 pages, 8 figures, 6 tables. Experiments and some details have been updated

Joint Behavior-guided and Modality-coherence Conditional Graph Diffusion Denoising for Multi Modal Recommendation

多模态推荐的联合行为引导和模态一致性条件图扩散去噪

Xiangchen Pan, Wei Wei

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文提出JBM-Diff模型，通过多视图信息传播和特征融合去除多模态特征中的冗余信息，并从行为角度检测样本对的偏序一致性以提升推荐准确性。