多模态大模型

Archon: A Unified Multimodal Model for Holistic Digital Human Generation

Archon：面向整体数字人生成的统一多模态模型

Chong Bao, Shichen Liu, Lijun Yu, David Futschik, Stylianos Moschoglou, Shefali Srivastava, Ziqian Bai, Feitong Tan, Guofeng Zhang, Zhaopeng Cui, Sean Fanello, Yinda Zhang

机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD与CG国家重点实验室） ； Google（谷歌） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出Archon，一个完全预训练的以人为中心的统一多模态模型，通过模态特定分词器、语义视频重参数化和“模态思维”策略，实现文本、音频、动作和视觉等七种模态的整体数字人生成。

Comments Accepted to CVPR 2026. Project Page: https://zju3dv.github.io/archon/

MENTOR: Efficient Multimodal-Conditioned Tuning for Autoregressive Vision Generation Models

MENTOR: 面向自回归视觉生成模型的高效多模态条件微调

Haozhe Zhao, Zefan Cai, Shuzheng Si, Liang Chen, Jiuxiang Gu, Wen Xiao, Minjia Zhang, Junjie Hu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； Microsoft（微软公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出MENTOR框架，通过两阶段训练范式实现自回归图像生成器与多模态输入的细粒度token级对齐，无需辅助适配器或交叉注意力模块，在DreamBench++上取得优异性能。

Comments Findings of ACL 2026

Towards Localized and Disentangled Knowledge Editing for Multimodal Large Language Models

面向多模态大语言模型的局部化与解耦知识编辑

Leijiang Gu, Zhen Zeng, Feng Li, Xinjian Gao, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； Tongji University（同济大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态知识编辑中因果错位和特征纠缠问题，提出LDKE框架，通过快速定位关键层和解耦分类器实现精准泛化编辑并保持高局部性。

Cognitive Pivot Points and Visual Anchoring: Unveiling and Rectifying Hallucinations in Multimodal Reasoning Models

认知支点与视觉锚定：揭示并纠正多模态推理模型中的幻觉

Zhe Qian, Yanbiao Ma, Zhuohan Ouyang, Zhonghua Wang, Zhongxing Xu, Fei Luo, Xinyu Liu, Zongyuan Ge, Yike Guo, Jungong Han

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 龙城人工智能学院） ； South China Agricultural University（华南农业大学） ； South China Normal University（华南师范大学） ； Monash University（莫纳什大学） ； Jishou University（吉首大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态大推理模型在长链推理中易产生幻觉的问题，提出V-STAR训练范式，通过分层视觉注意力奖励和强制反思机制，将视觉锚定引入推理过程以减轻幻觉。

Comments TPAMI under review

CCS: Clinical Consensus Selection for Radiology Report Generation

CCS：放射学报告生成的临床共识选择

Xi Zhang, Yingshu Li, Zaiqiao Meng, Jake Lever, Edmond S. L. Ho

机构 * School of Computing Science, University of Glasgow（格拉斯哥大学计算机科学学院） ； School of Electrical and Computer Engineering, University of Sydney（悉尼大学电气与计算机工程学院） ； Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出CCS框架，通过采样多个候选报告并选择临床共识最高的一个，以改进放射学报告生成在推理时的质量。

Comments 17 pages, 6 figures

Diffusion Models Are Statistically Optimal for Learning Low-Dimensional Multi-Modal Distributions

扩散模型在学习低维多模态分布时具有统计最优性

Jingda Wu, Changxiao Cai

机构 * Department of Industrial and Operations Engineering, University of Michigan, Ann Arbor, USA（工业与运营工程系，密歇根大学，安娜堡，美国） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)

AI总结 本文证明扩散模型在学习支撑在低维子空间并集上的分布时，样本复杂度仅依赖于内在维度，达到近最优的1-Wasserstein误差率，无需光滑性或有界密度假设。

Comments accepted to ICML 2026

Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model

双流扩散用于世界模型增强的视觉-语言-动作模型

John Won, Kyungmin Lee, Huiwon Jang, Dongyoung Kim, Jinwoo Shin

机构 * Kim Jaechul Graduate School of AI, Korea Advanced Institute of Technology, Seoul, Republic of Korea（金 Jaechul 人工智能研究生院，韩国科学技术院，首尔，大韩民国） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出DUST框架，通过双流扩散Transformer和异步采样方法，解决世界模型增强的视觉-语言-动作模型中的模态差距问题，在模拟和真实任务中取得显著性能提升。

Comments Accepted at ICML 2026. Project page at https://periphanes.github.io/dust (20 pages, 10 figures)

DirectorBench: Diagnosing Long-Form Video Generation with Personalized Multi-Agent Evaluation

DirectorBench: 通过个性化多智能体评估诊断长视频生成

Jiamin Chen, Qianben Chen, Jiawen Zhang, Yidi Wu, Yuchen Li, Xiaokun Zhang, Wangchunshu Zhou, Chen Ma

机构 * ByteDance Inc.（字节跳动公司） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 提出DirectorBench，一种基于多智能体的诊断基准，通过80个结构化元数据、7个用户画像和40个检查点标准，在脚本、视觉、音频、跨模态和稳定性五个维度上评估长视频生成，并定位瓶颈和用户偏好依赖。

Robust and Generalizable Safety Steering for Text-to-Image Diffusion Transformers

面向文本到图像扩散Transformer的鲁棒且可泛化的安全引导

Zihao Xue, Yan Wang, Zhen Bi, Long Ma, Zhonglong Zheng, Zeyu Yang, Bingyu Zhu, Longtao Huang, Jie Xiao, Jungang Lou

机构 * Huzhou Normal University（湖州师范学院） ； Alibaba Group（阿里巴巴集团） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang Normal University（浙江师范大学） ； Zhejiang University of Technology（浙江工业大学） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出SafeDIG框架，通过位置感知稀疏特征迁移实现扩散Transformer的安全引导，在保持源域安全性和图像质量的同时，有效降低目标域和整体不安全生成率。

Offline Reinforcement Learning with Generative Trajectory Policies

基于生成轨迹策略的离线强化学习

Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

机构 * School of Computing, Data Sciences ； Computer Engineering Department, UCLA, Los Angeles, USA 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出生成轨迹策略（GTP），通过统一扩散、流匹配和一致性模型为常微分方程驱动的连续时间生成轨迹，并引入两种理论自适应方法，在D4RL基准上达到最先进性能。

Comments ICML 2026

PrismFlow: Residual Dynamics for Flow Matching in Time-Series Generation

PrismFlow: 时间序列生成中流匹配的残差动力学

Junru Zhang, Lang Feng, Jinbo Wang, Xu Guo, Yucheng Wang, Han Yu, Min Wu, Yabo Dong, Duanqing Xu

机构 * Zhejiang University, China（浙江大学，中国） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； I2R, Agency for Science, Technology and Research (A*STAR), Singapore（科技研究局（A*STAR）新加坡研究所，新加坡） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出PrismFlow方法，通过Koopman启发的动力学专家和置信度感知的胜者全得目标，在流匹配中学习残差修正，以解决标准流匹配中全局向量场估计器导致的频谱失真和模式覆盖不足问题，在时间序列生成中取得最优性能。

Multi-Attribute guided Thermal Face Image Translation based on Latent Diffusion Model

基于潜在扩散模型的多属性引导热人脸图像翻译

Mingshu Cai, Osamu Yoshie, Yuya Ieiri

机构 * Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息、生产与系统研究生院） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出一种基于潜在扩散模型的多属性引导方法，从热红外图像生成高质量可见光人脸图像，同时保留关键身份特征，解决异质人脸识别中的域偏移和特征丢失问题。

Comments Accepted by 2025 IEEE International Joint Conference on Biometrics (IJCB 2025)

Journal ref 2025 IEEE International Joint Conference on Biometrics (IJCB), 2025

Jailbreaking and Mitigation of Vulnerabilities in Large Language Models

大语言模型的越狱与漏洞缓解

Benji Peng, Hanxuan Chen, Keyu Chen, Qian Niu, Ziqian Bi, Ming Liu, Pohsun Feng, Tianyang Wang, Lawrence K. Q. Yan, Yizhu Wen, Yichao Zhang, Caitlyn Heqi Yin, Xinyuan Song, Riyang Bao, Jiacheng Shi

机构 * Hunan University Changsha, PRC ； Georgia Institute of Technology Atlanta, USA ； Kyoto University Kyoto, Japan ； Purdue University West Lafayette, USA ； National Taiwan Normal University Taipei, ROC ； University of Liverpool Suzhou, PRC ； Hong Kong University of Science ； University of Hawaii Honolulu, USA ； The University of Texas at Dallas Dallas, USA ； University of Wisconsin-Madison Madison, USA ； Emory University Atlanta, USA ； College of William \& Mary Williamsburg, USA 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 本文综述了大语言模型在提示注入和越狱攻击下的漏洞，分类攻击方法并评估防御策略，指出研究空白与未来方向。

Journal ref Eureka 1(1) (2026) 26-61

When, why, and how do diffusion posterior samplers fail? A finite-sample lens

何时、为何以及如何扩散后验采样器失败？一个有限样本视角

Benjamin A. Burns, Sara Fridovich-Keil

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文从有限样本视角分析扩散后验采样器中似然近似误差导致后验分布偏差的原因，发现中间时间步的后验扩散估计不准确会导致模式加权错误和幻觉，并提出一种与近似类型无关的诊断方法。

Comments All code for experiments is available at: https://github.com/voilalab/diagnosing-posterior-sampling

A Calibrated Bayesian Search for Potential Chemical Technosignatures in Polluted White Dwarf

污染白矮星中潜在化学技术特征的一种校准贝叶斯搜索

Bo-Lun Huang, Zhen-Zhao Tao, Tong-Jie Zhang

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 提出一种陨石校准的贝叶斯框架，通过比较自然岩石与理想化“加工”模板的组成模式，搜索白矮星丰度记录中的化学技术特征，并量化其可检测发生率。

Comments 21 pages, 11 figures, 5 tables. Accepted for publication in The Astrophysical Journal

MARS Policy: Multimodality Only When It Matters

MARS策略：仅在必要时使用多模态

Jindou Jia, Tuo An, Yuxuan Hu, Gen Li, Jingliang Li, Bohan Hou, Xiangyu Chen, Jiaqi Bai, Bofan Lyu, Jianfei Yang

机构 * MARS Lab, Nanyang Technological University（MARS实验室，南洋理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出MARS策略，通过自适应地在需要时引入随机性，在单模态阶段使用确定性学习，平衡生成策略的多模态能力与确定性模型的高效率，在模拟和真实任务中提升成功率和推理速度。

Comments 13 figures, 17 pages