多模态大模型

Uncovering Entity Identity Confusion in Multimodal Knowledge Editing

揭示多模态知识编辑中的实体身份混淆

Shu Wu, Xiaotian Ye, Xinyu Mou, Dongsheng Liu, Xiaohan Wang, Mengqi Zhang

机构 * New Laboratory of Pattern Recognition (NLPR)（模式识别新实验室） ； State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS)（多模态人工智能系统国家重点实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； Huazhong University of Science and Technology（华中科技大学） ； Shandong University（山东大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文研究多模态知识编辑中实体身份混淆问题，发现现有方法无法区分图像-实体绑定与实体-实体关系，导致模型错误关联。通过构建EC-Bench基准测试，提出约束编辑阶段以提升绑定准确性，从而减少混淆。

Steering Visual Generation in Unified Multimodal Models with Understanding Supervision

通过理解监督引导统一多模态模型的视觉生成

Zeyu Liu, Zanlin Ni, Yang Yue, Cheng Da, Huan Yang, Di Zhang, Kun Gai, Gao Huang

机构 * Tsinghua University（清华大学） ； Kolors Team, Kuaishou Technology（快手技术团队） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UNO框架，通过将理解作为监督信号引导生成，提升多模态模型在图像生成与编辑中的性能。

From Review to Design: Ethical Multimodal Driver Monitoring Systems for Risk Mitigation, Incident Response, and Accountability in Automated Vehicles

从评审到设计：面向风险缓解、事故响应和问责的伦理多模态驾驶员监控系统

Bilal Khana, Waseem Shariff, Rory Coyne, Muhammad Ali Farooq, Peter Corcoran

机构 * C3I Imaging Lab, School of Engineering, University of Galway（Galway大学工程学院C3I成像实验室） ； Royal College of Surgeons in Ireland（爱尔兰皇家外科医师学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出针对自动驾驶车辆中多模态驾驶员监控系统的设计框架，解决伦理和法律挑战，强调透明、可信和以人为本的设计方法。

Causal Probing for Internal Visual Representations in Multimodal Large Language Models

多模态大语言模型内部视觉表征的因果探测

Zehao Deng, Tianjie Ju, Zheng Wu, Liangbo He, Jun Lan, Huijia Zhu, Weiqiang Wang, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究通过激活引导框架系统干预四个视觉概念类别，揭示实体记忆局部化与抽象概念全局分布的差异，发现模型深度对复杂抽象概念编码至关重要，且反向引导揭示感知与生成之间的补偿机制。

Attributions All the Way Down? The Metagame of Interpretability

逐层归因？可解释性中的元游戏

Hubert Baniecki, Przemyslaw Biecek, Fabian Fumagalli

机构 * University of Warsaw（华沙大学） ； Centre for Credible AI, Warsaw University of Technology（可信AI中心，华沙技术大学） ； Bielefeld University（比勒菲尔德大学） ； LMU Munich, MCML（慕尼黑大学LMU，MCML） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出元游戏框架，通过将归因方法视为合作博弈计算Shapley值，研究模型解释的第二阶交互效应，揭示归因的层级分解及其在多领域可解释性应用中的价值。

GlazyBench: A Benchmark for Ceramic Glaze Property Prediction and Image Generation

GlazyBench：陶瓷釉料属性预测与图像生成的基准测试

Ziyu Zhai, Siyou Li, Juexi Shao, Juntao Yu

机构 * Queen Mary University of London（伦敦大学玛丽女王学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出GlazyBench，首个用于AI辅助釉料设计的基准数据集，包含23148种真实釉料配方，支持釉料属性预测与图像生成任务，通过传统机器学习和大语言模型建立基线，展示出有前景但具挑战性的实验结果。

SOWing Information: Cultivating Contextual Coherence with MLLMs in Image Generation

信息播种：利用大规模语言模型在图像生成中培养上下文一致性

Yuhan Pei, Ruoyu Wang, Yongqi Yang, Ye Zhu, Olga Russakovsky, Yu Wu

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SOW方法，通过多模态大语言模型实现文本-视觉到图像生成，提升图像像素级条件保真度和视觉语义一致性。

Comments Project page: https://pyh-129.github.io/SOW/

Time-Inhomogeneous Preconditioned Langevin Dynamics

时间非齐次预条件拉格朗日动力学

Alexander Falk, Laurenz Nagler, Andreas Habring, Thomas Pock

机构 * Institute of Visual Computing（视觉计算研究所） ； Graz University of Technology（格拉茨技术大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 本文提出TIPreL方法，通过时间与位置依赖的预条件器解决拉格朗日动力学在多模分布中的全局模式覆盖与局部模式探索问题，证明其在Wasserstein-2距离下的收敛性，并在实验中验证其有效性。

Photometric Redshift PDFs via Neural Network Classification for DESI Legacy Imaging Surveys and Pan-STARRS

通过神经网络分类进行光度红移PDFs的估计：DESI遗产成像调查与Pan-STARRS

Da-Chuan Tian, Zhong-Lue Wen, Jun-Qing Xia

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 本文提出一种神经网络分类方法，用于生成校准良好的红移概率密度函数，通过离散化红移空间并优化CRPS，提升了红移估计的精度和不确定性量化。

Comments 19 pages, 8 figures, accepted for publication in The Astrophysical Journal Supplement Series. Data available at https://doi.org/10.5281/zenodo.18410731