多模态大模型

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

安全自回归图像生成与迭代自改进码本

Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

机构 * School of Information Management, Wuhan University（武汉大学信息管理学院） ； Torr Vision Group, University of Oxford（牛津大学Torr视觉组） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对自回归统一多模态模型生成图像的安全性问题，提出迭代自改进码本方法，利用模型自身判断不安全图像并修正码本映射，消除有害输出并保证生成质量。

Comments 10 pages including references, 8 figures, accepted for publication at the 43rd International Conference on Machine Learning (ICML 2026)

FLUX3D: High-Fidelity 3D Gaussian Generation with Diffusion-Aligned Sparse Representation

FLUX3D: 基于扩散对齐稀疏表示的高保真3D高斯生成

Haorui Ji, Weizhe Liu, Hongdong Li, Hengkai Guo

机构 * The Australian National University（澳大利亚国立大学） ； ByteDance（字节跳动） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出FLUX3D框架，通过扩散对齐结构化潜变量（DA-SLAT）和稀疏结构感知扩散变压器（SMDiT）解决稀疏体素表示中高频细节丢失和跨模态对齐问题，实现高保真图像到3D高斯生成。

Efficient Reinforcement for Visual-Textual Thinking with Discrete Diffusion Model

基于离散扩散模型的视觉-文本思维高效强化学习

Yoonjeon Kim, Yuhta Takida, Chieh-Hsin Lai, Eunho Yang, Yuki Mitsufuji

机构 * KAIST（韩国科学技术院） ； Sony AI（索尼AI） ； AITRICS ； Sony Group Corporation（索尼集团公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出用离散扩散模型替代自回归模型进行多模态强化学习，通过局部视觉编辑减少计算量，并设计分解奖励分配策略解决跨模态干扰问题。

Diffusion-Refined Segmentation and Vision-Language Interpretation for Pediatric Brain Tumor MRI

扩散细化分割与视觉-语言解释用于儿童脑肿瘤MRI

Wentao Ke, Jianche Liu

机构 * Department of Mechanical Engineering, Stanford University（斯坦福大学机械工程系） ； School of Medicine, Stanford University（斯坦福大学医学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 提出两阶段框架，先用Swin-UNETR粗分割，再用条件扩散模型细化边界，最后结合多模态语言模型生成结构化报告，提升儿童脑肿瘤分割精度和可解释性。

Acoustic, VOC, and Multimodal Stress Source Localization in the Internet of Plants

植物物联网中的声学、VOC和多模态胁迫源定位

Ahmet B. Kilic, Ozgur B. Akan

专题命中 多模态生成 ：multimodal(title)

AI总结 提出一种两阶段粗到细定位流程，结合声学到达时间差多边定位和VOC弥散格林函数模型，实现植物网络中胁迫源的空间定位。

Who Leads Now? Token-Level Modality Arbitration for Chart-to-Code Generation

当前谁主导？用于图表转代码生成的令牌级模态仲裁

Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

专题命中 多模态生成 ：cross-modal(abstract,abstract_cn)；分类 cs.AI

AI总结 提出MoCA模型，通过CAB分离视觉与编码能力并动态仲裁贡献，经两阶段训练后在三个基准测试中取得与同类模型相当的图表转代码性能。

ReGraph: Learning to Generate Recipe Graphs from Food Images

ReGraph：从食物图像生成食谱图的学习方法

Guoshan Liu, Bin Zhu, Pengkun Jiao, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信体智能研究院） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 多模态生成 ：multimodal(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对现有食谱生成方法的过程结构捕捉不足问题，构建了ReGraph食谱图数据集并提出RGL两阶段框架，可让LMM从食物图像生成结构化食谱图，提升了烹饪实体与过程关系的生成效果。

VIPER: Visual In-Context Physics Reasoning for Physically Plausible Video Generation

VIPER：用于物理上合理的视频生成的视觉上下文物理推理

Tianxiao Chen, Hanmo Chen, Huajin Chen, Bo Li, Qi Ye, Peng-Tao Jiang

机构 * Zhejiang University（浙江大学） ； vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究针对视频生成模型控制物理行为难的问题，提出VIPER框架，利用多模态大语言模型提取物理线索，通过分层训练引导图像到视频生成器，构建VIPER-19K数据集，实验证明该框架能实现物理行为转移且效果良好。

Comments tech report

BeyondFusion: Self-Aligned Latent Diffusion for Calibration-Free Infrared Super-Resolution and Infrared-Visible Fusion

超越融合：用于无校准红外超分辨率和红外-可见光融合的自对齐潜在扩散

Minchong Chen, Xiaoyun Yuan, Minyu Cao, Jianing Zhang, Jun Zhang, Shuyang Liu, Xiaokang Yang

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对移动红外-可见光成像中跨传感器未对准问题，提出超越融合框架，通过引入跨模态自对齐模块及未对准增强模块，实现无校准条件下的红外超分辨率和红外-可见光融合，经实验验证了其有效性。

Comments 13 pages

Axolotl3D: a Unified Framework for Faithful 3D Shape Completion

Axolotl3D：用于精确3D形状完成的统一框架

Anita Hu, Maria Shugrina

机构 * NVIDIA（英伟达） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对3D生成模型在多场景适用性有限及缺乏统一框架的问题，提出Axolotl3D模型，它基于多种模态条件设定，利用点云和相机参数，通过统一训练策略实现精确3D形状完成，实验验证其在多方面性能出色。

Comments Accepted to ECCV 2026

RS-RIE-Bench: Benchmarking Reasoning-Guided Remote Sensing Image Editing

RS-RIE-Bench：推理引导的遥感图像编辑基准测试

Zihan Qin, Boao Xu, Zhao Dong, Yingping Sun, Ziheng Jiao, Junying Wang, Hongwei Wang

机构 * Huawei（华为） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究针对遥感图像编辑，引入RS-RIE-Bench基准，将任务分类，通过特定评估协议和方法评估模型，经实验发现当前模型在推理引导的遥感编辑中有局限，为未来模型提供了基准和研究方向。

ReBind: Multi-Reference Video Editing via Structured Instructions with Explicit Reference Relationships

ReBind：通过具有显式参考关系的结构化指令进行多参考视频编辑

Xinyu Liu, Shihao Li, Weihong Lin, Xinlong Chen, Yang Shi, Yujin Han, Yiyang Cai, Yanghao Wang, Ruibin Yuan, Yuanxing Zhang, Pengfei Wan, Wenhan Luo, Yike Guo

机构 * HKUST（香港科技大学） ； Kling Team（克林团队） ； NJU（南京大学） ； UCAS（中国科学院大学） ； PKU（北京大学） ； HKU（香港大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究针对多参考图像条件视频编辑中现有方法难以协调多视觉源信息的问题，提出ReBind框架，通过带嵌入参考令牌的语义指令及两阶段渐进方案学习建立显式绑定，实现轻量级适配，在指令质量和性能上表现出色。

Comments Project Page: https://rebind-mrv2v.github.io/

KeyFrame-Compass: Towards Comprehensive Evaluation of Keyframe-Conditioned Video Generation

关键帧指南针：迈向对关键帧条件视频生成的全面评估

Yuqi Tang, Tengfei Liu, Yizheng Lai, Yuran Wang, Yang Shi, Wanshun Su, Zhuoran Zhang, Qixun Wang, Xiaohan Zhang, Xinlei Yu, Xuehai Bai, Xuanyu Zhu, Bohan Zeng, Bozhou Li, Shujie Li, Yifan Dai, Yujie Wei, Shixuan Liu, Haotian Wang, Jialu Chen, Yuanxing Zhang

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究关键帧条件视频生成，提出关键帧指南针综合基准及自动评估框架，将关键帧执行分解为六个指标评估，通过实验揭示当前模型在关键帧执行与自然视频合成间存在权衡等局限性。

Comments 35 pages

MAGIC: Transition-Aware Generation of Navigable Multi-Scene Game Worlds with Large Language Models

MAGIC：利用大语言模型生成具有可导航多场景的游戏世界并感知过渡

Tsz Hei Fan, Choi Wing Fung, Yuxuan Wan, Shuqing Li, Michael R. Lyu

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 研究利用大语言模型生成多场景游戏世界时面临的问题，提出MAGIC系统，通过四阶段管道将自然语言提示转化为可运行项目，解决跨场景一致性等问题，在新基准测试中表现出色，生成可执行项目且过渡识别指标优。

Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation

Qwen-RobotWorld技术报告：通过语言条件视频生成统一具身世界模型

Jie Zhang, Xiaoyue Chen, Anzhe Chen, Dayiheng Liu, Deqing Li, Gengze Zhou, Hale Yin, Haoqi Yuan, Haoyang Li, Jiahao Li, Jiazhao Zhang, Jingren Zhou, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Pei Lin, Qihang Peng, Shengming Yin, Tianhe Wu, Tianyi Yan, Xiao Xu, Yan Shu, Yanran Zhang, Ye Wang, Yi Wang, Yilei Chen, Yixian Xu, Yiyang Huang, Yuxiang Chen, Zekai Zhang, Zhendong Wang, Zixing Lei, Zhixuan Liang, Zihao Liu, Zikai Zhou, Chenxu Lv, Xiong-Hui Chen, Chenfei Wu

机构 * Qwen Team（Qwen团队） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出Qwen-RobotWorld，一种以自然语言为统一动作接口的语言条件视频世界模型，通过双流MMDiT、大规模具身世界知识语料和渐进式课程训练，在机器人操作、自动驾驶等任务中实现物理一致的未来视觉轨迹预测，在多个基准上取得最优结果。

Text-Vision Co-Instructed Image Editing

文本-视觉协同指导的图像编辑

Chenxi Xie, Yuhui Wu, Qiaosi Yi, Lei Zhang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出TV-Edit框架，联合文本指令的语义表达与稀疏视觉指令的空间引导，实现精确且忠实于意图的图像编辑，显著优于现有方法。

Mind the Gap: Diagnosing Constraint Discovery Failures in Text-in-Image Editing

注意差距：诊断图像内文本编辑中的约束发现失败

Rui Gui

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 通过图像内文本编辑的受控诊断，研究多模态模型在发现未明确指定的视觉依赖约束时的失败，发现模型仅能自行发现46%的约束，而明确提供时可达94%。

InterleaveThinker: Reinforcing Agentic Interleaved Generation

InterleaveThinker: 强化智能体交错生成

Dian Zheng, Harry Lee, Manyuan Zhang, Kaituo Feng, Zoey Guo, Ray Zhang, Hongsheng Li

机构 * CUHK MMLab（香港中文大学多媒体实验室） ； Meituan（美团） ； CUHK IMIXR（香港中文大学IMIXR实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出首个多智能体管线InterleaveThinker，通过规划器和评论家智能体使现有图像生成器具备交错生成能力，并利用GRPO强化单步指令修正，显著提升生成性能。

Comments Project Page: https://zhengdian1.github.io/InterleaveThinker-proj/ Code: https://github.com/zhengdian1/InterleaveThinker

Physics-informed generative AI for semiconductor manufacturing: Enforcing hard physical constraints in generative models by construction

物理信息驱动的生成式AI在半导体制造中的应用：通过构造强制生成模型中的硬物理约束

Yaser Mike Banad, Sarah Sharif

机构 * School of Electrical and Computer Engineering, University of Oklahoma（俄克拉荷马大学电气与计算机工程学院） ； Center for Quantum Research and Technology, University of Oklahoma（俄克拉荷马大学量子研究与技术中心） ； Intelligent Neuromorphic and Quantum Understanding for Innovative Research and Engineering (INQUIRE) Laboratory（创新研究与工程智能神经形态与量子理解实验室） ； Material Science and Engineering Program, University of Oklahoma, Norman, OK 73019 USA（俄克拉荷马大学材料科学与工程项目，Norman, OK 73019 USA） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 针对半导体制造中生成模型必须满足硬物理约束的问题，本文提出通过构造集成物理信息（如物理信息扩散、PDE约束变分模型等）来强制约束，而非事后过滤，并给出四种集成模式和未来研究方向。

AutoDesign: Meta-Harness Optimization for Long-Horizon Agentic Design

AutoDesign：面向长视距智能体设计的元工具优化

Yaxin Luo, Haobin Jiang, Jialv Zou, Xu Huang, Wenhao Yan, Haodong Li, Zhengrong Yue, Jing Li, Xiaofu Chen, Xiaohan Zhao, Jiacheng Liu, Jiacheng Cui, Zhiqiang Shen, Xiaotong Li

机构 * Meituan（美团） ； MBZUAI（Mohamed bin Zayed University of Artificial Intelligence） ； Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 AutoDesign是符合人类设计先验的元工具优化框架，以论文转海报生成任务为实例，在PosterBench上性能优于Claude Design，集成其学习的DesignHarness可提升代码智能体性能，且获人类最高偏好。

Comments Tech Report. Code at: https://github.com/Yaxin9Luo/AutoDesign

CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning

CURV：通过课程可视化接地推理增强图表理解

Xuehang Guo, Pingyue Zhang, Ruiyi Zhang, Zhenhailong Wang, Hanrui Lyu, Heng Ji, Tong Sun, Qingyun Wang, Manling Li

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对多模态大语言模型视觉接地与推理不足的问题，提出CURV课程学习框架，结合CCQA数据集，在图表问答任务中实现显著性能提升并具备良好泛化性。

Unpaired Modality-Agnostic Generative Recommendation

非配对模态无关生成式推荐

Weihao Shen, Wei Chen, Fuwei Zhang, Meng Yuan, Yuqin Lan, Guojun Liu, Qingsong Hua, Wei Lin, Fuzhen Zhuang

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)

AI总结 提出UnpairGR模型，从多类观测中学习统一语义ID空间，在三类基准数据集上验证其可提升完全与不完全观测下的推荐性能。

Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes

并发图像理解与生成：自校正耦合马尔可夫跳跃过程

Minh-Quan Le, Armand Comas, Alexandros Lattas, Stylianos Moschoglou, Pedro Vélez, Amit Raj, Aaron Germuth, Thabo Beeler, Dimitris Samaras, Di Qiu

机构 * Stony Brook University（纽约州立大学石溪分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)

AI总结 研究针对人类认知中理解与生成的耦合循环，引入自校正耦合马尔可夫跳跃过程框架及$\texttt{CO}_\texttt{2}\texttt{Jump}$采样器，解决掩码扩散模型跨模态矛盾问题，创建多模态语料库，该方法在图像相关任务中性能优异，且性能随去噪步骤数提升。

Comments Project page: https://coupled-jump.github.io

T2MM: An LLM Supported Architecture For Inquiry-Based Modeling

T2MM：一种支持基于探究建模的LLM架构

John Kos, Rudra Singh, Ashok Goel

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI、cs.MM

AI总结 提出T2MM架构，利用LLM在生态建模软件VERA中生成交互式模型，优于全代码生成基线。

Comments 16 pages, 4 figures

TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation

TRACE-Bench：多参考图像生成的分解与诊断

Haoran Wang, Chaofan Ma, Ran Yi, Lizhuang Ma

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多参考图像生成基准的缺陷，构建TRACE-Bench基准，采用算子分解方法评估9个主流模型，发现解耦与属性绑定是核心瓶颈，最优模型属性保真度仅0.74

Comments Accepted to ACM Multimedia 2026 (ACM MM 2026)

What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems

下一步编辑什么：对话系统中视觉对齐的图像编辑后续建议

Zhijing Zhang, Jinpeng Yu, Xin Song, Bingnan Li, Chuyue Li, Changhui Du, Xiaolin Fang, Jiaming Liu, Ruihua Huang

机构 * Qwen Business Unit of Alibaba（阿里巴巴通义千问业务单元） ； Southeast University（东南大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对对话系统的图像创作场景，提出三阶段多模态推荐框架，经测试可降低视觉不一致率并显著提升推荐相关指标。

Does More Retrieved Evidence Help Visual Retrieval-Augmented Generation with Diffusion Language Models?

更多检索到的证据是否有助于基于扩散语言模型的视觉检索增强生成？

Jiankun Wang, Yisen Gao, Ziwei Zhang, Xingcheng Fu, Jiaxin Bai, Chen Gao

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对基于扩散语言模型的视觉检索增强生成，研究发现无条件扩大检索证据会因语义冲突降低准确率，提出无需训练的基于熵的候选过滤框架，可平均提升答案准确率2.62个百分点。

FinReportBench: Measuring and Improving Institution-Grade Financial Report Generation

FinReportBench：衡量与提升机构级财务报告生成能力

Yinghao Tang, Tan Zhenwei, Yiyao Wang, Wanli Gu, Xiaolu Zhang, Jun Zhou, Wei Chen

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出FinReportBench基准，发现大型语言模型生成机构级财务报告的瓶颈在于报告身份认同与机构完整性，通过基准引导的技能蒸馏可显著提升模型相关指标。

Comments 9 pages, 9 figures

ChartAnno: Evaluating MLLMs for Chart Annotation Generation

ChartAnno：评估多模态大语言模型的图表标注生成能力

Zhenghan Chen, Zekai Shao, Lidan Tan, Xin Lin, Xingchen Zeng, Yi Shan, Ziyue Lin, Xiaoliang Fu, Xinyuan Liu, Yuetong Guo, Fen Wang, Bongshin Lee, Siming Chen

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ChartAnno基准评估MLLMs的图表标注生成能力，实验显示专有模型表现更优，大规模开源模型正缩小差距，更具体指令可提升标注质量，图表图像仅在设计相关指标上有有限提升。

CorePath: A Breast-Specialized Pathology Foundation Model for Core Needle Biopsy Diagnosis and Risk-Controlled Report Generation

CorePath：用于核心针活检诊断和风险可控报告生成的乳腺专用病理基础模型

Ting Yin, Danning Li, Chen Shu, Xiaoxia Yao, Boyu Fu, Yujing Chang, Tianyu Shi, Mengna Feng, Jie Chen, Jing Fu, Xiuli Xiao, Tianlin Li, Mumin Shao, Jiaxin Bi, Wenchuan Zhang, Xiaoyan Wu, Xiao Han, Zhang Zhang, Yuhao Yi, Hong Bu

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究开发乳腺专用病理基础模型CorePath，经7901对数据微调后，在多队列及基准上的CNB诊断任务中性能优于现有模型，结合风险控制模块实现低幻觉的可靠报告生成。

Comments The code will be made publicly available upon publication