多模态大模型

Cognitive-structured Multimodal Agent for Multimodal Understanding, Generation, and Editing

用于多模态理解、生成和编辑的认知结构多模态智能体

Feng Wang, Canmiao Fu, Zhipeng Huang, Chen Li, Jing Lyu, Ge Li

机构 * Peking University（北京大学） ； Tencent Inc（腾讯公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对统一多模态模型在长时多模态对话中的局限，提出认知结构多模态智能体，通过外化视觉信息等方式改进。开发统一场景引擎，构建评估基准。实验显示该智能体检索准确率高、推理时间减半，还介绍了工具包，为长时多模态智能体提供新范式。

Comments 16 pages, 7 figures, 8 tables. Project page: https://caseclose.github.io/cma-harness/ Code: https://github.com/caseclose/cma-harness

DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

DeltaV：在统一大型多模态模型中通过视觉状态更新进行思考

Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo, Pei Fu, Jian Luan, Xiang Bai, Yuliang Liu

机构 * Huazhong University of Science and Technology（华中科技大学） ； Xiaomi Inc.（小米公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对统一大型多模态模型全图像生成范式的问题，提出DeltaV模型，通过视觉更新避免冗余，引入TSIM路由器匹配令牌预算，构建StructCoT数据集，实验证明该范式能减少视觉令牌、提升推理能力，DeltaV - 2B性能优异。

Multimodal 3D LUT Generation via StatLUT with Statistical Features for Photorealistic Style Transfer

通过具有统计特征的StatLUT进行多模态3D LUT生成以实现逼真的风格迁移

Yifan Wang, Zhixiang Hao, Yu Wang, Congchao Zhu

机构 * Honor Device Co., Ltd.（荣耀终端有限公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对逼真风格迁移中现有方法的瓶颈，提出StatLUT框架，通过提取统计特征、基于Transformer的Seq2Seq任务预测3D LUT及用H-Diffuser从自然语言提示合成特征，实现多模态逼真风格迁移，性能优于现有方法。

Comments 17 pages, 9 figures, 7 tables. Preprint

Reinforcing the Generation Order of Multimodal Masked Diffusion Models

强化多模态掩码扩散模型的生成顺序

Yidong Ouyang, Zhe Wang, Sourav Bhabesh, Dmitriy Bespalov

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； AGI Foundations for AWS（AWS强化人工智能基础） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究文本到图像合成及多模态理解中生成顺序的优化，引入经组相对策略优化训练的可学习控制模块，提升了DLMs的文本到图像对齐和多模态理解能力，在相关基准测试中取得显著改进。

Bridging Modal Isolation in Interleaved Thinking: Supervising Modality Transitions via Stepwise Reinforcement

交错思维中的模态隔离桥接：通过逐步强化监督模态转换

Tingyu Li, Le Zhou, Siyuan Li, Yujun Wu, Xinglong Xu, Jingxuan Wei, Conghui He, Cheng Tan

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； Zhejiang University（浙江大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MoTiF框架，通过反射式SFT和Flow-GRPO优化模态转换保真度，解决交错思维中图像与文本脱节的模态隔离问题，提升跨模态一致性和任务准确性。

Comments 22 pages, 5 figures, 6 tables

Expressivity and Statistical Trade-offs in Diffusion Policy Learning

扩散策略学习中的表达能力与统计权衡

Viet Vu, Renyuan Xu, Jiacheng Zhang, Yufei Zhang

机构 * Stanford University（斯坦福大学） ； Chinese University of Hong Kong（香港中文大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 研究扩散策略学习中表达能力与统计权衡，确定漂移Lipschitz预算K为核心量，通过近似量化表达能力，证明其与统计复杂性的关系，给出有限样本性能差距，数值实验验证，还提出根据样本大小选K及对应神经网络架构的实现原则。