多模态大模型

JoyAI-Image: Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation

JoyAI-Image: 激活统一多模态理解和生成中的空间智能

Lin Song, Wenbo Li, Guoqing Ma, Wei Tang, Bo Wang, Yuan Zhang, Yijun Yang, Yicheng Xiao, Jianhui Liu, Yanbing Zhang, Guohui Zhang, Wenhu Zhang, Hang Xu, Nan Jiang, Xin Han, Haoze Sun, Maoquan Zhang, Haoyang Huang, Nan Duan

机构 * Joy Future Academy, JD（京东探索研究院） 纠错

专题命中 多模态生成 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出JoyAI-Image，一种统一的多模态基础模型，用于视觉理解、文本到图像生成和指令引导的图像编辑。该模型结合了空间增强的多模态大语言模型（MLLM）和多模态扩散Transformer（MMDiT），通过共享的多模态接口实现感知与生成的交互。构建可扩展的训练配方，结合统一指令微调、长文本渲染监督、空间 grounded 数据和通用及空间编辑信号，使模型具备广泛的多模态能力，同时增强几何感知推理和可控视觉合成。实验表明，JoyAI-Image在理解、生成、长文本渲染和编辑基准上达到最先进的性能。更重要的是，增强的理解、可控的空间编辑和新视角辅助推理之间的双向循环使模型超越一般视觉能力，向更强的空间智能发展。

Comments Code: https://github.com/jd-opensource/JoyAI-Image

Modality-Decoupled Online Recursive Editing

模态解耦的在线递归编辑

Siyuan Li, Youyuan Zhang, Fangming Liu, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China.（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory, China.（鹏城实验室） ； Huazhong University of Science and Technology, China（华中科技大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出M-ORE，一种用于持续多模态大语言模型适应的模态解耦在线递归编辑器，通过统一的近端投影公式和Sherman-Morrison递归实现常数级的每编辑开销，从而在保持模块局部统计信息和固定正交低秩编辑子空间的同时，减少长周期干扰，提升可靠性、通用性和局部性。

Lance: Unified Multimodal Modeling by Multi-Task Synergy

Lance：通过多任务协同实现统一多模态建模

Fengyi Fu, Mengqi Huang, Shaojin Wu, Yunsheng Jiang, Yufei Huo, Hao Li, Yinghang Song, Fei Ding, Jianzhu Guo, Qian He, Zheren Fu, Zhendong Mao, Yongdong Zhang

机构 * Intelligent Creation Lab, ByteDance（字节跳动智能创作实验室） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Lance，一种轻量级的原生统一模型，支持图像和视频的多模态理解、生成和编辑。该模型通过协同多任务训练的实用范式实现统一多模态建模，基于统一上下文建模和解耦能力路径两个核心原则，通过双流混合专家架构实现联合上下文学习并解耦理解和生成路径。

Comments 34 pages, 14 figures, 10 tables, homepage url: https://lance-project.github.io , code url: https://github.com/bytedance/Lance

Pareto-Enhanced Portrait Generation: Vision-Aligned Text Supervision for Alignment, Realism, and Aesthetics

帕累托优化的肖像生成：用于对齐、真实性和美学的视觉对齐文本监督

Yunlong Wang, Jinjin Shi, Wenbin Gao, Xuran Xu, Runyu Shi, Ying Huang

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种多模态扩散变换器（MM-DiT）的特征监督方法，通过引入轻量级的跨模态对齐机制，隐式提取多粒度的视觉对齐文本表示，以提升文本-图像对齐、真实性和美学质量，从而在Pareto前沿上实现协同改进。

What if Agents Could Imagine? Reinforcing Open-Vocabulary HOI Comprehension through Generation

如果智能体能够想象？通过生成强化开放词汇人-物交互理解

Zhenlong Yuan, Yue Wang, Dapeng Zhang, Kejin Cui, Rui Chen, Jing Tang, Lei Sun, Hongwei Yu, Chengxuan Qian, Xiangxiang Chu, Shuo Li, Yuyin Zhou

机构 * Dream-X Team（Dream-X团队） ； Stanford University（斯坦福大学） ； National University of Singapore（新加坡国立大学） ； Independent Researcher（独立研究者） ； Case Western Reserve University（凯斯西储大学） ； UC Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出ImagineAgent框架，通过生成式世界建模和工具增强强化学习，解决开放词汇人-物交互理解中的跨模态幻觉和视角限制问题，实现了高效且鲁棒的推理。

JanusCoder: Towards a Foundational Visual-Programmatic Interface for Code Intelligence

JanusCoder: 向代码智能的视觉-程序化界面迈进

Qiushi Sun, Jingyang Gong, Yang Liu, Qiaosheng Chen, Lei Li, Kai Chen, Qipeng Guo, Ben Kao, Fei Yuan

机构 * The University of Hong Kong（香港大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出JanusCoder，一种面向代码智能的视觉-程序化界面，通过构建大规模多模态代码数据集和统一模型，实现从文本指令、视觉输入或两者结合生成代码，展示了其在文本和视觉编程任务中的优越性能。

Comments ICLR 2026 Camera Ready Version, with code and data available

FullFlow: Upgrading Text-to-Image Flow Matching Models for Bidirectional Vision--Language Generation

FullFlow: 通过双向视觉-语言生成升级文本到图像流匹配模型

Eric Tillmann Bill, Enis Simsar, Alessio Tonioni, Thomas Hofmann

机构 * ETH Zurich（苏黎世联邦理工学院） ； Google（谷歌） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FullFlow方法，通过仅训练LoRA适配器和轻量级文本头部，将预训练的rectified-flow文本到图像模型升级为双向视觉-语言生成器，从而在保持图像连续流的同时添加文本离散插入过程，提升文本到图像和图像到文本的生成质量。

Comments project page: https://ericbill21.github.io/fullflow/

TextSculptor: Training and Benchmarking Scene Text Editing

TextSculptor: 训练和评估场景文本编辑

Yiheng Lin, Siyu Jiao, Xiaohan Lan, Wei Zhou, Qi She, Fei Yu, Heyun Chen, Zhengwei Wang, Jinghuan Chen, Moran Li, Yingchen Yu, Zijian Feng, Yao Zhao, Yunchao Wei, Yujie Zhong

机构 * Beijing Jiaotong University（北京交通大学） ； Bytedance（字节跳动） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出TextSculptor框架，通过构建大规模数据集和基准测试，解决场景文本编辑中高质量训练数据稀缺和缺乏标准化评估的问题，提升开源模型性能。