视觉大模型 / VLM

JoyAI-Image: Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation

JoyAI-Image: 激活统一多模态理解和生成中的空间智能

Lin Song, Wenbo Li, Guoqing Ma, Wei Tang, Bo Wang, Yuan Zhang, Yijun Yang, Yicheng Xiao, Jianhui Liu, Yanbing Zhang, Guohui Zhang, Wenhu Zhang, Hang Xu, Nan Jiang, Xin Han, Haoze Sun, Maoquan Zhang, Haoyang Huang, Nan Duan

机构 * Joy Future Academy, JD（京东探索研究院） 纠错

专题命中 VLM训练与架构 ：MLLM(summary_cn,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出JoyAI-Image，一种统一的多模态基础模型，用于视觉理解、文本到图像生成和指令引导的图像编辑。该模型结合了空间增强的多模态大语言模型（MLLM）和多模态扩散Transformer（MMDiT），通过共享的多模态接口实现感知与生成的交互。构建可扩展的训练配方，结合统一指令微调、长文本渲染监督、空间 grounded 数据和通用及空间编辑信号，使模型具备广泛的多模态能力，同时增强几何感知推理和可控视觉合成。实验表明，JoyAI-Image在理解、生成、长文本渲染和编辑基准上达到最先进的性能。更重要的是，增强的理解、可控的空间编辑和新视角辅助推理之间的双向循环使模型超越一般视觉能力，向更强的空间智能发展。

Comments Code: https://github.com/jd-opensource/JoyAI-Image

A Human-in-the-Loop Framework for Efficient Prompt Selection in Microscopy Vision-Language Models

一种用于显微镜视觉-语言模型中高效提示选择的人机协作框架

Abhiram Kandiyana, Ankur Mali, Lawrence O. Hall, Peter R. Mouton, Dmitry Goldgof

机构 * University of South Florida（佛罗里达州立大学） ； SRC Biosciences（SRC生物科学公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出了一种人机协作框架，通过目标驱动的主动学习方法解决显微镜视觉-语言模型中提示集构建的问题，减少专家验证图像的数量，提高分类性能。

Comments Accepted to CVPR workshops, 2026

QwenSafe: Multimodal Content Rating Description Identification via Preference-Aligned VLMs

QwenSafe: 通过偏好对齐的视觉语言模型实现多模态内容评级描述识别

Dishanika Denipitiyage, Aruna Seneviratne, Suranga Seneviratne

机构 * University of Sydney（悉尼大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出QwenSafe，一种通过联合推理应用元数据和截图来自动识别苹果定义的内容评级描述（CRDs）的视觉语言模型，通过引入metadata2CRD数据构建管道和直接偏好优化（DPO）提升模型预测准确性，实验结果显示QwenSafe在二元CRD分类中显著优于现有模型。

Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli

基于任务的指令调制多模态大语言模型探测：在自然主义刺激下的区域特定大脑对齐模式

Subba Reddy Oota, Khushbu Pahwa, Prachi Jindal, Satya Sai Srinath Namburi, Maneesh Singh, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

机构 * Technische Universität Berlin（柏林技术大学） ； Rice University（Rice 大学） ； AWS AI Labs, Amazon（Amazon 人工智能实验室） ； IIT Delhi（德里理工学院） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） ； Spector Inc（Spector 公司） ； IIIT-Hyderabad（海得拉巴理工学院） ； Microsoft（微软） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究探讨了指令调制多模态大语言模型在自然主义刺激下的大脑对齐模式，通过比较不同模型在视频和音频任务中的表现，揭示了指令调制对模型表示能力的影响。

Comments 57 pages, 39 figures

Modality-Decoupled Online Recursive Editing

模态解耦的在线递归编辑

Siyuan Li, Youyuan Zhang, Fangming Liu, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China.（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory, China.（鹏城实验室） ； Huazhong University of Science and Technology, China（华中科技大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出M-ORE，一种用于持续多模态大语言模型适应的模态解耦在线递归编辑器，通过统一的近端投影公式和Sherman-Morrison递归实现常数级的每编辑开销，从而在保持模块局部统计信息和固定正交低秩编辑子空间的同时，减少长周期干扰，提升可靠性、通用性和局部性。

Universal Reasoner: A Single, Composable Plug-and-Play Reasoner for Frozen LLMs

Universal Reasoner: 一个单一、可组合的即插即用推理器用于冻结的LLM

Jaemin Kim, Hangeol Chang, Hyunmin Hwang, Choonghan Kim, Jong Chul Ye

机构 * Graduate School of Artificial Intelligence, Korea Advanced Institute of Science and Technology（人工智能研究生院，韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出Universal Reasoner，一种可组合且即插即用的推理模块，能够在冻结的大规模语言模型上提供专门的推理能力，通过共享或对齐的token空间实现弱到强的泛化，实验表明其在数学推理和机器翻译中优于现有微调方法。

Comments ICML 2026

Preferences Order, Ratings Anchor: From Fused Expert Aesthetic Ground Truth to Self-Distillation

偏好顺序、评分锚定：从融合专家审美真实数据到自我蒸馏

Yuanpei Zhao, Jie Lin, Chao Zhang, Yilin Wang, Mao Li, Chenhui Li, Jie Hou, Tangjie Lv

机构 * Sichuan University（四川大学） ； NetEase Fuxi AI Lab（网易福溪人工智能实验室） ； East China Normal University（华东师范大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出PPaint基准，通过融合专家偏好和评分数据，改进图像审美评估模型，通过自我蒸馏方法在单次推理中实现更准确的审美评分，优于现有开源和闭源基线模型。

Comments 27 pages, 7 pages

DiM\textsuperscript{3}: Bridging Multilingual and Multimodal Models via Direction- and Magnitude-Aware Merging

DiM\textsuperscript{3}: 通过方向和幅度感知融合连接多语言和多模态模型

Zijing Wang, Mingyang Wang, Ercong Nie, Yongkang Liu, Shi Feng, Mengjie Zhao, Daling Wang, Xiaocui Yang, Hinrich Schütze

机构 * Northeastern University, China（东北大学，中国） ； CIS, LMU Munich, Germany（慕尼黑莱布尼茨大学计算机学院，德国） ； Munich Center for Machine Learning (MCML), Germany（慕尼黑机器学习中心（MCML），德国） ； Shanghai Jiao Tong University, China（上海交通大学，中国） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)

AI总结 本研究提出DiM3方法，通过在共享语言模型骨干中融合残差更新，实现多语言和多模态能力的无缝整合，从而提升多语言性能并保持多模态能力。

Multimodal LLMs under Pairwise Modalities

基于成对模态的多模态大语言模型

Yan Li, Yunlong Deng, Yuewen Sun, Gongxu Luo, Kun Zhang, Guangyi Chen

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一种基于成对模态训练多模态大语言模型的方法，通过理论分析和表示学习框架，实现了跨模态对齐和重构，提升了模型的跨模态性能。

Reducing Object Hallucination in LVLMs via Emphasizing Image-negative Tokens

通过强调图像负样本token减少LVLMs中的物体幻觉

Meng Shen, Minghao Wu, Deepu Rajan

机构 * Nanyang Technological University（南洋理工大学） ； Monash University（墨尔本大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文通过强调图像负样本token来减少LVLMs中的物体幻觉问题，提出调整不同token的训练权重和数据过滤策略以控制幻觉。

Comments 20 pages, 10 figures, 10 tables

ROAR-3D: Routing Arbitrary Views for High-Fidelity 3D Generation

ROAR-3D: 为高保真3D生成实现任意视角路由

Hanxiao Sun, Mingxin Yang, Shuhui Yang, Zebin He, Xintong Han, Hongbo Fu, Chunchao Guo, Wenhan Luo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Tencent Hunyuan（腾讯文生） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 本文提出ROAR-3D方法，通过改进预训练单视角模型以支持任意数量的未置位图像，利用视图路由和双流注意力设计实现高效的多视角3D生成，显著提升生成质量并支持测试时视角扩展。