多模态大模型

PolySLGen: Online Multimodal Speaking-Listening Reaction Generation in Polyadic Interaction

PolySLGen：多对多交互中的在线多模态说话-倾听反应生成

Zhi-Yi Lin, Thomas Markhorst, Jouh Yeong Chew, Xucong Zhang

机构 * Computer Vision Lab, Delft University of Technology（代尔夫特理工大学计算机视觉实验室） ； Honda Research Institute Japan（本田日本研究所） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 本文提出PolySLGen框架，用于多对多交互中的多模态反应生成，通过融合姿态和社交信号提升对话连贯性和真实感。

Degradation-Robust Fusion: An Efficient Degradation-Aware Diffusion Framework for Multimodal Image Fusion in Arbitrary Degradation Scenarios

抗退化融合：一种高效的抗退化扩散框架，用于任意退化场景下的多模态图像融合

Yu Shi, Yu Liu, Zhong-Cheng Wu, Juan Cheng, Huafeng Li, Xun Chen

机构 * Department of Biomedical Engineering, Hefei University of Technology（合肥工业大学生物医学工程系） ； Faculty of Information Engineering and Automation, Kunming University of Science and Technology（昆明理工大学信息工程与自动化学院） ； School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学技术学院） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 本文提出一种高效的抗退化扩散框架，用于处理多模态图像融合中的复杂退化场景。该框架通过隐式去噪和联合观测模型校正机制，提升了在复杂退化下的融合性能。

Comments Accepted by CVPR 2026

Large-Scale Universal Defect Generation: Foundation Models and Datasets

大规模通用缺陷生成：基础模型与数据集

Yuanting Fan, Jun Liu, Bin-Bin Gao, Xiaochen Chen, Yuhuan Lin, Zhewei Dai, Jiawei Zhan, Chengjie Wang

机构 * Tencent Youtu Lab, Shenzhen, China（腾讯优图实验室，深圳，中国） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UniDG模型和UDG数据集，通过参考基和文本指令生成缺陷，提升缺陷生成的多样性和真实性，实验表明其在异常检测和定位任务中表现优异。

Comments 25 pages, 13 figures, preprint

LADR: Locality-Aware Dynamic Rescue for Efficient Text-to-Image Generation with Diffusion Large Language Models

LADR：基于局部性的动态救援方法，用于高效文本到图像生成的扩散大语言模型

Chenglin Wang, Yucheng Zhou, Shawn Chen, Tao Wang, Kai Zhang

机构 * East China Normal University（华东师范大学） ； University of Macau（澳门大学） ； Zhejiang University（浙江大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出LADR方法，通过利用图像的空间马尔可夫性质加速推理，实现文本到图像生成的高效生成，同时保持生成质量。

Comments ACL2026 Main Conference

OmniPrism: Learning Disentangled Visual Concept for Image Generation

OmniPrism: 学习解耦的视觉概念用于图像生成

Yangyang Li, Daqing Liu, Wu Liu, Allen He, Xinchen Liu, Yongdong Zhang, Guoqing Jin

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 OmniPrism通过自然语言引导学习解耦的视觉概念表示，结合扩散模型生成高质量图像，解决多方面概念混淆问题。

Comments WebPage available at https://tale17.github.io/omni/

Do Vision Language Models Need to Process Image Tokens?

视觉语言模型是否需要处理图像标记？

Sambit Ghosh, R. Venkatesh Babu, Chirag Agarwal

机构 * IBM ； Indian Institute of Science（印度科学研究所） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文研究了视觉语言模型中图像标记的功能，发现视觉表示快速收敛至有限复杂度，而文本表示持续重构。视觉表示在不同层间可互换，任务依赖性影响视觉处理的必要性。

Comments Accepted (Oral) at TRUE-V Workshop CVPR 2026

Fast-dVLM: Efficient Block-Diffusion VLM via Direct Conversion from Autoregressive VLM

Fast-dVLM: 通过直接转换自回归VLM实现高效的块扩散VLM

Chengyue Wu, Shiyi Lan, Yonggan Fu, Sensen Gao, Jin Wang, Jincheng Yu, Jose M. Alvarez, Pavlo Molchanov, Ping Luo, Song Han, Ligeng Zhu, Enze Xie

机构 * The University of Hong Kong（香港大学） ； NVIDIA（英伟达） ； MIT（麻省理工学院） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出Fast-dVLM，通过直接转换自回归VLM实现高效的块扩散VLM，采用KV-cache兼容并行解码和推测块解码，提升推理效率。实验表明其生成质量与自回归模型相当，且通过SGLang和FP8量化实现6倍以上的推理加速。

Gaze2Report: Radiology Report Generation via Visual-Gaze Prompt Tuning of LLMs

Gaze2Report：通过视觉-凝视提示调优LLM实现放射学报告生成

Aishik Konwer, Moinak Bhattacharya, Prateek Prasanna

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文提出Gaze2Report框架，利用扫描路径预测模块和图神经网络生成视觉-凝视标记，结合指令和报告标记对LLM进行微调，提升报告生成质量并实现推理时无需凝视输入。

Comments Accepted at ISBI 2026 (Oral)