多模态大模型

SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation

SpA2V: 利用空间听觉线索进行音频驱动的空间感知视频生成

Kien T. Pham, Yingqing He, Yazhou Xing, Qifeng Chen, Long Chen

专题命中 多模态生成 ：MLLM(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 SpA2V通过利用空间听觉线索生成与输入音频在语义和空间上一致的视频，改进了现有方法对语义信息的依赖，提出两阶段框架实现视频场景布局生成与生成。

Comments The 33rd ACM Multimedia Conference (MM '25)

Leveraging Hallucinations to Reduce Manual Prompt Dependency in Promptable Segmentation

利用幻觉减少可提示分割中的手动提示依赖

Jian Hu, Jiayi Lin, Junchi Yan, Shaogang Gong

机构 * Queen Mary University of London（伦敦大学玛丽女王学院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出ProMaC框架，通过利用MLLM幻觉挖掘任务相关信息，提升分割精度与遮罩生成效果。

Comments NeurIPS 2024

OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation

OSPO: 以对象为中心的自我改进偏好优化用于文本到图像生成

Yoonjin Oh, Yongjin Kim, Hyomin Kim, Donghwan Chi, Sungwoong Kim

机构 * Korea University（韩国大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 OSPO通过自构造对象中心偏好数据和对象加权损失，提升文本到图像生成中对象级对齐和保真度，优于现有自我改进方法和专门扩散模型。

Comments 11 pages, 6 figures

pySpatial: Generating 3D Visual Programs for Zero-Shot Spatial Reasoning

pySpatial: 为零样本空间推理生成3D视觉程序

Zhanpeng Luo, Ce Zhang, Silong Yong, Cunxi Dai, Qianwei Wang, Haoxi Ran, Guanya Shi, Katia Sycara, Yaqi Xie

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Pittsburgh（匹兹堡大学） ； University of Michigan（密歇根大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 pySpatial通过生成3D视觉程序，使大语言模型在无需微调的情况下实现零样本空间推理，并在基准测试和实际导航中表现出色。

Comments Accepted at ICLR 2026, Project Page: Our project: https://pySpatial.github.io

TTOM: Test-Time Optimization and Memorization for Compositional Video Generation

TTOM：测试时优化与记忆化用于组合视频生成

Leigang Qu, Ziyang Wang, Na Zheng, Wenjie Wang, Liqiang Nie, Tat-Seng Chua

机构 * National University of Singapore（国立新加坡大学） ； University of Science and Technology of China（中国科学技术大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 TTOM通过测试时优化与记忆化机制，提升组合视频生成的跨模态对齐能力，实现高效且可扩展的实时生成。

Comments ICLR 2026 Camera-ready. Project page: https://ttom-t2v.github.io/

VINCIE: Unlocking In-context Image Editing from Video

VINCIE：从视频中解锁上下文图像编辑

Leigang Qu, Feng Cheng, Ziyan Yang, Qi Zhao, Shanchuan Lin, Yichun Shi, Yicong Li, Wenjie Wang, Tat-Seng Chua, Lu Jiang

机构 * National University of Singapore（国立新加坡大学） ； ByteDance Seed（字节跳动种子） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 VINCIE通过视频直接训练模型，实现了强大的上下文图像编辑能力，并在多轮图像编辑基准中取得最佳成绩。

Comments ICLR 2026 Camera-ready. Project page: https://vincie2025.github.io/

Can Unified Generation and Understanding Models Maintain Semantic Equivalence Across Different Output Modalities?

统一的生成与理解模型能否在不同输出模态间保持语义等价性？

Hongbo Jiang, Jie Li, Yunhang Shen, Pingyang Dai, Xing Sun, Haoyu Cao, Liujuan Cao

机构 * Tencent Youtu Lab（腾讯云图实验室） ； Xiamen University（厦门大学） ； Computing Lab, Department of Artificial Intelligence, School of Informatics（计算实验室，人工智能系，信息学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本研究探讨统一生成与理解模型在不同输出模态间保持语义等价性的能力，发现其在视觉回答任务中存在性能下降问题，原因在于跨模态语义对齐的失效。

Comments Equal contribution by Jie Li

Beyond Pixel Simulation: Pathology Image Generation via Diagnostic Semantic Tokens and Prototype Control

超越像素模拟：通过诊断语义标记和原型控制生成病理图像

Minghao Han, Yichen Liu, Yizhou Liu, Zizhi Chen, Jingqun Tang, Xuecheng Wu, Dingkang Yang, Lihua Zhang

机构 * College of Intelligent Robotics and Advanced Manufacturing（智能机器人与先进制造学院） ； Fudan University（复旦大学） ； Fysics Intelligence Technologies Co., Ltd.（Fysics智能科技有限公司） ； University of Science and Technology Beijing（北京科技大学） ； ByteDance（字节跳动） ； School of Computer Science and Technology（计算机科学与技术学院） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 多模态生成 ：MLLM(abstract)；image-text(abstract)；分类 cs.CV

AI总结 UniPath通过诊断语义标记和原型控制实现可控的病理图像生成，取得SOTA性能，包括Patho-FID 80.9和98.7%的细粒度语义控制。

Comments accepted by CVPR 2026; 32 pages, 17 figures, and 6 tables

UniGenBench++: A Unified Semantic Evaluation Benchmark for Text-to-Image Generation

UniGenBench++: 一个统一的语义评估基准用于文本到图像生成

Yibin Wang, Zhimin Li, Yuhang Zang, Jiazi Bu, Yujie Zhou, Yi Xin, Junjun He, Chunyu Wang, Qinglin Lu, Cheng Jin, Jiaqi Wang

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 UniGenBench++ 提出一个统一的语义评估基准，涵盖多样化的现实场景和多语言支持，用于评估文本到图像生成模型的语义一致性。

Comments Project page: codegoat24.github.io/UniGenBench/

ALIVE: Animate Your World with Lifelike Audio-Video Generation

ALIVE: 用逼真音频视频生成动画你的世界

Ying Guo, Qijun Gan, Yifu Zhang, Jinlai Liu, Yifei Hu, Pan Xie, Dongjun Qian, Yu Zhang, Ruiqi Li, Yuqi Zhang, Ruibiao Lu, Xiaofeng Mei, Bo Han, Xiang Yin, Bingyue Peng, Zehuan Yuan

机构 * Bytedance ALIVE Team（字节跳动ALIVE团队） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 ALIVE通过结合预训练文本到视频模型与新的音频视频生成技术，实现了逼真的音频视频生成和动画，展示了优于开源和商业解决方案的性能。

Comments Technical report for ALIVE. Bytedance ALIVE Team. Homepage: https://foundationvision.github.io/Alive/

PnP-U3D: Plug-and-Play 3D Framework Bridging Autoregression and Diffusion for Unified Understanding and Generation

PnP-U3D: 无缝接入3D框架，连接自回归与扩散以实现统一的理解与生成

Yongwei Chen, Tianyi Wei, Yushi Lan, Zhaoyang Lyu, Shangchen Zhou, Xudong Xu, Xingang Pan

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 PnP-U3D提出结合自回归与扩散的统一3D理解和生成框架，通过轻量级Transformer实现跨模态信息交换，提升3D生成与编辑性能。

Comments Yongwei Chen and Tianyi Wei contributed equally. Project page: https://cyw-3d.github.io/PnP-U3D/

Omni-Judge: Can Omni-LLMs Serve as Human-Aligned Judges for Text-Conditioned Audio-Video Generation?

Omni-Judge: 能否将 Omni-LLMs 用作文本条件音频视频生成的人类对齐裁判？

Susan Liang, Chao Huang, Filippos Bellos, Yolo Yunlong Tang, Qianxiang Shen, Jing Bi, Luchuan Song, Zeliang Zhang, Jason Corso, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；omni-modal(abstract)；分类 cs.CV

AI总结 Omni-Judge 评估 Omni-LLMs 是否能作为文本条件音频视频生成的人类对齐裁判，展现其在多模态评估中的潜力与局限。

Towards Pixel-Level VLM Perception via Simple Points Prediction

通过简单的点预测实现像素级VLM感知

Tianhui Song, Haoyu Lu, Hao Yang, Lin Sui, Haoning Wu, Zaida Zhou, Zhiqi Huang, Yiping Bao, Y. Charles, Xinyu Zhou, Limin Wang

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SimpleSeg通过简单点预测实现多模态大语言模型的像素级感知，无需复杂架构即可获得高精度分割性能。

Explainable Deepfake Detection with RL Enhanced Self-Blended Images

可解释的深度伪造检测与强化学习增强的自混合图像

Ning Jiang, Dingheng Zeng, Yanhong Liu, Haiyang Yi, Shijie Yu, Minghe Weng, Haifeng Shen, Ying Li

机构 * 1School of Software \& Microelectronics, Peking University, Beijing, China 2Mashang Consumer Finance Co., Ltd., Chongqing, China -0.15in 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出了一种基于强化学习增强的自混合图像方法，用于可解释的深度伪造检测，通过自动化数据生成和定制奖励机制提升检测性能。

Comments Accepted at ICASSP 2026

Bridging Modalities: Joint Synthesis and Registration Framework for Aligning Diffusion MRI with T1-Weighted Images

弥合模态：联合合成与配准框架用于对齐扩散磁共振成像与T1加权图像

Xiaofan Wang, Junyi Wang, Yuqian Chen, Lauren J. O' Donnell, Fan Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Brigham and Women’s Hospital（布里奇沃特医院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种基于生成配准网络的无监督框架，通过图像合成和变形场学习，提升扩散MRI与T1加权图像的配准精度。

Learning from Reasoning Failures via Synthetic Data Generation

通过合成数据生成学习推理失败

Gabriela Ben Melech Stan, Estelle Aflalo, Avinash Madasu, Vasudev Lal, Phillip Howard

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.AI

AI总结 通过分析LMM推理失败生成针对性合成数据，提升多模态模型在多个下游任务上的性能。

Re-Align: Structured Reasoning-guided Alignment for In-Context Image Generation and Editing

Re-Align：基于结构化推理的对齐方法用于上下文图像生成与编辑

Runze He, Yiji Cheng, Tiankai Hang, Zhimin Li, Yu Xu, Zijin Yin, Shiyi Zhang, Wenxun Dai, Penghui Du, Ao Ma, Chunyu Wang, Qinglin Lu, Jizhong Han, Jiao Dai

机构 * Hunyuan, Tencent（腾讯文库） ； IIE, CAS（中国科学院信息工程研究所） ； UCAS Project Page（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 Re-Align通过结构化推理引导的对齐方法，提升上下文图像生成与编辑任务的性能。

Comments 13 pages, 9 figures, project page: https://github.com/hrz2000/realign

AIVD: Adaptive Edge-Cloud Collaboration for Accurate and Efficient Industrial Visual Detection

AIVD：自适应边缘-云协作用于准确高效的工业视觉检测

Yunqing Hu, Zheming Yang, Chang Zhao, Qi Guo, Meng Gao, Pengcheng Li, Wen Ji

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Institute of AI for Industries, Chinese Academy of Sciences（中国科学院工业人工智能研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 AIVD通过边缘-云协作提升工业视觉检测的精度与效率，采用轻量边缘检测与云MLLM协同，结合高效微调策略和动态调度算法，实现高吞吐低延迟的资源优化。

Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization

从提示本身学习：层次归因提示优化

Dongyu Chen, Jian Ma, Xianpeng Zhang, Lei Zhang, Haonan Lu, Chen Chen, Chuangchuang Wang, Kai Tang

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 HAPO框架通过动态归因机制、语义单元优化和多模态支持，提升提示优化效率，适用于多任务场景。

ThinkGen: Generalized Thinking for Visual Generation

ThinkGen: 用于视觉生成的通用思考

Siyu Jiao, Yiheng Lin, Yujie Zhong, Qi She, Wei Zhou, Xiaohan Lan, Zilong Huang, Fei Yu, Yingchen Yu, Yunqing Zhao, Yao Zhao, Yunchao Wei

机构 * Beijing Jiaotong University（北京交通大学） ； Bytedance Home（字节跳动） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 ThinkGen通过结合预训练的大语言模型和扩散变换器，提出了一种基于思考的视觉生成框架，实现了在多种生成任务中的高效推理和高质量图像生成。

UTDesign: A Unified Framework for Stylized Text Editing and Generation in Graphic Design Images

UTDesign: 一种统一框架，用于图形设计图像中的风格化文本编辑与生成

Yiming Zhao, Yuanpeng Gao, Yuxuan Luo, Jiwei Duan, Shisong Lin, Longfei Xiong, Zhouhui Lian

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 UTDesign提出了一种统一框架，实现高精度风格化文本编辑与生成，支持中英文文本，通过多模态编码器和DiT模型提升设计图像中的文本生成与编辑能力。

Comments 22 pages, 25 figures, SIGGRAPH Asia 2025, Conference Paper

ConsistTalk: Intensity Controllable Temporally Consistent Talking Head Generation with Diffusion Noise Search

ConsistTalk: 可控强度的时序一致说话头生成与扩散噪声搜索

Zhenjie Liu, Jianzhang Lu, Renjie Lu, Cong Liang, Shangfei Wang

机构 * The corresponding author.（通讯作者） 纠错

专题命中 多模态生成 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 ConsistTalk通过引入光流引导时间模块、音频到强度模型和扩散噪声初始化策略，实现了可控强度和时序一致的说话头生成，有效减少闪烁并提升音频视频同步质量。

Comments AAAI26 poster

RaLiFlow: Scene Flow Estimation with 4D Radar and LiDAR Point Clouds

RaLiFlow: 基于4D雷达和激光雷达点云的场景流估计

Jingyun Fu, Zhiyu Xiang, Na Zhao

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 RaLiFlow是首个联合4D雷达和激光雷达的场景流学习框架，通过动态感知双向跨模态融合模块和精心设计的损失函数实现高效的雷达-激光雷达融合。

Comments Accepted by AAAI

EmoDiffTalk:Emotion-aware Diffusion for Editable 3D Gaussian Talking Head

EmoDiffTalk：面向可编辑3D高斯说话头的情绪感知扩散

Chang Liu, Tianjiao Jing, Chengcheng Ma, Xuanqi Zhou, Zhengxuan Lian, Qin Jin, Hongliang Yuan, Shi-Sheng Huang

机构 * Beijing Normal University（北京师范大学） ； Renmin University of China（中国人民大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 EmoDiffTalk通过情绪感知高斯扩散实现细粒度面部动画与多模态情绪编辑，提升3D说话头的情绪表达精度和可控性。

LongT2IBench: A Benchmark for Evaluating Long Text-to-Image Generation with Graph-structured Annotations

LongT2IBench: 一个用于评估长文本到图像生成的基准，具有图结构注释

Zhichao Yang, Tianjiao Gu, Jianjie Wang, Feiyu Lin, Xiangfei Sheng, Pengfei Chen, Leida Li

专题命中 多模态生成 ：multi-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 LongT2IBench通过图结构注释和LongT2IExpert提出，用于评估长文本到图像生成的对齐和解释能力。

Comments The paper has been accepted by AAAI 2026

COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence

COOPER：一种用于空间智能中协作感知与推理的统一模型

Zefeng Zhang, Xiangzhao Hao, Hengzhu Tang, Zhenyu Zhang, Jiawei Sheng, Xiaodong Li, Zhenyang Li, Li Gao, Daiting Shi, Dawei Yin, Tingwen Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Baidu Inc.（百度公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 COOPER是一种统一的多模态大语言模型，通过整合深度和分割等辅助模态，提升空间感知与推理能力，实现空间智能的增强。

The promising potential of vision language models for the generation of textual weather forecasts

视觉语言模型在生成文本天气预报中的巨大潜力

Edward C. C. Steele, Dinesh Mane, Emilio Monti, Luis Orus, Rebecca Chantrill-Cheyette, Matthew Couch, Kirstine I. Dale, Simon Eaton, Govindarajan Rangarajan, Amir Majlesi, Steven Ramsdale, Michael Sharpe, Craig Smith, Jonathan Smith, Rebecca Yates, Holly Ellis, Charles Ewen

机构 * Met Office（英国气象局） ； Amazon Web Services（亚马逊网络服务） ； University of East Anglia（东安格利亚大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 本文研究了视觉语言模型在直接生成文本天气预报中的潜力，通过视频编码的格网天气数据提升气象服务的生产效率与创新。

Comments 7 pages, 2 tables

ReasonEdit: Towards Reasoning-Enhanced Image Editing Models

ReasonEdit: 向推理增强的图像编辑模型迈进

Fukun Yin, Shiyu Liu, Yucheng Han, Zhibo Wang, Peng Xing, Rui Wang, Wei Cheng, Yingming Wang, Aojie Li, Zixin Yin, Pengtao Chen, Xiangyu Zhang, Daxin Jiang, Xianfang Zeng, Gang Yu

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 ReasonEdit通过引入思考和反思机制，提升图像编辑模型的推理能力，实现更准确的编辑效果。

Comments code: https://github.com/stepfun-ai/Step1X-Edit

A Fast and Efficient Modern BERT based Text-Conditioned Diffusion Model for Medical Image Segmentation

一种快速且高效的基于现代BERT的文本条件扩散模型用于医学图像分割

Venkata Siddharth Dhara, Pawan Kumar

机构 * International Institute of Information Technology, Hyderabad, 500032, India（国际信息科技学院，海得拉巴） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出FastTextDiff，利用ModernBERT提升医学图像分割的效率和准确性，通过整合文本注释和多模态注意力机制改进传统扩散模型。

Comments 15 pages, 3 figures, Accepted in Slide 3 10th International Conference on Computer Vision & Image Processing (CVIP 2026)

Visual Generation Tuning

视觉生成微调

Jiahao Guo, Sinan Du, Jingfeng Yao, Wenyu Liu, Bo Li, Haoxiang Cao, Kun Gai, Chun Yuan, Kai Wu, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Tsinghua University（清华大学） ； School of Artificial Intelligence, South China Normal University（华南师范大学人工智能学院） ； Kolors Team, Kuaishou Technology（快手科技Kolors团队） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 本文提出VGT，通过视觉生成微调提升视觉语言模型的视觉生成能力，在图像重建和生成任务中均取得优异成果。