多模态大模型

Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

Ask, Solve, Generate: 通过自一致性奖励实现自我进化的统一多模态理解与生成

Ritesh Thawkar, Shravan Venkatraman, Omkar Thawakar, Abdelrahman Shaker, Fahad Khan, Hisham Cholakkal, Salman Khan, Rao Muhammad Anwer

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出一个自我进化的训练框架，通过内部角色（提议者、求解者、生成者）和自一致性信号，无需人工标注或外部奖励模型，同时提升统一多模态模型的理解与生成能力。

Position Rebinding Cache Reuse: Replay-Free Visual Revisiting for Interleaved Multimodal Reasoning

位置重绑定缓存复用：交错多模态推理中无重放的视觉重访

Mengzhao Wang, Yanli Ji, Wangmeng Zuo, Peng Ye, Chongjun Tu

机构 * Sun Yat-sen University（中山大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； Harbin Institute of Technology (HIT)（哈尔滨工业大学） ； Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出位置重绑定缓存复用（PRCR）框架，通过重绑历史视觉KV缓存的位置坐标，实现无重放的高效视觉重访，在多个多模态推理基准上平均准确率提升5%，计算量减少数万倍。

UniTranslator: A Unified Multi-modal Framework for End-to-end In-Image Machine Translation

UniTranslator：一种用于端到端图像内机器翻译的统一多模态框架

Jiahao Lyu, Pei Fu, Zhenhang Li, Shaojie Zhang, Jiahui Yang, Yu Zhou, Can Ma, Zhenbo Luo, Jian Luan

机构 * MiLM Plus, Xiaomi Inc（小米公司MiLM Plus） ； Binghamton University（宾汉姆顿大学） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 提出UniTranslator统一框架，通过理解-生成对齐模块和空间掩码解码器解决翻译理解与文本编辑的冲突及空间错位问题，在多个基准上实现最先进性能。

Comments Accepted by ECCV 2026

Odoriko: A Shape-Aware Multimodal Diffusion Framework for Human Motion

Odoriko: 一种形状感知的多模态人体运动扩散框架

Dongseok Shim, Julian Tanke, Kengo Uchida, Christian Simon, Koichi Saito, Takashi Shibuya, Shusuke Takahashi, Yuki Mitsufuji

机构 * Sony Group Corporation（索尼集团公司） ； Sony AI（索尼人工智能） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出首个统一的多模态运动生成框架Odoriko，通过扩散模型将主体生物形态信息融入运动合成，支持文本、音乐、视频输入，并在形态缺失时联合估计与生成。

Comments ECCV 2026

Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification

统一多模态自回归建模：共享上下文-视觉分词器是实现统一的关键

Wujian Peng, Lingchen Meng, Yuxuan Cai, Xianwei Zhuang, Yuhuan Yang, Rongyao Fang, Chenfei Wu, Junyang Lin, Zuxuan Wu, Shuai Bai

机构 * Institute of Trustworthy Embodied AI, Fudan University（可信具身AI研究院，复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Qwen Team, Alibaba Inc.（通义实验室，阿里公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出UniAR框架，通过单一离散视觉分词器桥接视觉理解与生成，采用并行位预测和扩散解码，在图像生成和编辑上达到最优，同时保持多模态理解竞争力。

Comments ICML2026. Project page https://sharelab-sii.github.io/uniar-web

Pareto LoRA: Mitigating Modality Imbalance in Unified Multimodal Models via Pareto-Optimal Gradient Integration

Pareto LoRA：通过帕累托最优梯度集成缓解统一多模态模型中的模态不平衡

Xiwen Wei, Mark Nutter, Madhusudhanan Srinivasan, Radu Marculescu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Advanced Micro Devices, Inc.（超威半导体公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对统一多模态模型在LoRA微调中语言梯度主导优化导致图像生成质量下降的问题，提出帕累托最优梯度集成策略Pareto LoRA，通过调节梯度方向和强度平衡文本与图像目标，在CoMM基准上显著提升图像感知质量达44.9%。

Transformation-driven generation of comparable projection images from multimodal anatomical scenes

从多模态解剖场景生成可比较投影图像的变换驱动方法

Dariusz Pojda, Krzysztof Domino, Michał Tarnawski, Agnieszka Anna Tomaka

机构 * Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息学研究所） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出变换驱动框架，从多模态解剖数据生成可重复的投影空间观测，通过下颌运动场景验证，实现不同解剖配置下直接可比的虚拟X光投影生成。

Comments 36 pages, 11 figures

GuideCAD: A Lightweight Multimodal Framework for 3D CAD Model Generation via Prefix Embedding

GuideCAD: 基于前缀嵌入的轻量级多模态3D CAD模型生成框架

Minseong Kim, Jinyeong Park, Sungho Park, Jibum Kim

机构 * Convergence Research Center for Insect Vectors（昆虫传播载体汇聚研究中心） ； Incheon National University（仁川国立大学） ； Center for Brain-Machine Interface（脑机接口中心） 纠错

专题命中 多模态生成 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

AI总结 提出GuideCAD框架，利用少量可训练参数通过映射网络将图像嵌入转为前缀嵌入，结合预训练大语言模型和Transformer解码器生成3D CAD模型，参数减少约4倍且训练效率提升2倍。

Unified Safe In-context Image Generation in Multimodal Diffusion Transformers via Restricting Unsafe Information Flows

统一安全上下文图像生成：在多模态扩散变换器中通过限制不安全信息流

Xiang Yang, Feifei Li, Mi Zhang, Geng Hong, Xiaoyu You, Mi Wen, Min Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出UVR框架，通过分析注意力动态中的不安全信息流，在无需训练的情况下对输出补丁进行注意力调制，实现图像生成和编辑任务的安全控制，达到91%和77%的擦除率。

Comments ICML26

Seeing is Believing: Aligning Prompt Rewriting with Visual Anchors for Text-to-Image Generation

眼见为实：基于视觉锚点的提示重写对齐用于文本到图像生成

Xuanyi Liu, Deyi Ji, Junyu Lu, Jing Wang, Lanyun Zhu, Qianxiong Xu, Xuhang Chen, Tianrun Chen, Siwei Ma

机构 * Peking University（北京大学） ； Tencent（腾讯） ； Dalian University of Technology（大连理工大学） ； Nanyang Technological University（南洋理工大学） ； University of Cambridge（剑桥大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出FaithRewriter框架，利用多模态大模型生成中间视觉线索，结合大语言模型生成视觉锚定的增强提示，再蒸馏至小模型，以缩小用户意图与生成图像之间的差距。

CircuitWeave: Topology-Behavior Alignment for Executable Multimodal RTL Generation

CircuitWeave：用于可执行多模态RTL生成的拓扑-行为对齐

Jiahao Feng, Haiyan Qin, Zhiwei Xie, Wang Kang

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 研究如何从自然语言规范生成RTL，提出CircuitWeave合同介导多模态框架，从原理图和文本提取合同并融合，通过联合目标监督相关过程，在生成可执行RTL上取得较好效果，部分指标高于无原理图的情况。

MAMMOTH: A Multi-Modal End-to-End Policy for Off-Road Mobility Robust to Missing Modality

MAMMOTH：一种对缺失模态具有鲁棒性的越野移动多模态端到端策略

Ahaan Kotian, Shivani Subramanyan, Suresh Sundaram

机构 * Indian Institute of Science（印度科学研究所） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)

AI总结 研究针对非结构化越野环境自主导航难题，提出MAMMOTH多模态端到端策略。它融合多模态观测，用模态丢弃训练，还采用扩散策略学习联合概率分布，经实验验证性能优越，能提升避撞等能力及对缺失模态的泛化。

Comments Accepted to IROS 2026 Main Conference

Exploring the Potential of Program Flowcharts on Code Generation Using Multimodal LLMs

利用多模态大语言模型探索程序流程图在代码生成中的潜力

Yuki Toi, Tao Xiao, Kazushi Tomoto, Masanari Kondo, Yasutaka Kamei

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 研究利用多模态大语言模型探索程序流程图对代码生成的潜力，通过从示例代码生成流程图并与问题陈述一起提供给模型进行代码生成实验，发现结合流程图可提升性能，不同细节程度的流程图效果有差异，还比较了与少样本学习的效果。

A 65 nm Multi-Modal Bayesian Inference Engine with 16.3 fJ/Sample Calibration-Free GRNG for Risk-Aware At-Home Skin Lesion Screening

65 nm 多模态贝叶斯推理引擎，具有 16.3 fJ/样本免校准 GRNG，用于风险感知的家庭皮肤病变筛查

Steven Davis, Likai Pei, Jianbo Liu, Zephan M. Enciso, Boyang Cheng, Xueji Zhao, Danny Z. Chen, Ningyuan Cao

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)

AI总结 提出一种65 nm风险感知多模态贝叶斯推理引擎，通过存内计算架构实现词内混合高斯采样，提升不确定性建模能力，在鲁棒性和精度上超越现有单模态贝叶斯神经网络。

Comments This paper is accepted by IEEE Transactions on Circuits and Systems - Regular Paper

Autonomous Generation of Metamaterial Databases Based on Multimodal Agents

基于多模态代理的元材料数据库自主生成

Shilong Qin, Zhicai Yu, Xuan Zheng, Yan Zhang, Aodi Yang, Kezhan Zhao, Qi Cheng Chen, Jian Wei You, Tie Jun Cui

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 提出MetaDataGenAgent多模态多代理框架，通过文献到仿真的自动化流程，从非结构化科学文献中提取并生成元材料结构-响应数据库，实现远场波束偏转、近场全息成像等功能。

Comments 18 pages, 5 figures

FloVerse: Floor Plan-Guided Multi-Modal Navigation

FloVerse：基于楼层平面图的多模态导航

Weiqi Huang, Shuangyi Dong, Jiaxin Li, Yifei Guo, Zan Wang, Wei Liang

机构 * School of Computer Science & Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)

AI总结 提出FloVerse任务统一PointNav、ObjectNav和ImageNav，构建FloVerse-1.6K数据集，并设计ThreeDiff两阶段模仿学习策略，利用楼层平面图先验提升导航性能。

Comments Accepted at CVPR 2026

Veritas++: Value-aware On-Policy Distillation for Perception-Enhanced AIGI Detection

Veritas++：面向感知增强的AIGI检测的值感知在线策略蒸馏

Hao Tan, Jun Lan, Zichang Tan, Ajian Liu, Zijian Yu, Chuanbiao Song, Huijia Zhu, Weiqiang Wang, Jun Wan, Zhen Lei

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences (UCAS)（中国科学院大学先进交叉科学学院） ； Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院） ； Ant Group（蚂蚁集团） ； Sangfor Technologies Inc.（深信服科技股份有限公司） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multi-modal(abstract)；分类 cs.CV

AI总结 该研究针对现有AIGI检测模型的感知瓶颈，提出Veritas++框架，通过PoRL与VaOPD机制增强感知能力，提升了检测泛化性与效率。

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

读回：预训练的多模态语言模型是文本到图像生成的零样本奖励模型

Runhui Huang, Qihui Zhang, Zhe Liu, Yu Gao, Jie Wu, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； ByteDance Seed（字节跳动Seed） ； Peking University（北京大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；image-text(abstract)；分类 cs.CV

AI总结 研究提出SpectraReward将预训练多模态语言模型转为图像生成强化学习奖励模型，用图像条件提示对数似然作奖励，还引入Self-SpectraReward形成闭环框架。经广泛实验验证，二者能提升生成性能，表明奖励-策略对齐是关键。

Reason Twice: Segmentation via Candidate Discovery and Comparative Reasoning

再思考：通过候选发现与比较推理进行分割

Xinyan Gao, Haoran Hao, Xiangyu Yue

机构 * The Chinese University of Hong Kong（香港中文大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出两阶段框架Rea2Seg，先基于注意力图生成候选掩码，再用多模态大语言模型推理评分，将分割转化为候选发现与判别选择，并引入新基准ReasonSeg-SGDR全面评估感知、定位与推理能力。

Comments Project page: https://snowball521.github.io/Rea2Seg-Project/

CustomDance: Customized 3D Dance Generation with Coarse-to-Fine Human-Centered Interactive Control

CustomDance：基于以人为中心的粗到细交互式控制的定制化3D舞蹈生成

Xulong Tang, Kaixing Yang, Xiaohu Guo, Prabhakaran Balakrishnan, Rawan Alghofaili

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)

AI总结 CustomDance是基于粗到细交互式控制的定制化3D舞蹈生成系统，通过三阶段流程实现AI辅助编舞，在定量和定性比较中优于基线，为用户提供全面控制。

AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation

AVTok: 用于整体音视频生成的1D统一分词化

Kien T. Pham, I Chieh Chen, Qifeng Chen, Long Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.MM、eess.AS

AI总结 提出AVTok统一分词器，采用双流Transformer架构和分层训练策略，将音视频对编码为紧凑的一维潜在表示，在音视频重建及下游生成任务中表现优异。

Comments ECCV 2026

ControlRadio: Prompt-Driven Controllable Diffusion for Cross-Modal Radio Map Generation

ControlRadio：用于跨模态无线电地图生成的提示驱动可控扩散模型

Kangjun Liu, Xiying Pan, Shuhang Zhang, Xiang Xiang, Ke Chen, Yaowei Wang

机构 * Pengcheng Laboratory（鹏城实验室） ； South China University of Technology（华南理工大学） ； Peking University（北京大学） ； Huazhong University of Science and Technology（华中科技大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态生成 ：cross-modal(title)；分类 cs.CV

AI总结 ControlRadio是一种可控生成框架，可根据自然语言描述和环境布局生成无线电地图，在不同城市场景中精度和泛化能力领先，计算时间较传统方法减少四个数量级以上，为无线环境建模提供新范式。

Comments 17 pages, 9 figures, 8 tables

KVAE: Family of Tokenizers for Multimodal Generative Models

KVAE：用于多模态生成模型的分词器家族

Andrey Shutkin, Denis Parkhomenko, Ivan Kirillov, Kirill Chernyshev, Kirill Malakhov, Ilia Vasiliev, Ilia Trushkin, Valeriya Kobenko, David Chikovani, Alexander Ivanov, Azat Saginbaev, Egor Silvestrov, Ivan Mikheev, Konstantin Zakharov

机构 * Kandinsky Lab（坎丁斯基实验室） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 本研究提出用于多模态生成模型的KVAE分词器家族，含音频、图像、视频专用型号，性能优于多款前沿开源分词器，公开了训练细节与代码。

REVIVE: A Multi-Modal Framework for Vandalism Detection and Recovery in Autonomous Vehicles

REVIVE：一种用于自动驾驶车辆中破坏行为检测与恢复的多模态框架

Abdullah Tariq Choudhry, Tapadhir Das

机构 * University of the Pacific（太平洋大学） 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.CV

AI总结 研究自动驾驶车辆中破坏行为导致的遮挡攻击问题，提出REVIVE多模态框架，集成多种检测与恢复方法，如二进制VOA检测、多类VOA模式识别等，实验表明该框架能有效恢复图像，提升目标检测指标，提供结构化恢复方案。

PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation

PairCoder++：结对编程作为验证代码驱动的多模态与结构化工件生成的通用范式

Junhao Chen, Xiang Li, Mingjin Chen, Boran Zhang, Henghaofan Zhang, Yibin Xu, Yuehan Cui, Fangsheng Weng, Fei Ma, Qi Tian, Ruqi Huang, Hao Zhao

机构 * THU（清华大学） ； PKU（北京大学） ； PolyU, Hong Kong（香港理工大学） ； USTC（中国科学技术大学） ； UESTC（电子科技大学） ； Tongji University（同济大学） ； Tianjin University（天津大学） ； Independent Researcher（独立研究者） ； Guangming Lab（光明实验室） ； BAAI（北京智源人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CL

AI总结 提出PairCoder框架，通过驱动者和导航者两个智能体结对编程，利用工具链反馈验证代码生成，在17个基准测试中显著提升可验证工件的生成质量。

Comments Accepted by ACL 2026. Project Page: https://yisuanwang.github.io/PairCoder/

Navigating User Behavior toward Personalized Multimodal Generation

导航用户行为以实现个性化多模态生成

Hengji Zhou, Yufeng Liu, Ye Liu, Yong Xu, Lianghao Xia, Liqiang Nie

机构 * South China University of Technology（华南理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 提出NaviGen，通过双标识符编码用户行为并采用两阶段SFT+RL训练，将交互历史转化为可执行指令，提升个性化图像和视频生成质量。

Comments 16 pages, 15 figures, 5 tables. Code is available at https://github.com/iLearn-Lab/NaviGen

Driving, Fast or Slow? Neuro-Symbolic Guidance for Motion Prediction in Multi-Modal Ground Mobility

驾驶，快或慢？多模态地面移动中运动预测的神经符号引导

Simon Kohaut, Felix Divo, Julius Hahnewald, Benedict Flade, Julian Eggert, Kristian Kersting, Devendra Singh Dhami

机构 * Artificial Intelligence and Machine Learning Lab, TU Darmstadt（达姆施塔特工业大学人工智能与机器学习实验室） ； Honda Research Institute（本田研究所） ； Hessian Center for AI (hessian.AI)（黑森州人工智能中心） ； Centre for Cognitive Science（认知科学中心） ； German Center for AI (DFKI)（德国人工智能研究中心） ； Uncertainty in Artificial Intelligence Lab, TU Eindhoven（埃因霍温理工大学人工智能不确定性实验室） 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.AI

AI总结 提出TraCS框架，通过神经符号方法将交通规则编码为概率一阶逻辑，增强黑盒运动预测模型的可解释性和合规性，在Argoverse 2上持续提升SOTA性能。

Defake-o3: From Speculative Rationales to Verifiable Evidence for Explainable AIGI Detection

Defake-o3：从推测性理由到可验证证据的可解释AIGI检测

Bowen Deng, Jiahui Zhan, Yikun Ji, Haozhen Yan, Jianfu Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 Defake-o3是结合交互式视觉搜索与证据验证器的可解释AIGI检测器，构建了GroundFake数据集和FakeFrontier基准，在多基准上同时提升了AIGI检测准确率与解释质量。

Comments Accepted by ACMMM 2026

Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

Sci-VBench：面向科学领域知识与推理密集型视频生成的评估

Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

机构 * Zhejiang University（浙江大学） ； UCAS（中国科学院大学） ； Tongji University（同济大学） ； Yale University（耶鲁大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究推出Sci-VBench基准，评估科学领域视频生成，测试16个模型后发现，视觉真实感提升未转化为科学与因果动态建模能力，且专有模型性能优于开源模型。

Comments COLM 2026

Bridging Modal Isolation in Interleaved Thinking: Supervising Modality Transitions via Stepwise Reinforcement

交错思维中的模态隔离桥接：通过逐步强化监督模态转换

Tingyu Li, Le Zhou, Siyuan Li, Yujun Wu, Xinglong Xu, Jingxuan Wei, Conghui He, Cheng Tan

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； Zhejiang University（浙江大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MoTiF框架，通过反射式SFT和Flow-GRPO优化模态转换保真度，解决交错思维中图像与文本脱节的模态隔离问题，提升跨模态一致性和任务准确性。

Comments 22 pages, 5 figures, 6 tables