多模态大模型

Towards Expressive and Faithful Audio-to-Image Generation: A Unified Multimodal Dataset and Synthesis Framework

面向表达性与忠实性的音频到图像生成：一个统一的多模态数据集与合成框架

Dongxu Ge, Shansong Liu, Cheng Gong, Xiao-Lei Zhang, Chi Zhang, Xuelong Li

机构 * University of Science and Technology of China（中国科学技术大学） ； China Telecom (TeleAI)（中国电信（电信人工智能研究院）） ； Northwest Polytechnical University（西北工业大学） 纠错

专题命中 多模态生成 ：multimodal(title)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 针对音频到图像生成受限于传统数据集的问题，提出A2I-Set数据集与AudioCanvas模型，实现了更优的跨模态对齐与视觉表达性。

Comments 23 pages, 16 figures

FronTalk: Benchmarking Front-End Development as Conversational Code Generation with Multi-Modal Feedback

FronTalk: 以多模态反馈进行对话式代码生成的前端开发基准测试

Xueqing Wu, Zihan Xue, Da Yin, Shuyan Zhou, Kai-Wei Chang, Nanyun Peng, Yeming Wen

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Duke University（杜克大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出FronTalk基准，通过多轮对话和多模态反馈（文本与视觉指令）评估前端代码生成，发现模型存在遗忘和视觉反馈理解困难，提出AceCoder方法有效减少遗忘并提升性能。

Comments CoLM 2026

Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation

Aero Realtime：用于低延迟流式多模态生成的完全对齐输入输出流

Kaichen Zhang, Wei Huang, Keming Wu, Bo Li, Xiaojuan Qi

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出4B参数流式多模态模型Aero Realtime，采用双工架构实现输入输出流完全对齐，通过时隙对齐等技术降低延迟，在4块NVIDIA A6000 GPU上验证了其低延迟多模态交互的可行性。

ControlRadio: Prompt-Driven Controllable Diffusion for Cross-Modal Radio Map Generation

ControlRadio：用于跨模态无线电地图生成的提示驱动可控扩散模型

Kangjun Liu, Xiying Pan, Shuhang Zhang, Xiang Xiang, Ke Chen, Yaowei Wang

机构 * Pengcheng Laboratory（鹏城实验室） ； South China University of Technology（华南理工大学） ； Peking University（北京大学） ； Huazhong University of Science and Technology（华中科技大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态生成 ：cross-modal(title)；分类 cs.CV

AI总结 ControlRadio是一种可控生成框架，可根据自然语言描述和环境布局生成无线电地图，在不同城市场景中精度和泛化能力领先，计算时间较传统方法减少四个数量级以上，为无线环境建模提供新范式。

Comments 17 pages, 9 figures, 8 tables

Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

Sci-VBench：面向科学领域知识与推理密集型视频生成的评估

Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

机构 * Zhejiang University（浙江大学） ； UCAS（中国科学院大学） ； Tongji University（同济大学） ； Yale University（耶鲁大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究推出Sci-VBench基准，评估科学领域视频生成，测试16个模型后发现，视觉真实感提升未转化为科学与因果动态建模能力，且专有模型性能优于开源模型。

Comments COLM 2026

ExpertVerse: A General-Purpose Benchmark for Expert-Level Reasoning in Knowledge-Intensive Visual Synthesis

ExpertVerse：知识密集型视觉合成中专家级推理的通用基准

Yuan Wang, Yongchao Du, Mengting Chen, Jinsong Lan, Jiaxuan Luo, Xuetao Feng, Xiaoyong Zhu

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究针对多模态生成模型在知识密集型生成的不足，开发ExpertVerse基准，涵盖多种认知能力和专家学科，生成相关数据集，训练KnowThinker并提出BPPO优化方法，揭示模型推理缺陷，强调知识密集型基准对下一代视觉生成的重要性。

Comments 14 pages, 6 figures

LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?

LEGO-Puzzles：多模态大语言模型（MLLMs）在多步骤空间推理上的表现如何？

Kexian Tang, Junyao Gao, Yanhong Zeng, Haodong Duan, Yanan Sun, Zhening Xing, Wenran Liu, Kai Chen, Kaifeng Lyu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tongji University（同济大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究推出多步骤空间推理基准LEGO-Puzzles，评估29个顶尖MLLMs，发现其在基础空间推理、多步骤规划任务上远逊于人类，凸显其空间推理能力存在关键局限。

What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems

下一步编辑什么：对话系统中视觉对齐的图像编辑后续建议

Zhijing Zhang, Jinpeng Yu, Xin Song, Bingnan Li, Chuyue Li, Changhui Du, Xiaolin Fang, Jiaming Liu, Ruihua Huang

机构 * Qwen Business Unit of Alibaba（阿里巴巴通义千问业务单元） ； Southeast University（东南大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对对话系统的图像创作场景，提出三阶段多模态推荐框架，经测试可降低视觉不一致率并显著提升推荐相关指标。

Beyond Global Editing: Per-Instance Disentangled Subspaces for Training-Free Hallucination Mitigation in LVLMs

超越全局编辑：用于LVLMs无训练幻觉缓解的实例级解耦子空间

Ali Cheraghian, Hamidreza Dastmalchi, Hamed Barzamini, Morteza Saberi, Mojtaba Golzan, Shafin Rahman, Hossein Rahmani

机构 * Macquarie University（麦考瑞大学） ； York University（约克大学） ； Northern Illinois University（北伊利诺伊大学） ； University of Technology Sydney（悉尼科技大学） ； North South University（北南大学） ； Lancaster University（兰卡斯特大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 针对LVLMs现有模型编辑技术采用单一全局子空间无法适配多样幻觉模式的问题，提出无训练的实例级解耦子空间框架，经多基准实验验证其鲁棒性、通用性与效率。

Comments BMVC 2026

RAGMesh with FaME-G2E: Long-Form Text-Driven 3D Face Generation and Editing

结合FaME-G2E的RAGMesh：长文本驱动的3D人脸生成与编辑

Hao Li, Ju Dai, Feng Zhou, Mengting Shi, Haofei Wang, Zhen Song, Wei Zhou, Lei Li, Junjun Pan

机构 * Beihang University（北京航空航天大学） ； Pengcheng Laboratory（鹏城实验室） ； Shanxi University of Finance and Economics（山西财经大学） ； North China University of Technology（北方工业大学） ； Cardiff University（卡迪夫大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究构建了含文本-网格等标注的FaME-G2E数据集，提出RAGMesh框架，含MSRF模块与AdaRAGS约束，在3D人脸生成编辑任务上性能优于现有方法。

SI-Edit: Toward Sketch-Instruction Guided Local Image Editing with Pixel-Level Precision

SI-Edit：面向草图-指令引导的像素级精度局部图像编辑

Weixin Ye, Wei Wang, Hongguang Zhu, Xuecheng Nie

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所） ； City University of Macau（澳门城市大学） ； Meitu Inc（美图公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 针对基于草图的图像编辑缺乏像素级精度及对应数据集、评估指标的问题，提出SI-Edit框架，构建SI-Data数据集并建立评估指标，实现更可靠的结构控制与像素级局部编辑效果。

Comments accepted by ACM MM 2026

LogiShot: Logically Coherent Cross-Shot Video Generation

LogiShot：逻辑连贯的跨镜头视频生成

Shuai Guo, Yuhang Yang, Zeyu Zhang, Pengfei Yu, Wei Zhai, Yang Cao, Zheng-Jun Zha

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 针对跨镜头视频生成的内容脱节问题，提出LogiShot模型，通过联合编码与视觉记忆路径实现逻辑连贯，构建11万样本数据集及基准，性能优于现有方法。

UniPCB: A Generation-Assisted Vision-Based Measurement Framework for PCB Defect Inspection

UniPCB: 一种用于PCB缺陷检测的生成辅助检测框架

Huan Zhang, Lianghong Tan, Yichu Xu, Zishan Su, Jiangzhong Cao, Huanqi Wu, Linwei Zhu, Xu Zhang

机构 * School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出UniPCB框架，通过多模态条件生成器合成缺陷样本以增强数据，并设计倒残差移位注意力与跨级互补融合模块提升检测性能，在DsPCBSD+上实现98.0% mAP@0.5。

MultiShadow: Multi-Object Shadow Generation for Image Compositing via Diffusion Model

MultiShadow: 基于扩散模型的多物体阴影生成用于图像合成

Waqas Ahmed, Dean Diepeveen, Ferdous Sohel

机构 * School of Information Technology, Murdoch University（信息科技学院，穆尔彻大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出基于扩散模型的多物体阴影生成方法，通过多模态特征融合和注意力对齐损失，实现多物体阴影的物理合理合成。

Comments This work is currently under consideration for publication

Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies

结构化参数环境下用于鲁棒导航策略的课程生成

Prishita Ray

机构 * Cornell University（康奈尔大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文针对结构化参数环境提出重参数化课程生成框架，结合分布偏移正则化，在OpenAI Gym的两类连续控制环境中，显著优于多种基线方法，提升了导航策略的鲁棒性。

Comments 22 pages, 5 figures

Leveraging generative models to assist Monte Carlo sampling

利用生成模型辅助蒙特卡洛采样

Marylou Gabrié

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本教程综述介绍了机器学习与计算统计物理交叉领域的新范式——用生成模型辅助蒙特卡洛采样，探讨相关方法方向及优劣势，为相关领域研究者提供入门基础。

Efficient and scalable inter-module switching for distributed quantum computing architectures

分布式量子计算架构的高效可扩展模块间交换

Kamil Bradler

专题命中 多模态生成 ：any-to-any(abstract)

AI总结 针对分布式量子计算模块间的高效可扩展交换需求，基于广义马赫-曾德尔干涉仪构建去中心化交换方案，实现主动光深度随逻辑块数对数缩放且不损失连通性。

Comments v2: an example showing asymptotic scaling of resources and active optical depth added