多模态大模型

Do You Remember? Toward Memory-Centric Multimodal AI

你还记得吗？迈向以记忆为中心的多模态人工智能

Xuguang Yu, Weigang Zheng, Minyue Yu

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究针对当前多模态语言模型缺乏重建性记忆的问题，提出DoYouRemember三阶段架构，通过VQ-VAE、LoRA微调语言模型和扩散解码器实现，经实验发现语言模型隐藏状态视觉信息少，还解决了共享记忆矩阵训练问题，统一相关发现于信息论框架。

Comments 43 pages, 8 figures, 3 tables

MAMMOTH: A Multi-Modal End-to-End Policy for Off-Road Mobility Robust to Missing Modality

MAMMOTH：一种对缺失模态具有鲁棒性的越野移动多模态端到端策略

Ahaan Kotian, Shivani Subramanyan, Suresh Sundaram

机构 * Indian Institute of Science（印度科学研究所） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)

AI总结 研究针对非结构化越野环境自主导航难题，提出MAMMOTH多模态端到端策略。它融合多模态观测，用模态丢弃训练，还采用扩散策略学习联合概率分布，经实验验证性能优越，能提升避撞等能力及对缺失模态的泛化。

Comments Accepted to IROS 2026 Main Conference

Sat2RealCity: Geometry-Aware and Appearance-Controllable 3D Urban Generation from Satellite Imagery

Sat2RealCity：基于卫星图像的几何感知与外观可控的3D城市生成

Xinliang Wang, Yijie Kang, Zhenyu Wu, Yifeng Shi

机构 * KE Holdings Inc.（KE控股公司） ； Beijing, China（中国北京） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对卫星图像3D城市生成问题，Sat2RealCity框架利用对象级3D生成先验，通过分解城市为地理定位建筑实体，结合构建的数据集，引入空间定位策略、设计外观引导机制及构建语义管道，实现良好的地理对齐、风格一致和资产合成。

Comments The first two authors contributed equally. The fourth author is the corresponding author

Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework

层次化合成表格数据生成：一种自上而下与自下而上混合框架

Junfeng Nie, Alvin Jin, Xiaohui Chen

机构 * University of Southern California（南加州大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)

AI总结 提出一种层次化混合自上而下和自下而上（H-TDBU）框架，通过解耦语义结构与随机纹理，结合结构驱动的逻辑约束和轻量级表格生成器，在弱多模态金融基准上提升合成数据的语义一致性和统计保真度。

Comments Accepted as a poster at FMSD @ ICML 2026. 9 pages, 6 figures

RFM-Editing 2: Text-Guided Audio Editing with Rectified Flow Matching and Coarse-to-Fine Diffusion Transformers

基于整流流的混合扩散变压器用于指令引导音频编辑

Liting Gao, Yonggang Zhu, Yaru Chen, Dongyu Wang, Shubin Zhang, Zhenbo Li, Jean-Yves Guillemaut, Wenwu Wang

机构 * Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） ； Fisheries College, Ocean University of China（中国海洋大学水产学院） ； College of Information and Electrical Engineering, China Agricultural University（中国农业大学信息与电气工程学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 提出混合两阶段扩散变压器架构，通过粗到细策略平衡全局语义对齐与局部细节编辑，在重叠音频事件和复杂指令任务上提升性能与效率。

SymbOmni: Evolving Agentic Omni Models via Symbolic Concept Learning

SymbOmni：通过符号概念学习进化智能全能模型

Jinxiu Liu, Jianru Li, Tanqing Kuang, Xuanming Liu, Kangfu Mei, Yandong Wen, Weiyang Liu

机构 * South China University of Technology（华南理工大学） ； Westlake University（西湖大学） ； Johns Hopkins University（约翰·霍普金斯大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视觉生成模型无法累积学习与自主进化的问题，提出SymbOmni智能全能模型，通过符号概念学习和归纳-转导循环运行，经言语反向传播训练。实验验证其在多方面性能优越，能有效降低令牌消耗并实现持续学习。

Comments ECCV 2026 (49 pages, 10 figures, project page: https://spherelab.ai/symbomni)

World Narrative Model for Highly Controllable Video Generation: A Paradigm Shift from Pixel Sampling to Physical World Orchestration

世界叙事模型：从像素采样到物理世界编排的高度可控视频生成范式转变

Ye Chen, Xuanhong Chen, Yupeng Zhu, Liming Tan, Zhewen Wan, Yuxuan Xiong, Tielong Wang, Jinfan Liu, Wuze Zhang, Xiongzhen Zhang, Feifei Li, Xianglin Luo, Zhehan Zhao, Zhifan Zhang, Laisheng Kou, Zhujin Liang, Yugang Chen, Muchun Chen, Xu Miao, Yijing Zhang, Xiaojie Sheng, Qiang Hu, Jialiang Chen, Weimin Zhang, Wenjun Zhang, Bingbing Ni

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出世界叙事模型（WNM），将视频生成解耦为结构化物理叙事与像素渲染，通过协同代理将多模态输入转化为可编辑的4D世界表示，驱动基础模型生成符合创作者意图的视频，大幅提升可控性。

Spectral Diffusion Processes

谱扩散过程

Angus Phillips, Thomas Seror, Michael Hutchinson, Valentin De Bortoli, Arnaud Doucet, Emile Mathieu

机构 * University of Oxford（牛津大学） ； ENS, CNRS, PSL University Paris（巴黎高等师范学院、国家科学研究中心、巴黎大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 研究将扩散模型应用于函数空间上的随机过程，通过谱表示分离随机部分与时空结构，用有限维扩散模型建模谱系数，经截断确保模型有效性，投影回原空间对应相关噪声扩散模型，还展示了方法在多模态数据建模及条件采样上的有效性。

Comments This version (v3) extends the previous workshop version (v2) with conditional sampling and theoretical results. Work carried out in 2022/23. V2 appeared in Score-based Methods Workshop at the 36th Conference on Neural Information Processing Systems (NeurIPS 2022)