多模态大模型

MM-TRELLIS: Point-Cloud Guided Multi-Modal 3D Vehicle Generation in Autonomous Driving

MM-TRELLIS: 自动驾驶中基于点云引导的多模态3D车辆生成

Hongli Xiao, Youjian Zhang, Yucai Bai, Chaoyue Wang, Yaohui Jin, Xiaoguang Ren, Wenjing Yang, Long Lan

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室） ； Academy of Military Science（军事科学院） ； Bosch innovation software development (Wuxi) Co., Ltd.（博世创新软件开发（无锡）有限公司） ； College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机学院） ； Shopee Pte. Ltd.（Shopee私人有限公司） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出MM-TRELLIS，融合多视图图像与LiDAR点云，通过点云引导和体素过滤策略，实现高质量3D车辆生成，在Waymo数据集上优于现有方法。

UniTranslator: A Unified Multi-modal Framework for End-to-end In-Image Machine Translation

UniTranslator：一种用于端到端图像内机器翻译的统一多模态框架

Jiahao Lyu, Pei Fu, Zhenhang Li, Shaojie Zhang, Jiahui Yang, Yu Zhou, Can Ma, Zhenbo Luo, Jian Luan

机构 * MiLM Plus, Xiaomi Inc（小米公司MiLM Plus） ； Binghamton University（宾汉姆顿大学） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 提出UniTranslator统一框架，通过理解-生成对齐模块和空间掩码解码器解决翻译理解与文本编辑的冲突及空间错位问题，在多个基准上实现最先进性能。

Comments Accepted by ECCV 2026

FLUX3D: High-Fidelity 3D Gaussian Generation with Diffusion-Aligned Sparse Representation

FLUX3D: 基于扩散对齐稀疏表示的高保真3D高斯生成

Haorui Ji, Weizhe Liu, Hongdong Li, Hengkai Guo

机构 * The Australian National University（澳大利亚国立大学） ； ByteDance（字节跳动） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出FLUX3D框架，通过扩散对齐结构化潜变量（DA-SLAT）和稀疏结构感知扩散变压器（SMDiT）解决稀疏体素表示中高频细节丢失和跨模态对齐问题，实现高保真图像到3D高斯生成。

CMADiff: Cross-Modal Aligned Diffusion for Controllable Protein Generation

CMADiff: 用于可控蛋白质生成的跨模态对齐扩散

Changjian Zhou, Yuexi Qiu, Jiafeng Li, Jia Song, Wensheng Xiang

专题命中 多模态生成 ：cross-modal(title)

AI总结 提出CMADiff框架，通过条件变分自编码器整合理化特征，并利用对比学习模块BioAligner对齐文本描述与蛋白质特征，实现基于文本驱动的可控蛋白质序列生成。

IV-CoT: Implicit Visual Chain-of-Thought for Structure-Aware Text-to-Image Generation

IV-CoT: 面向结构感知文本到图像生成的隐式视觉思维链

Zixuan Li, Haokun Lin, Yicheng Xiao, Zhiwei Li, Xinyang Song, Zelong Zheng, Yong He, Heng Yao, Ke Ding, Chao Yu, Chuan Yuan, Qi Li, Zhenan Sun

机构 * NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室） ； Ant Group（蚂蚁集团） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出隐式视觉思维链（IV-CoT）框架，通过结构到语义的级联分解和训练时草图监督，在不增加推理开销的情况下提升文本到图像生成的结构感知能力。

HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-training

HilDA：利用扩散的分层蒸馏推进自监督LiDAR预训练

Maciej Wozniak, Jesper Ericsson, Hariprasath Govindarajan, Truls Nyberg, Thomas Gustafsson, Patric Jensfelt, Olov Andersson

机构 * KTH Royal Institute of Technology（瑞典皇家理工学院） ； Linköping University（林雪平大学） ； TRATON AB（TRATON公司） ； Qualcomm Auto Ltd Sweden Filial（高通汽车有限公司瑞典分公司） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出HilDA框架，通过分层蒸馏（多层蒸馏和全局上下文蒸馏）结合时间占用扩散目标，自监督预训练LiDAR骨干网络，在3D检测、场景流和语义占用预测任务上达到最先进水平。

Comments Accepted to ECCV 2026. Maciej and Jesper contributed equally

Ensemble Learning for Large Language Models in Text and Code Generation: A Survey

面向文本与代码生成的大语言模型集成学习综述

Mari Ashiga, Wei Jie, Fan Wu, Vardan Voskanyan, Fateme Dinmohammadi, Paul Brookes, Jingzhi Gong, Zheng Wang

机构 * School of Computing and Engineering, University of West London（西伦敦大学计算机与工程学院） ； Turing Intelligence Technology Limited（图灵智能科技有限公司） ； School of Computer Science, University of Leeds（利兹大学计算机科学学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了七种大语言模型集成方法（权重合并、知识融合、混合专家、奖励集成、输出集成、路由和级联），分析了它们在文本与代码生成中提升多样性、输出质量和应用灵活性的能力。

Comments Accepted by IEEE TAI 2025

S1-Omni-Image: A Unified Model for Scientific Image Understanding, Generation, and Editing

S1-Omni-Image：面向科学图像理解、生成与编辑的统一模型

Qingxiao Li, Zikai Wang, Qingli Wang, Nan Xu

机构 * XScience Lab（XScience实验室） ； Wenge AI（文阁人工智能） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出S1-Omni-Image，基于S1-VL-32B和“先思考后生成”范式，统一实现科学图像的理解、生成与编辑，在多个基准上达到领先性能。

Comments 32 pages, 15 figures

Prob-BBDM: a Probabilistic Brownian Bridge Diffusion Model for MRI sequence image-to-image translation

Prob-BBDM：用于MRI序列图像到图像翻译的概率布朗桥扩散模型

Martin Valls, Pascal Bourdon, Christine Fernandez-Maloigne, Guillaume Herpe, David Helbert

机构 * University of Poitiers, CNRS, XLIM, France（波尔多大学，法国国家科学研究中心，XLIM，法国） ； University of Poitiers, CNRS, Laboratory of Applied Mathematics, France（波尔多大学，法国国家科学研究中心，应用数学实验室，法国） ； Poitiers University Hospital（波尔多大学医院） ； I3M common laboratory CNRS-Siemens Healthinners, Poitiers University Hospital and University of Poitiers, France（I3M共同实验室，法国国家科学研究中心-西门子医疗，波尔多大学医院和波尔多大学，法国） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出基于概率布朗桥扩散模型（Prob-BBDM）的MRI序列图像翻译方法，通过变分编码器引导扩散机制，在BraTS 2021数据集上实现高效高质量合成，仅需4步扩散，SSIM达88.46%，PSNR达26.09 dB。

Journal ref Computerized Medical Imaging and Graphics, 2026, 130, pp.102745

PixJail: Self-Evolving Paper-to-Pipeline Reproduction for Text-to-Image Jailbreak Evaluation

PixJail：面向文本到图像越狱评估的自演化论文到流水线复现

Leyi Sheng, Han Sun, Zhen Sun, Yuntao Yue, Jinlin Wu, Xinlei He, Jiaheng Wei

机构 * The Hong Kong University of Technology and Science (Guangzhou)（香港科技与应用科技大学（广州）） ； East China Normal University（华东师范大学） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Wuhan University（武汉大学） ； Institute of Deep Perception Technology, JITRI（视觉感知技术研究院，JITRI） ； CAIR, Hong Kong Institute of Science and Innovation (HKISI)（创新科技研究院，香港科学与创新研究院（HKISI）） ； MAIS, Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出PixJail框架，通过自演化论文到流水线代理，自动构建攻击模块和可运行评估流水线，忠实复现原始实验结果，平均误差仅2.1%。

Resonant Minds: Closed-Loop Social Avatars with Theory of Mind

共鸣心智：具备心智理论的闭环社交虚拟人

Jianxu Shangguan, Jing Xu, Hang Ye, Xiaoxuan Ma, Yizhou Wang, Jenq-Neng Hwang, Wentao Zhu

机构 * University of Washington（华盛顿大学） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Eastern Institute of Technology, Ningbo（宁波工程技术学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一个闭环双智能体框架，通过整合感知、社会推理（基于心智理论）和多模态生成，实现具备社交智能的虚拟人，并在信息不对称数据集上取得优于全信息脚本模式的对话质量。

Comments Project page: https://resonantminds.github.io/

FlowerDance: MeanFlow for Efficient and Refined 3D Dance Generation

FlowerDance: MeanFlow实现高效精细的3D舞蹈生成

Kaixing Yang, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Puwei Wang, Jun He, Hongyan Liu

机构 * Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） ； Wuhan University（武汉大学） ； Malou Tech Inc（Malou科技公司） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出FlowerDance，结合MeanFlow与物理一致性约束，以少量采样步骤生成高质量舞蹈，并采用BiMamba骨干和通道级跨模态融合实现高效非自回归生成，支持运动编辑，在AIST++和FineDance上达到最优。

Comments Accepted by ECCV 2026

MONAQ: Multi-Objective Neural Architecture Querying for Time-Series Analysis on Resource-Constrained Devices

MONAQ：面向资源受限设备的时间序列分析多目标神经架构查询

Patara Trirat, Jae-Gil Lee

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 MONAQ通过多目标神经架构查询框架，结合大语言模型能力，实现对时间序列数据的高效处理与部署，实验表明其模型性能优于传统方法。

Comments EMNLP 2025 (Findings), Project Page: https://kaist-dmlab.github.io/MONAQ

Grounding Generative Policies in Physics: Optimization-Guided Diffusion for Robot Control

将生成式策略基于物理：面向机器人控制的优化引导扩散

Sabrina Bodmer, René Zurbrügg, Tifanny Portela, Hao Ma, Alexandre Didier, Marco Hutter, Colin Jones, Melanie Zeilinger

机构 * ETH Zurich（苏黎世联邦理工学院） ； EPFL（洛桑联邦理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出推理时优化框架，通过将扩散引导建模为约束优化问题，在采样中施加物理可行性约束，无需重训练即可提升机器人任务成功率。

Pathwise Learning of Stochastic Dynamical Systems with Partial Observations

部分观测下随机动力系统的路径学习

Nicole Tianjiao Yang

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出一种摊销路径生成方法，通过变分推断和受控SDE表示，从噪声观测中学习随机动力系统的滤波分布，实现不确定性量化。