arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

共收录 4959 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态生成 4959 篇

2410.21747 2026-06-09 cs.CV 版本更新 57%

MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding

MotionGPT-2:用于运动生成与理解的通用运动-语言模型

Yuan Wang, Di Huang, Yaqi Zhang, Wanli Ouyang, Jile Jiao, Xuetao Feng, Dan Xu, Shixiang Tang

机构 * Tsinghua University(清华大学) The University of Sydney(悉尼大学) University of Science and Technology of China(中国科学技术大学) The Chinese University of Hong Kong(香港中文大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Intime Department Store(Intime百货) Deepeleph HKUST(香港科技大学)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 提出MotionGPT-2,一种统一的大规模运动-语言模型,通过预训练大语言模型支持多模态控制条件,实现运动生成、描述和补全等多种任务,并引入Part-Aware VQVAE实现细粒度身体和手部运动表示。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.07053 2026-06-08 cs.CV cs.LG 新提交 57%

TrioPose: Native Triple-Stream Diffusion Transformers for Pose-Guided Text-to-Image Generation

TrioPose: 用于姿态引导文本到图像生成的原生三流扩散变换器

Dian Gu, Zhengyi Yang

机构 * Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 提出TrioPose,基于SD3.5M架构的原生三流姿态感知DiT,通过逐层激活和零初始化双残差注入保持预训练稳定性,并设计可学习关系偏置掩码和姿态引导空间损失加权,在多人姿态引导生成中实现SOTA性能,Human-Art上AP达64.33。

Comments 15 pages (9 pages main body, 6 pages references and appendix), 3 figures, 5 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06048 2026-06-08 cs.CV 版本更新 57%

LLM-Conditioned Synthesis of Pathological Gaits via Structured Gait-Language Representations

基于结构化步态-语言表示的LLM条件病理步态合成

Mritula Chandrasekaran, Sanket Kachole, Jarek Francik, Dimitrios Makris

机构 * University of California, Berkeley(加州大学伯克利分校) Stanford University(斯坦福大学) University of Toronto(多伦多大学) MIT Media Lab(麻省理工学院媒体实验室)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 提出一种多模态LLM引导框架,通过结构化文本描述合成病理步态3D数据,利用运动标记化、病理感知语言条件、LLM语义增强和语言到步态生成,改善下游分类性能。

Comments Accepted at CVPR MOMA Workshop 2026 and selected for spotlight presentation at the workshop

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19611 2026-06-08 cs.CV cs.ET 版本更新 57%

Physics Guided Conditional Diffusion Framework for Generative Inverse Design of Manufacturable Metasurface based Absorbers

基于物理引导的条件扩散模型的超材料吸收体逆向设计

Vineetha Joy, Jamshed Palai, Satwik Sahu, Anshuman Kumar, Amit Sethi, Hema Singh

机构 * Centre for Electromagnetics, CSIR-National Aerospace Laboratories(电磁研究中心,国家航空航天实验室) Birla Institute of Technology and Science, Pilani(比拉理工学院,皮兰) Indian Institute of Technology, Bombay(孟买印度理工学院)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 本文提出了一种基于物理引导的条件扩散框架,用于设计具有特定电磁响应的超材料吸收体,通过特征线性调制和预训练的替代电磁模拟器,提高了设计效率和条件准确性,实验表明该方法在2-18GHz频率范围内能够快速生成实用的超材料结构。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.05188 2026-06-05 cs.CY cs.AI 57%

Assessing the Geographic Diversity of AI's Platial Representations in Image Generation

评估图像生成中AI地点表征的地理多样性

Zilong Liu, Krzysztof Janowicz, Mina Karimi

机构 * Department of Geography and Regional Research, University of Vienna, Austria(维也纳大学地理与区域研究系)

专题命中 多模态生成 :multimodal(abstract);分类 cs.AI

AI总结 本文以GPT和DALL-E模型为例,引入生态学中的物种多样性度量方法,通过相似性加权评估图像生成的地理多样性,发现旧模型可能更具多样性且提示修订比图像生成更促进多样性,同时观察到模型同质性导致缺乏地理多样性。

Comments Full conference paper accepted by the AGILE 2026 (https://agile-gi.eu/conference-2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.04457 2026-06-04 cs.CV 57%

Imagine Before You Draw: Visual Prompt Engineering for Image Generation

先构思再绘制:面向图像生成的视觉提示工程

Liyu Jia, Fengda Zhang, Jiachun Pan, Kesen Zhao, Saining Zhang, Wang Lin, Weijia Wu, Yue Liao, Aojun Zhou, Hanwang Zhang

机构 * Nanyang Technological University(南洋理工大学) National University of Singapore(国立新加坡大学) Zhejiang University(浙江大学) The Chinese University of Hong Kong(香港中文大学)

专题命中 多模态生成 :cross-modal(abstract);分类 cs.CV

AI总结 提出视觉提示工程(VPE),通过在单一模型内先生成视觉语义令牌作为中间计划,再生成完整图像,从而避免信息瓶颈,提升图像生成质量与编辑保真度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.04264 2026-06-04 cs.CV 57%

UniCanvas: A Diffusion-base Unified Model for Text-in-Image Joint Generation

UniCanvas: 一种基于扩散的图文联合生成统一模型

Zeyuan Yang, Hao-Wei Chen, Xueyang Yu, Yuncong Yang, Haoyu Zhen, Ziqiao Ma, Maohao Shen, Chuang Gan

机构 * UMass Amherst(马萨诸塞大学阿默斯特分校) University of Michigan(密歇根大学) MIT(麻省理工学院)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 提出UniCanvas,通过扩散模型在像素画布上以文本嵌入图像的方式实现图文联合生成,解决现有模型在视觉与文本生成上的不足。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03132 2026-06-03 cs.CL 57%

DMT-CBT: Longitudinal Therapeutic State Modeling for CBT Counseling

DMT-CBT:面向CBT咨询的纵向治疗状态建模

Chang Liu, Shuyi Zhang, Changsheng Ma, Yongfeng Tao, Minqiang Yang, Bin Hu

机构 * School of Information Science and Engineering, Lanzhou University(信息科学与工程学院,兰州大学)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CL

AI总结 提出DMT-CBT框架,通过跨会话结构化治疗状态、多模态行为基础与工具增强干预,解决现有方法将CBT咨询简化为局部回复生成的问题,实现纵向治疗状态动态建模。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.17149 2026-06-03 cs.LG cs.AI 57%

TimeOmni-VL: Unified Models for Time Series Understanding and Generation

TimeOmni-VL:统一时间序列理解与生成的模型

Tong Guan, Sheng Pan, Johan Barthelemy, Zhao Li, Yujun Cai, Cesare Alippi, Ming Jin, Shirui Pan

机构 * Tsinghua University(清华大学)

专题命中 多模态生成 :multimodal(abstract);分类 cs.AI

AI总结 提出TimeOmni-VL框架,通过保真双向映射和理解引导生成,首次统一时间序列的理解与生成任务。

Comments Accepted by the Forty-third International Conference on Machine Learning (ICML 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.10055 2026-06-03 cs.CV 57%

Physical Plausibility Reasoning via HCM-GRPO: Empowering Compact Model for Superior Performance

通过 HCM-GRPO 实现物理合理性推理:赋能紧凑模型以获得卓越性能

Zhiyuan Hu, Zheng Sun, Yi Wei, Long Yu

机构 * Tsinghua University(清华大学) Alibaba Health Information Technology Limited(阿里巴巴健康信息技术有限公司)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 针对多模态大语言模型在物理合理性推理中数据缺乏和推理能力弱的问题,提出包含大规模数据集和 HCM-GRPO 方法的完整解决方案,以紧凑模型超越大规模开源和闭源模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.01599 2026-06-02 cs.AI 57%

TRON: Targeted Rule-Verifiable Online Environments for Visual Reasoning RL

TRON:面向视觉推理强化学习的目标化规则可验证在线环境

Tianze Yang, Yucheng Shi, Ruitong Sun, Jingyuan Huang, Ninghao Liu, Jin Sun

机构 * University of Georgia(佐治亚大学)

专题命中 多模态生成 :multimodal(abstract);分类 cs.AI

AI总结 提出TRON在线环境框架,通过可控生成-验证程序产生无限训练实例,支持视觉推理强化学习,在多个多模态基准上提升性能。

Comments 27 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.00336 2026-06-02 cs.AI cs.LG 57%

From Noise to Control: Parameterized Diffusion Policies

从噪声到控制:参数化扩散策略

Renhao Zhang, Haotian Fu, Mingxi Jia, George Konidaris, Yilun Du, Bruno Castro da Silva

机构 * University of California, Berkeley(加州大学伯克利分校)

专题命中 多模态生成 :multimodal(abstract);分类 cs.AI

AI总结 提出参数化扩散策略(PDP),通过学习行为流形上的低维连续参数条件化扩散策略,将扩散从随机多样性机制转化为精确可优化的行为引导工具,实现策略间的平滑插值和新约束下的高效适应。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.06453 2026-06-02 cs.CV 57%

Pinterest Canvas: Large-Scale Image Generation at Pinterest

Pinterest Canvas: Pinterest 的大规模图像生成系统

Yu Wang, Eric Tzeng, Raymond Shiau, Jie Yang, Dmitry Kislyuk, Charles Rosenberg

机构 * Pinterest, Inc.(Pinterest公司)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 本文提出 Pinterest Canvas,一个基于扩散模型的大规模图像生成系统,通过基础模型微调为特定任务(如背景增强和宽高比外扩)生成专用模型,并在线上实验中分别获得18.0%和12.5%的参与度提升。

Comments Accepted by KDD 2026 Applied Data Science Track

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.06442 2026-06-02 cs.CV 57%

ChatUMM: Robust Context Tracking for Conversational Interleaved Generation

ChatUMM: 面向对话式交错生成的鲁棒上下文追踪

Wenxun Dai, Zhiyuan Zhao, Yule Zhong, Yiji Cheng, Jianwei Zhang, Linqing Wang, Shiyi Zhang, Yunlong Lin, Runze He, Fellix Song, Wayne Zhuang, Yong Liu, Haoji Zhang, Yansong Tang, Chunyu Wang

机构 * Tsinghua University(清华大学) Tencent Hunyuan Project lead(腾讯文心一言项目负责人)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 提出ChatUMM,一种通过交错多轮训练策略和系统化对话数据合成流水线实现鲁棒上下文追踪的对话式统一多模态模型,在视觉理解和指令引导编辑基准上达到开源模型最优性能。

Comments ChatUMM Project

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.18439 2026-06-02 cs.CL 57%

Grounding or Guessing? Visual Signals for Detecting Hallucinations in Sign Language Translation

基于视觉线索检测手语翻译中的幻觉:是依据视觉信息还是猜测?

Yasser Hamidullah, Koel Dutta Chowdhury, Yusser Al Ghussin, Shakib Yazdani, Cennet Oguz, Josef van Genabith, Cristina España-Bonet

机构 * German Research Center for Artificial Intelligence (DFKI GmbH)(德国人工智能研究中心(DFKI GmbH)) Saarland Informatics Campus(萨尔兰州信息学校园) Barcelona Supercomputing Center (BSC-CNS)(巴塞罗那超级计算中心(BSC-CNS))

专题命中 多模态生成 :multimodal(abstract);分类 cs.CL

AI总结 针对手语翻译中模型依赖语言先验而非视觉输入导致幻觉的问题,提出一种基于特征敏感性和反事实信号的令牌级可靠性度量,用于量化视觉信息利用程度,并在两个基准上验证其预测幻觉率、跨数据集泛化及与文本信号结合提升风险评估的效果。

Comments Published at ICLR2026 Code available at \url{https://github.com/yhamidullah/hallucination-slt}

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30248 2026-06-01 cs.CV 57%

GenClaw: Code-Driven Agentic Image Generation

GenClaw: 代码驱动的智能体图像生成

Junyan Ye, Jun He, Zilong Huang, Dongzhi Jiang, Xuan Yang, Rui Chen, Weijia Li

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 提出GenClaw,一种代码驱动的智能体图像生成范式,通过概念构思、代码草图绘制和纹理补充三个阶段,将黑盒图像生成转变为可控、可解释的分阶段过程。

Comments 21 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.08385 2026-06-01 eess.IV cs.CV 57%

Rectified flow-based prediction of post-treatment brain MRI from pre-radiotherapy priors for patients with glioma

基于整流流的胶质瘤患者放疗前先验信息治疗后脑MRI预测

Selena Huisman, Nordin Belkacemi, Vera C. Keil, Joost Verhoeff, Szabolcs David

机构 * Amsterdam UMC, Department of Radiation Oncology(阿姆斯特丹大学医学中心放射肿瘤科) Cancer Center Amsterdam, Imaging and Biomarkers(阿姆斯特丹癌症中心影像与生物标志物) Department of Radiology and Nuclear Medicine(放射科与核医学科) Amsterdam UMC, Vrije Universiteit Amsterdam, Amsterdam Neuroscience, Brain Imaging(阿姆斯特丹大学医学中心、阿姆斯特丹自由大学、阿姆斯特丹神经科学、脑成像)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 提出一种基于整流流的条件图像生成模型,利用放疗前MRI和剂量图预测治疗后任意时间点的脑MRI,实现快速推理并保持语义和视觉保真度。

Comments 10 pages, 6 figures, 1 supplementary table, added GitHub url, corrected figure captions

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30049 2026-05-29 cs.AI 57%

Robust and Generalizable Safety Steering for Text-to-Image Diffusion Transformers

面向文本到图像扩散Transformer的鲁棒且可泛化的安全引导

Zihao Xue, Yan Wang, Zhen Bi, Long Ma, Zhonglong Zheng, Zeyu Yang, Bingyu Zhu, Longtao Huang, Jie Xiao, Jungang Lou

机构 * Huzhou Normal University(湖州师范学院) Alibaba Group(阿里巴巴集团) University of Science and Technology of China(中国科学技术大学) Zhejiang Normal University(浙江师范大学) Zhejiang University of Technology(浙江工业大学)

专题命中 多模态生成 :cross-modal(abstract);分类 cs.AI

AI总结 提出SafeDIG框架,通过位置感知稀疏特征迁移实现扩散Transformer的安全引导,在保持源域安全性和图像质量的同时,有效降低目标域和整体不安全生成率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.11499 2026-05-29 cs.LG cs.AI 57%

Offline Reinforcement Learning with Generative Trajectory Policies

基于生成轨迹策略的离线强化学习

Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

机构 * School of Computing, Data Sciences Computer Engineering Department, UCLA, Los Angeles, USA

专题命中 多模态生成 :multi-modal(abstract);分类 cs.AI

AI总结 本文提出生成轨迹策略(GTP),通过统一扩散、流匹配和一致性模型为常微分方程驱动的连续时间生成轨迹,并引入两种理论自适应方法,在D4RL基准上达到最先进性能。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28867 2026-05-29 cs.LG cs.AI 57%

PrismFlow: Residual Dynamics for Flow Matching in Time-Series Generation

PrismFlow: 时间序列生成中流匹配的残差动力学

Junru Zhang, Lang Feng, Jinbo Wang, Xu Guo, Yucheng Wang, Han Yu, Min Wu, Yabo Dong, Duanqing Xu

机构 * Zhejiang University, China(浙江大学,中国) Nanyang Technological University, Singapore(南洋理工大学,新加坡) I2R, Agency for Science, Technology and Research (A*STAR), Singapore(科技研究局(A*STAR)新加坡研究所,新加坡)

专题命中 多模态生成 :multimodal(abstract);分类 cs.AI

AI总结 提出PrismFlow方法,通过Koopman启发的动力学专家和置信度感知的胜者全得目标,在流匹配中学习残差修正,以解决标准流匹配中全局向量场估计器导致的频谱失真和模式覆盖不足问题,在时间序列生成中取得最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.21032 2026-05-29 cs.CV 57%

Multi-Attribute guided Thermal Face Image Translation based on Latent Diffusion Model

基于潜在扩散模型的多属性引导热人脸图像翻译

Mingshu Cai, Osamu Yoshie, Yuya Ieiri

机构 * Graduate School of Information, Production and Systems, Waseda University(早稻田大学信息、生产与系统研究生院)

专题命中 多模态生成 :cross-modal(abstract);分类 cs.CV

AI总结 提出一种基于潜在扩散模型的多属性引导方法,从热红外图像生成高质量可见光人脸图像,同时保留关键身份特征,解决异质人脸识别中的域偏移和特征丢失问题。

Comments Accepted by 2025 IEEE International Joint Conference on Biometrics (IJCB 2025)

Journal ref 2025 IEEE International Joint Conference on Biometrics (IJCB), 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2410.15236 2026-05-29 cs.CR cs.AI cs.LG 57%

Jailbreaking and Mitigation of Vulnerabilities in Large Language Models

大语言模型的越狱与漏洞缓解

Benji Peng, Hanxuan Chen, Keyu Chen, Qian Niu, Ziqian Bi, Ming Liu, Pohsun Feng, Tianyang Wang, Lawrence K. Q. Yan, Yizhu Wen, Yichao Zhang, Caitlyn Heqi Yin, Xinyuan Song, Riyang Bao, Jiacheng Shi

机构 * Hunan University Changsha, PRC Georgia Institute of Technology Atlanta, USA Kyoto University Kyoto, Japan Purdue University West Lafayette, USA National Taiwan Normal University Taipei, ROC University of Liverpool Suzhou, PRC Hong Kong University of Science University of Hawaii Honolulu, USA The University of Texas at Dallas Dallas, USA University of Wisconsin-Madison Madison, USA Emory University Atlanta, USA College of William \& Mary Williamsburg, USA

专题命中 多模态生成 :multimodal(abstract);分类 cs.AI

AI总结 本文综述了大语言模型在提示注入和越狱攻击下的漏洞,分类攻击方法并评估防御策略,指出研究空白与未来方向。

Journal ref Eureka 1(1) (2026) 26-61

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27924 2026-05-28 cs.CV 57%

SIGMA: Semantic-Difference Instruction-Grounding Mask Annotator for Text-Driven Image Manipulation Localization

SIGMA: 基于语义差异的指令引导掩码标注器用于文本驱动图像操作定位

Peiyu Zhuang, Jianquan Yang, Haodong Li, Zhuoying Cai, Ruitao Xie, Jishen Zeng, Baoying Chen, Jiwu Huang, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区) Guangdong Provincial Key Laboratory of Intelligent Information Processing and Shenzhen Key Laboratory of Media Security(广东省智能信息处理重点实验室和深圳媒体安全重点实验室) Shenzhen University of Advanced Technology and Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术大学和深圳先进技术研究所,中国科学院) Alibaba Group(阿里巴巴集团) Shenzhen MSU-BIT University(深圳MSU-BIT大学)

专题命中 多模态生成 :cross-modal(abstract);分类 cs.CV

AI总结 提出SIGMA方法,通过视觉基础模型中的语义特征差异和指令引导的空间先验,自动从公开编辑数据集中生成像素级掩码,用于训练图像操作定位模型,在五个基准上F1提升12.20%,并生成约110万训练集使六个检测器平均F1提升18.34%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27417 2026-05-28 quant-ph cs.AI cs.LG 57%

Quantum Machine Learning-based 6G edge Network: Enabling Adaptive Communication and Model Aggregation

基于量子机器学习的6G边缘网络:实现自适应通信与模型聚合

Wenjing Xiao, Jiatai Yan, Chenglong Shi, Shixin Chen, Miaojiang Chen, Min Chen, Saif Al-Kuwari, Ahmed Farouk

机构 * School of Computer, Electronics and Information, Guangxi University(广西大学计算机电子信息学院) Guangxi Key Laboratory of Multimedia Communications and Network Technology(广西多媒体通信与网络技术重点实验室) School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院) Pazhou Laboratory(琶洲实验室) Qatar Center for Quantum Computing, College of Science and Engineering, Hamad Bin Khalifa University(卡塔尔量子计算中心,哈马德·本·哈利法大学)

专题命中 多模态生成 :multimodal(abstract);分类 cs.AI

AI总结 针对6G V2X通信中的高维状态空间、异构节点和动态环境挑战,提出量子增强框架,包含信道自适应语义通信、多模态融合、模型迁移和联邦聚合四个模块,利用量子卷积神经网络、量子注意力、量子强化学习和量子张量分解提升效率、泛化能力和隐私保护。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15523 2026-05-28 cs.CV 57%

Self-Prompting Diffusion Transformer for Open-Vocabulary Scene Text Editing via In-Context Learning

自提示扩散变压器用于开放词汇场景文本编辑的上下文学习

Hongxi Li, Tong Wang, Chengjing Wu, Tianbao Liu, Jiangtao Yao, Xiaochao Qu, Xinxiao Wu, Luoqi Liu, Ting Liu

机构 * MT Lab, Meitu Inc., Beijing, China School of Computer Science \& Technology, Beijing Institute of Technology, Beijing, China

专题命中 多模态生成 :multi-modal(abstract);分类 cs.CV

AI总结 提出一种自提示场景文本编辑方法,通过构建风格和字形提示,利用多模态扩散变压器的上下文学习能力,实现开放词汇和风格一致的文本编辑。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02028 2026-05-28 cs.CL 57%

Why Gaussian Diffusion Models Fail on Discrete Data and How to Prevent It?

为什么高斯扩散模型在离散数据上失败以及如何防止?

Alexander Shabalin, Simon Elistratov, Viacheslav Meshchaninov, Ildus Sadrtdinov, Dmitry Vetrov

机构 * Constructor University(Constructor大学) Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CL

AI总结 本文研究高斯扩散模型在离散数据上采样质量差的原因,发现关键采样区间内噪声数据密度呈多峰分布导致DDPM进入低密度区域,并提出自条件化和q采样结合的方法来改善生成质量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.02019 2026-05-28 cs.LG cs.AI stat.ML 57%

Diffusion-Augmented Markov Decision Processes for Maximum Entropy Reinforcement Learning

扩散增强马尔可夫决策过程用于最大熵强化学习

Sebastian Sanokowski, Kaustubh Patil

机构 * Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University Munich(慕尼黑机器人与机器智能研究所(MIRMI),技术大学慕尼黑) Practical Project Student Exchange Program, Technical University Munich(技术大学慕尼黑实践项目学生交换计划) MIT World Peace University(MIT和平大学)

专题命中 多模态生成 :multimodal(abstract);分类 cs.AI

AI总结 本文通过将最大熵强化学习扩展到扩散过程,提出扩散增强马尔可夫决策过程(DA-MDPs),以最小化反向KL散度的上界来学习最优策略轨迹分布,并成功将PPO、WPO和REPPO适配为扩散变体,在连续控制和多模态基准上取得与基线相当或更优的性能。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27067 2026-05-27 cs.CV 57%

BEAT: Rhythm-Elastic Alignment for Agentic Music-guided Movie Trailer Generation

BEAT: 节奏弹性对齐用于智能音乐引导的电影预告片生成

Yutong Wang, Yunke Wang, Xinyuan Chen, Chang Xu

机构 * The University of Sydney(悉尼大学) Shanghai AI Laboratory(上海人工智能实验室)

专题命中 多模态生成 :cross-modal(abstract);分类 cs.CV

AI总结 提出BEAT框架,通过音乐-视觉对齐编码器MuVA和能量自适应动态规划算法Bar-DP,实现弹性多对一节奏对齐,用于端到端电影预告片生成。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.26451 2026-05-27 cs.HC cs.CV 57%

Design First, Code Later: Aesthetically Pleasing Template-Free Slides Generation

先设计,后编码:无模板的美观幻灯片生成

Zhiyao Cui, Chenxu Wang, Shuyue Hu, Yiqun Zhang, Wenqi Shao, Qiaosheng Zhang, Zhen Wang

机构 * School of Cybersecurity, Northwestern Polytechnical University(西北工业大学网络安全学院) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Shanghai Innovation Institution(上海创新研究院) Fudan University(复旦大学)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 提出DeepSlides层次化幻灯片生成流程,通过解耦设计与实现、引入SlideDesign数据集和多智能体强化学习训练范式,在无模板条件下生成高质量幻灯片。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.19741 2026-05-27 cs.CV 57%

Efficient Transferable Optimal Transport via Min-Sliced Transport Plans

通过最小切片传输计划的高效可迁移最优传输

Xinran Liu, Elaheh Akbari, Rocio Diaz Martin, Navid NaderiAlizadeh, Soheil Kolouri

机构 * Department of Computer Science, Vanderbilt University(范德比大学计算机科学系) Department of Mathematics, Florida State University(佛罗里达州立大学数学系) Department of Biostatistics & Bioinformatics, Duke University(杜克大学生物统计学与生物信息学系) Department of Electrical & Computer Engineering, Vanderbilt University(范德比大学电气与计算机工程系)

专题命中 多模态生成 :multimodal(abstract);分类 cs.CV

AI总结 提出最小切片传输计划(min-STP)框架,研究优化切片器在不同分布对间的可迁移性,并引入小批量公式以提高可扩展性,在点云对齐和流生成建模中实现一次性匹配和摊销训练。

详情

展开后加载摘要…

URL PDF HTML 收藏