AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
从多模态大语言模型中榨取能力用于主题驱动生成
机构 * University of Toronto & Vector Institute（多伦多大学及向量研究所） ； Adobe（Adobe公司） ； Google（谷歌公司）
专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 提出一种结合多模态大语言模型和VAE身份条件的方法，通过双层级聚合模块和多阶段去噪策略，在主题驱动图像生成中实现多模态理解与身份保持的平衡，优于现有方法。
Comments 33 pages, 18 figures, Project Page: https://zsh2000.github.io/squeeze-mllm-subject-gen/
ECG-R1: 协议引导且模态无关的可靠心电图解读多模态大语言模型
机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； National Institute of Health Data Science, Peking University（北京大学健康数据科学国家研究院） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） ； Tianjin Institute of Cardiology, the Second Hospital of Tianjin Medical University（天津医科大学第二医院心内科） ； National University of Singapore（新加坡国立大学） ； Jarvis Lab, Tencent（腾讯 Jarvis实验室） ； HeartVoice Medical Technology（HeartVoice医疗科技）
专题命中 多模态生成 ：MLLM(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CL
AI总结 提出ECG-R1，通过协议引导数据生成、模态解耦架构和强化学习，实现可靠的心电图解读。
Comments Accepted to ICML 2026
多模态晶体流：面向统一晶体建模的任意模态生成
机构 * Graduate School of AI, KAIST, Seoul, South Korea（韩国科学技术院人工智能研究生院，首尔，韩国） ； Materials Intelligence Lab, LG AI Research, Seoul, South Korea（LG AI研究所材料智能实验室，首尔，韩国）
专题命中 多模态生成 ：multimodal(title,abstract)；any-to-any(title)；分类 cs.AI
AI总结 提出多模态晶体流（MCFlow），一种统一的多模态流模型，通过原子类型和晶体结构的独立时间变量实现多种晶体生成任务，并在MP-20和MPTS-52基准上达到与任务特定基线竞争的性能。
利用多模态大语言模型增强单图像面部去变形
机构 * IEEE
专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出一种基于多模态大语言模型引导的耦合扩散重建框架，通过提取中间层语义嵌入作为条件，实现无参考的面部去变形，恢复构成图像并保持身份一致性。
迈向原生多模态建模：路线图
机构 * Tencent Youtu Lab（腾讯优图实验室） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） ； University of Warwick（沃林汉大学） ； Monash University（墨尔本大学） ； The Hong Kong Polytechnic University（香港理工大学）
专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 本文提出从非原生多模态范式向原生多模态建模（NMM）过渡的正式路线图，通过输入-输出二元性分类现有模型，并系统探讨架构协调、数据整理、训练推理及评估的全栈工业级方案。
Comments 52 pages, 5 figures, 3 tables, ~300 references
QASA: 面向鲁棒多模态情感分析的质量感知语义增强
机构 * School of Computer Science, South China Normal University（华南师范大学计算机学院）
专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 提出QASA框架，利用扩散模型生成视觉和听觉增强样本，并通过解耦质量感知评分模块分配训练权重，以解决高质量数据稀缺问题，提升多模态情感分析的鲁棒性和泛化能力。
Comments 11 pages, 4 figures
通过多表示生成增强统一多模态模型的理解能力
机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； AMAP, Alibaba Group（阿里妈妈，阿里巴巴集团） ； Shanghai Jiao Tong University（上海交通大学） ； Southern University of Science and Technology（南方科技大学）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出UniMRG方法，通过辅助生成像素、深度和分割等多重表示，增强统一多模态模型的理解能力，减少幻觉并提升空间理解。
Comments Code: https://github.com/Sugewud/UniMRG
动态优化与安全指示注入：针对多模态安全过滤器的文本到图像模型越狱方法
机构 * Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 多模态生成 ：multimodal(title,abstract)
AI总结 提出OptJail框架，通过动态提示优化与自适应安全指示注入，绕过文本和图像过滤器，实现高成功率越狱，并揭示多模态防御的系统性漏洞。
Any2Any: 统一任意模态遥感翻译
机构 * National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science, Wuhan University（多媒体软件国家工程研究中心、人工智能研究院、计算机科学学院、武汉大学） ； Hubei Key Laboratory of Multimedia（湖北省多媒体重点实验室） ； Zhongguancun Academy, Beijing, China. 100094（中关村学院，北京，中国。100094） ； School of Electronic Information, Wuhan University, Wuhan, China（电子信息学院，武汉大学，武汉，中国） ； School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan, China（测绘、制图与遥感信息工程国家重点实验室，武汉大学，武汉，中国）
专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；any-to-any(abstract)；分类 cs.CV
AI总结 提出统一潜扩散框架Any2Any，通过共享潜空间和轻量残差适配器实现任意模态间的高效翻译，并在新数据集RST-1M上验证了其优于成对方法且具备零样本泛化能力。
Comments Accepted by ICML 2026
上下文图像生成中的视觉-语言绑定
机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Northeastern University（东北大学）
专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 本文通过因果干预方法揭示FLUX.2模型中文本令牌与参考图像之间的隐式跨模态绑定机制，并定位绑定发生在文本序列的填充令牌上。
Comments 35 pages, 19 figures
用于胃肠内窥镜的参数高效视觉语言模型：医学图像生成与临床视觉问答
机构 * Computer Science Department, Morgan State University（莫尔甘州大学计算机科学系） ； International Organization for Migration (IOM)（国际移民组织） ； Electrical & Computer Engineering Department, Morgan State University（莫尔甘州大学电气与计算机工程系）
专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV、cs.AI
AI总结 提出双流水线参数高效微调模型，结合Florence-2和LoRA Stable Diffusion，分别解决临床视觉问答和隐私保护合成数据生成问题，在Kvasir-VQA数据集上取得高ROUGE和BLEU分数，并显著降低计算成本。
StreamChar: 基于解耦编排的长时程流式角色音频-视频生成
机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.CV
AI总结 提出StreamChar流式框架，通过LLM编排器与联合音频-视频DiT解耦长时程编排与短窗去噪，实现实时、稳定、高质量的角色动画生成。
GeoMathCode: 理解几何问题求解中交织的数学-代码推理
机构 * Idiap Research Institute（Idiap研究 institute） ； X-Humanoid ； Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； Cancer Biomarker Centre, CRUK Manchester Institute（癌症生物标志物中心，CRUK曼彻斯特研究所）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL
AI总结 本文提出GeoMathCode，通过程序化表示作为中间视觉输出，分析多模态大模型在几何问题中的推理与代码生成，发现推理与代码步骤在潜在空间可解耦，监督微调使推理流形更结构化，且层次化代码结构包含更多数学符号信息。
反图灵测试结果：AI生成图像检测
机构 * Kalyani Government Engineering College（卡利尼政府工程学院） ； University of South Carolina（南卡罗来纳大学） ； IIIT Delhi（德里IIIT） ； BITS Pilani Hyderabad Campus（比斯潘尼 Hyderabad 分校） ； IIIT Guwahati（果阿瓦提IIIT） ； NIT Silchar（西里char 工科院） ； San José State University（桑乔斯州立大学） ； UCLA（加州大学洛杉矶分校） ； Washington State University（华盛顿州立大学） ； Vishwakarma Institute of Information Technology（维斯瓦克arma 信息科技学院） ； Meta AI ； Amazon AI（亚马逊AI） ； BITS Pilani Goa（比斯潘尼 Goa 分校）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 本文通过Defactify 4.0工作坊的反图灵测试竞赛，评估了多种检测方法在区分AI生成图像与真实图像及识别具体生成模型上的性能，发现检测准确率较高但模型识别仍具挑战。
Comments Defactify4 @AAAI 2025
可视化不可见：生成式视觉定位赋能多模态大语言模型的通用脑电图理解
机构 * Shanghai Jiao Tong University（上海交通大学） ； Microsoft Research Asia（微软亚洲研究院）
专题命中 多模态生成 ：MLLM(abstract)；分类 cs.AI
AI总结 提出生成式视觉定位（GVG）框架，通过脑电图到图像的生成模型作为视觉翻译器，为多模态大语言模型提供结构化视觉上下文，以增强非视觉脑电图的理解和临床状态解释。
PathMem: 面向病理学多模态大模型的认知对齐记忆转换
机构 * University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） ； Nanyang Technological University（南洋理工大学） ； Imperial College London（伦敦帝国学院） ； Huazhong University of Science and Technology（华中科技大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI
AI总结 提出PathMem框架，通过长期记忆与工作记忆的动态转换机制，实现结构化病理知识整合与可解释记忆控制，在WSI报告生成和开放诊断任务上达到SOTA。
DriveGen3D: 通过高效视频扩散提升前馈驾驶场景生成
机构 * Zhejiang University（浙江大学） ； GigaAI ； Tsinghua University（清华大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Peking University（北京大学） ； Monash University（墨尔本大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出DriveGen3D框架，结合快速视频扩散Transformer（FastDrive-DiT）和前馈3D重建模块（FastRecon3D），实现高质量、可控的动态3D驾驶场景生成，在长视频和3D一致性上达到最优。
Comments ICME 2026 Oral, Project Page: https://lhmd.top/drivegen3d
4KLSDB：用于4K图像恢复与生成的大规模数据集
机构 * Texas A&M University（德克萨斯A&M大学） ； Hugging Face
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 为解决现有数据集缺乏原生4K分辨率和规模的问题，提出包含129,484张4K图像的大规模数据集4KLSDB，并通过多阶段自动过滤和标注确保质量，实验证明其在超分辨率和扩散模型训练中能显著提升4K基准性能。
Comments Accepted to the DataCV Workshop at CVPR 2026; 10 pages, 4 figures, 7 tables; Our project page is available at: https://4klsdb.github.io/
推理对齐：扩散Transformer在视频编辑中的隐式推理
机构 * The Hongkong University of Science and Technology（香港科技大学） ； Huawei Inc.（华为公司）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 针对指令式视频编辑中条件信号未分化及交叉注意力监督不足的问题，提出RVEDiT框架，通过粒度路由令牌条件和参考锚定注意力对齐实现粗到细编辑与内部推理正则化。
动态神经Koopman蒸馏：基于扩散模型的实时机器人控制
机构 * Department of Electrical and Computer Engineering, National University of Singapore（国立新加坡大学电子与计算机工程系） ； Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电子与计算机工程系） ； Robotics and Autonomous Systems Thrust, The Hong Kong University of Science and Technology（香港科学与技术大学机器人与自主系统方向）
专题命中 多模态生成 ：multimodal(abstract)
AI总结 提出动态神经Koopman蒸馏框架，将多步扩散推理蒸馏为单步前向传递，通过因子化动态Koopman层保留多模态表达能力，在D4RL MuJoCo和物理机器人上实现毫秒级延迟的闭环控制。
Comments 8 pages, 5 figures
基于米勒指数的潜在晶体学断裂面推理与生成：视觉-语言模型方法
机构 * Independent research（独立研究）
专题命中 多模态生成 ：multimodal(abstract)
AI总结 研究多模态大语言模型能否利用米勒指数作为结构化潜在表示来推理断裂几何，实验表明模型在理想条件下可进行潜在推理，并能拒绝不适用物理的表示。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈