多模态大模型

MIMIC: A Generative Multimodal Foundation Model for Biomolecules

MIMIC：一种生成式多模态基础模型用于生物分子

Siavash Golkar, Jake Kovalic, Irina Espejo Morales, Samuel Sledzieski, Minhuan Li, Ksenia Sokolova, Geraud Krawezik, Alberto Bietti, Claudia Skok Gibbs, Roman Klypa, Shengwei Xiong, Francois Lanusse, Liam Parker, Kyunghyun Cho, Miles Cranmer, Tom Hehir, Michael McCabe, Lucas Meyer, Rudy Morel, Payel Mukhopadhyay, Mariel Pettee, Helen Qu, Jeff Shen, David Fouhey, Hadi Sotoudeh, Vikram Mulligan, Pilar Cossio, Sonya M. Hanson, Alisha N. Jones, Olga G. Troyanskaya, Shirley Ho

机构 * Polymathic AI Center for Data Science, New York University（多学科人工智能数据科学中心，纽约大学） ； Polymathic AI Department of Applied Physics, Yale University（多学科人工智能应用物理系，耶鲁大学） ； Center for Computational Mathematics, Flatiron Institute（计算数学中心，Flatiron研究所） ； Center for Computational Biology, Flatiron Institute（计算生物学中心，Flatiron研究所） ； Princeton Precision Health, Princeton University（普林斯顿精准健康，普林斯顿大学） ； Department of Chemistry, New York University（化学系，纽约大学） ； Department of Computer Science, Princeton University（计算机科学系，普林斯顿大学） ； Lewis-Sigler Institute for Integrative Genomics, Princeton University（刘易斯-西格尔整合基因组学研究所，普林斯顿大学） ； Center for Computational Astrophysics, Flatiron Institute（计算天文学中心，Flatiron研究所） ； Department of Astrophysical Sciences, Princeton University（天体物理科学系，普林斯顿大学） ； Department of Physics, New York University（物理学系，纽约大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.AI

AI总结 MIMIC通过多模态生成模型统一生物分子的表示学习、条件预测和受限设计，实现对RNA和蛋白质的先进预测与设计。

Beyond Cross-Modal Alignment: Measuring and Leveraging Modality Gap in Vision-Language Models

超越跨模态对齐：测量和利用模态差距在视觉-语言模型中

Hanqi Yan, Xiangxiang Cui, Lu Yin, Jindong Gu, Paul Pu Liang, Yulan He, Yifei Wang

机构 * King’s College London（伦敦国王学院） ； University of Surrey（萨里大学） ； University of Oxford（牛津大学） ； MIT CSAIL（麻省理工学院CSAIL实验室） ； The Alan Turing Institute（阿兰·图灵研究院） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过测量和利用模态差距改进视觉-语言模型的下游任务，引入模态主导分数和自动可解释性度量，实现轻量级编辑和系统分析。

Comments accepted by ACL26-findings

CineAGI: Character-Consistent Movie Creation through LLM-Orchestrated Multi-Modal Generation and Cross-Scene Integration

CineAGI：通过LLM协同多模态生成与跨场景整合实现角色一致的电影创作

Tianyidan Xie, Zhentao Huang, Mingjie Wang, Xin Huang, Jun Zhou, Minglun Gong, Zili Yi

专题命中 多模态生成 ：multi-modal(title)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.MM

AI总结 CineAGI通过多代理叙事合成模块、角色中心流水线和分层音视频同步机制，提升电影创作的一致性和质量，实现40%的整体一致性提升。

Comments Accepted to ICME 2026

Identity-Decoupled Anonymization for Visual Evidence in Multi-modal Retrieval-Augmented Generation

多模态检索增强生成中视觉证据的身份解耦匿名化

Zehua Cheng, Wei Dai, Jiahao Sun

机构 * Department of Computer Science University of Oxford, UK 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出身份解耦MRAG框架，通过在检索与生成之间插入生成匿名化模块，解耦人脸身份与属性，利用生成对抗网络和拒绝采样器实现隐私保护。

Comments ACM International Conference on Multimedia Retrieval 2026

Animalbooth: multimodal feature enhancement for animal subject personalization

Animalbooth：多模态特征增强用于动物主体个性化

Chen Liu, Haitao Wu, Kafeng Wang, Weiran Huang

机构 * College of Intelligence and Computing（智能与计算学院） ； Department of Computer Science and Technology（计算机科学与技术系） ； School of Computer Science（计算机科学学院） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 针对动物图像生成中丰富的外观线索和形态多样性带来的挑战，AnimalBooth通过Animal Net和自适应注意力模块增强身份保持，结合频域控制特征整合模块提升扩散过程的全局结构到细节纹理的逐步生成，同时构建AnimalBench数据集验证了其在多个基准上的优越性能。

Meta-CoT: Enhancing Granularity and Generalization in Image Editing

Meta-CoT：提升图像编辑的粒度与泛化能力

Shiyi Zhang, Yiji Cheng, Tiankai Hang, Zijin Yin, Runze He, Yu Xu, Wenxun Dai, Yunlong Lin, Chunyu Wang, Qinglin Lu, Yansong Tang

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Hunyuan, Tencent（腾讯 Hunyuan） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 Meta-CoT通过双重分解提升图像编辑的粒度和泛化能力，通过任务-目标-理解能力三元组分解和五元基本元任务训练策略，显著提高编辑性能。

Comments Accepted by CVPR2026, Project Page: https://shiyi-zh0408.github.io/projectpages/Meta-CoT/

ANCHOR: LLM-driven Subject Conditioning for Text-to-Image Synthesis

ANCHOR：基于大语言模型的文本到图像合成中的主体条件化

Aashish Anantha Ramakrishnan, Sharon X. Huang, Dongwon Lee

机构 * Optum AI ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV、cs.CL、cs.MM

AI总结 ANCHOR通过大规模抽象式标题数据集研究文本到图像合成中多主体理解与上下文推理的缺陷，提出基于大语言模型的主体感知微调方法，提升图像-标题一致性与人类偏好对齐。

Comments Accepted to The 64th Annual Meeting of the Association for Computational Linguistics (ACL) 2026

Aligned Multi-View Scripts for Universal Chart-to-Code Generation

对齐的多视图脚本用于通用图表到代码生成

Zhihan Zhang, Lizi Liao

机构 * School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算机与信息学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Chart2NCode数据集和CharLuMA模型，通过多语言监督提升图表到代码生成的可执行性和视觉一致性，优于开源基线并具备竞争力。

Comments Accepted to ACL 2026 Main Conference

CA-IDD: Cross-Attention Guided Identity-Conditional Diffusion for Identity-Consistent Face Swapping

CA-IDD：跨注意力引导的身份条件扩散用于身份一致的面部交换

Md Shohel Rana, Tanoy Debnath

机构 * School of Computing（计算学院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出CA-IDD，一种基于扩散的面部交换方法，通过多尺度交叉注意力整合 gaze、身份和面部解析，提升身份一致性和视觉真实性，实现稳定训练和精细区域控制。

Geometry-Conditioned Diffusion for Occlusion-Robust In-Bed Pose Estimation

基于几何条件的扩散模型用于抗遮挡的卧床姿态估计

Navid Aslankhani Khameneh, Marco Carletti, Cigdem Beyan

机构 * Department of Computer Science, University of Verona（威尼斯大学计算机科学系） ； EVS - Embedded Vision Systems Srl（嵌入式视觉系统股份有限公司） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出基于几何条件的扩散模型，解决卧床姿态估计中遮挡问题，通过生成模型直接从骨骼关键点生成遮挡图像，提升遮挡鲁棒性。

Comments This is the preprint version of the paper. The final version has been accepted for publication in the Proceedings of the 20th IEEE International Conference on Automatic Face and Gesture Recognition (IEEE FG 2026)

CLIN-LLM: A Safety-Constrained Hybrid Framework for Clinical Diagnosis and Treatment Generation

CLIN-LLM：一种安全约束的混合框架，用于临床诊断和治疗生成

Md. Mehedi Hasan, Md. Abir Hossain, Farman Hossain Sayem, Bikash Kumar Paul, Ziaur Rahman, Mohammad Shorif Uddin, Rafid Mostafiz

机构 * Department of Information and Communication Technology（信息与通信技术系） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 CLIN-LLM通过整合多模态患者编码、不确定性校准的疾病分类和检索增强的治疗生成，提高了临床诊断和治疗建议的准确性与安全性，取得了98%的准确率和F1分数，优于ClinicalBERT。

Comments 13 pages, 9 figures. Preprint version under review in the area of Artificial Intelligence (cs.CR)

Tube Diffusion Policy: Reactive Visual-Tactile Policy Learning for Contact-rich Manipulation

管扩散策略：面向富接触操作的反应式视觉-触觉策略学习

Teng Xue, Alberto Rigo, Bingjian Huang, Jiayi Shen, Zhengtong Xu, Nick Colonnese, Amirhossein H. Memar

机构 * Meta Reality Labs Research（Meta现实实验室） ； Idiap Research Institute（Idiap研究机构） ； École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院） ； University of Toronto（多伦多大学） ； Purdue University（普渡大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 本文提出Tube Diffusion Policy，通过结合扩散模型与管反馈控制，解决富接触操作中对不确定性和高频触觉反馈的快速反应需求，实验验证其在多种任务中的优越性能。

Physics-Aware LLM-Based Probabilistic Wind Power Scenario Generation under Extreme Icing Conditions

基于物理的LLM风力发电场景生成方法：极端覆冰条件下的概率建模

Lei Wang, Ying Zhang, Di Shi, Fei Ding

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文提出一种基于物理的LLM框架，用于在极端覆冰条件下生成风力发电场景，结合SCADA物理建模、多模态分词和因果Transformer架构，有效约束功率和爬坡限制，提升可再生能源电力系统的韧性评估。

Comments 5 pages, 3 figures, 3 tables. Accepted by the 2026 IEEE Power & Energy Society General Meeting

Variational Grey-Box Dynamics Matching

变分灰盒动力学匹配

Gurjeet Sangra Singh, Frantzeska Lavda, Giangiacomo Mercatali, Alexandros Kalousis

机构 * University of Geneva（日内瓦大学） ； HES-SO Geneva（日内瓦HES-SO） 纠错

专题命中 多模态生成 ：multi-modal(abstract)

AI总结 本文提出一种灰盒方法，将不完整物理模型直接整合到生成模型中，通过变分分布学习动态，无需真实物理参数，在无模拟环境下实现可解释性与性能的平衡。

Comments AISTATS 2026. Code is available at https://github.com/DMML-Geneva/VGB-DM