多模态大模型

Design-MLLM: A Reinforcement Alignment Framework for Verifiable and Aesthetic Interior Design

Design-MLLM：一种用于可验证且美观的室内设计的强化对齐框架

Yuxuan Yang, Xiaotong Mao, Jingyao Wang

机构 * National Jiangsu University of Finance（江苏财经大学） ； University of Lorraine（洛林大学） ； Institute of Electronics and Information Technology, Chinese Academy of Sciences（中国科学院电子信息技术研究所） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.MM

AI总结 提出Design-MLLM框架，通过双分支美学导向奖励的强化对齐，解决室内设计中空间可行性硬约束与美学偏好软约束的矛盾，生成既可行又美观的设计。

Seeing Before Reasoning: Decoupling Perception and Reasoning for Shortcut-Resilient Multimodal On-Policy Self-Distillation

先看后思：解耦感知与推理以实现抗捷径的多模态在策略自蒸馏

Sihan Wang, Xiyao Liu, Lianqing Liu, Zhi Han

机构 * State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人与智能系统国家重点实验室，沈阳自动化研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV

AI总结 提出ViGOS框架，通过解耦感知和推理，在MLLM后训练中避免文本捷径，提升图像依赖行为。

Comments 29 pages, 5 figures, 8 tables; Project page: https://oedosoldier.github.io/ViGOS/

MAGNIFIED: RL Fine-tuning of Multimodal Large Language Models for Motion Planning

MAGNIFIED: 多模态大语言模型的强化学习微调用于运动规划

Letian Chen, Yiren Lu, Justin Fu, Yichen Xie, Runsheng Xu, Jyh-Jing Hwang, Ben Sapp, Drago Anguelov

机构 * Waymo LLC（Waymo有限责任公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；MLLM(abstract,abstract_cn)；multi-modal(abstract)；分类 cs.AI

AI总结 提出MAGNIFIED方法，通过强化学习微调多模态大语言模型，利用令牌级奖励优化规划目标，在Waymo数据集上显著降低重叠率和偏离道路率。

Journal ref ICRA 2026

Morphology-Aware Multimodal Representation Learning for Insect Phylogenetic Reconstruction

形态感知的多模态表示学习用于昆虫系统发育重建

Zixuan Liu, Kaijie Yu, Chun He, Xiaoxu Cai, Xinhai Ye, Haishuai Wang, Gongyin Ye, Jiajun Bu

机构 * Rural Development Academy, Zhejiang University（浙江大学农村发展学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出形态感知多模态对齐框架，结合标本图像与形态描述，通过视觉Transformer微调和对比学习对齐图像-文本，学习连续性状用于贝叶斯系统发育重建，在Rove-Tree-11数据集上提升拓扑一致性。

Comments 7 pages, 5 figures, and 2 tables

Synergistic Dual-Branch Adaptation for Multi-modal Generalized Category Discovery

协同双分支自适应多模态广义类别发现

Yuxun Qu, Minyu Zhou, Yongqiang Tang, Chenyang Zhang, Wensheng Zhang

机构 * College of Computer Science, Nankai University（南开大学计算机学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出协同双分支自适应框架，通过跨模态协同适配器和邻域互学习模块，增强多模态广义类别发现中的细粒度关系监督，在六个基准上取得最优性能。

MindAlign: Decoding Inner Speech from fMRI Signals via Multimodal Embedding Alignment under Limited Data

MindAlign: 在有限数据下通过多模态嵌入对齐从fMRI信号解码内心语言

Muxuan Liu, Ichiro Kobayashi, Satoshi Nishida

机构 * Graduate School of Humanities and Sciences Ochanomizu University（大仓山大学人文科学研究生院） ； Center for Information and Neural Networks Advanced ICT Research Institute National Institute of Information and Communications Technology（信息与神经网络中心先进信息通信研究机构信息通信技术研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 提出MindAlign两阶段框架，通过神经-语义对齐将fMRI信号映射到多模态语义空间，再结合视觉上下文冻结多模态语言模型生成文本，在静默图像描述数据上优于基线，且语义-语言投影可跨被试泛化。

Comments Preprint. Under review

An approach with Visual and Tabular Mamba to multimodal medical data using Mixed Fusion

一种基于视觉和表格Mamba的混合融合多模态医疗数据方法

Matheus B. Rocha, Gustavo B. Dettogni, Renato A. Krohling

机构 * Labcin - Nature Inspired Computing Lab, Federal University of Esp\'irito Santo, Vit\'oria, Brazil PPGI - Graduate Program in Computer Science, Federal University of Esp\'irito Santo, Vit\'oria, Brazil 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出基于Mamba架构的混合融合方法，通过视觉和表格两种Mamba变体处理图像与临床数据，在癌症分类中实现可解释性，在NDB-UFES数据集上表现优于Transformer。

Comments 15 pages. accepted to 36th Brazilian Conference on Intelligent Systems

AgroSense 2.0: Cross-Modal Transformer Fusion with Geospatial Raster Integration and Interpretable Multi-Task Learning for Precision Crop Recommendation

AgroSense 2.0：基于跨模态Transformer融合、地理空间栅格集成与可解释多任务学习的精准作物推荐

Vishal Pandey, Rishav Tewari, Ruzina Haque Laskar

机构 * Research Engineer London, UK（英国伦敦研究工程师） ； Independent Researcher Kolkata, IN（印度加尔各答独立研究员） ； Centre for Development of Telematics（电信发展中心） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出AgroSense 2.0，通过跨模态Transformer融合、地理空间栅格集成和多任务学习，解决精准农业中作物推荐系统的模态鸿沟问题，实现可解释的作物推荐。

Comments 14 Pages, 3 pages

scLLM-DSC: LLM-Knowledge Enhanced Cross-Modal Deep Structural Clustering for Single-Cell RNA Sequencing

scLLM-DSC：基于LLM知识增强的跨模态深度结构聚类用于单细胞RNA测序

Ping Xu, Pengjiang Li, Tian Du, Zaitian Wang, Jiawei Gu, Zhiyuan Ning, Ziyue Qiao, Pengfei Wang, Yuanchun Zhou

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； University of Chinese Academy of Sciences（中国科学院大学） ； Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） ； School of Computing and Information Technology, Great Bay University（大湾区大学计算机科学与技术学院） ； School of Engineering, Westlake University（西湖大学工学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.AI

AI总结 提出scLLM-DSC框架，通过知识驱动语义视图与结构感知拓扑视图的跨模态对比对齐，利用LLM增强单细胞RNA测序数据的聚类性能，显著优于现有方法。

BioMatrix: Towards a Comprehensive Biological Foundation Model Spanning the Modality Matrix of Sequences, Structures, and Language

BioMatrix：迈向覆盖序列、结构和语言模态矩阵的综合性生物基础模型

Qizhi Pei, Zhimeng Zhou, Yi Duan, Yiyang Zhao, Wei Li, Han Guo, Liang He, Chengping Li, Chang-Yu Hsieh, Conghui He, Rui Yan, Lijun Wu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； OpenDataLab, Shanghai Artificial Intelligence Laboratory（上海人工智能实验室 OpenDataLab） ； Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； East China Normal University（华东师范大学） ； Zhongguancun Academy（中关村学院） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 提出首个原生多模态生物基础模型BioMatrix，通过统一分词方案将分子序列、结构、蛋白质序列、结构和自然语言映射到共享离散标记空间，在单一解码器架构下实现所有模态的统一生成，在80项任务中77项达到最优或竞争力水平。

Evidential Fusion Network for Multimodal Survival Prediction under Missing Modalities

缺失模态下的多模态生存预测证据融合网络

Yucheng Xing, Hailan Mo, Zi Wang, Ling Huang, Mengling Feng

机构 * National University of Singapore（新加坡国立大学） ； Imperial College London（帝国理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出EMMS模型，利用Dempster-Shafer理论和高斯随机模糊数融合多模态决策，处理缺失模态下的生存预测，无需生成缺失数据，在四个癌症数据集上达到最优性能并提供校准的不确定性估计。

Skeleton-to-Image Encoding: Enabling Skeleton Representation Learning via Vision-Pretrained Models

骨架到图像编码：通过视觉预训练模型实现骨架表示学习

Siyuan Yang, Jun Liu, Hao Cheng, Chong Wang, Shijian Lu, Hedvig Kjellstrom, Weisi Lin, Alex C. Kot

机构 * KTH Royal Institute of Technology（皇家理工学院） ； Lancaster University（兰卡斯特大学） ； Hebei University of Technology（河北工业大学） ； Nanyang Technological University（南洋理工大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） ； VinUniversity（文大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出S2I编码，将骨架序列转换为图像状数据，首次利用视觉预训练模型进行自监督骨架表示学习，统一异构骨架格式，在多个数据集上验证了有效性。

Comments Submitted to IJCV, under review

Sensor-Stack Limits on Contactless In-Bed Body Position: A 20-Subject Multimodal Radar + Thermal LOSO Characterization

传感器堆栈对非接触式床上身体位置的限制：20名受试者多模态雷达+热成像LOSO表征

Dovy Paukstys

专题命中 多模态训练与对齐 ：multimodal(title)

AI总结 通过20名受试者的多模态雷达与热成像数据，研究非接触式床上体位推断的传感器表示限制，发现融合雷达与热成像的Logistic回归在床内/外分类中达到0.871中位平衡准确率，但俯卧检测性能不足（召回率0.50，精确率0.41），指出原始距离-FFT访问是下一步硬件实验方向。

Comments 11 pages, 3 figures, 6 tables

PiMiX 2.0: AI-enhanced Data Fusion for Radiographic Imaging and Tomography

PiMiX 2.0: 人工智能增强的放射成像与断层扫描数据融合

Zhehui Wang, Shanny Lin, Nicholas Amano, Susan S. Glenn, Ramya Gurunathan, Katie Liu, Nathan E. Peterson, Michelle A. Espy, Adam Thompson, Amy J. Clarke, Ray T. Chen

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)

AI总结 提出AI增强的数据融合框架PiMiX 2.0，集成多实验多模态放射成像与断层扫描，支持自动数据摄取、3D/4D重建及物理感知解释，加速数据处理并提升可重复性。

Comments 9 pages, 4 figures, 1 table. Work presented in the 26th Topical Conference on High Temperature Plasma Diagnostics Conference, Cambridge, MA, USA (June 7 - 11, 2026)

Attention at Rest Stays at Rest: Breaking Visual Inertia for Cognitive Hallucination Mitigation

静止的注意力保持静止：打破视觉惯性以缓解认知幻觉

Boyang Gong, Yu Zheng, Fanye Kong, Jie Zhou, Jiwen Lu

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出惯性感知视觉激发（IVE）方法，通过建模视觉注意力的动态响应性，打破多模态大模型中的视觉惯性，从而缓解需要对象间关系推理的认知幻觉。

Cohort-Anchored Foundation Models for Electronic Health Records: From Risk Scores to Auditable Peer Cohorts

基于队列锚定的电子健康记录基础模型：从风险评分到可审计的同行队列

Kaiping Zheng

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出CAFM框架，将患者队列作为一等对象融入学习流程，通过四个阶段提升数据质量、组织表示并支持可审计决策，以解决基础模型在临床部署中的可解释性、分布偏移和临床对齐问题。

On the Limits of Prompt-Conditioned Language Models as General-Purpose Learners

关于提示条件语言模型作为通用学习器的局限性

David Mguni, Julian Ma, Jun Wang

机构 * Queen Mary University London（伦敦玛丽女王大学） ； University College London（伦敦大学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文通过廉价谈话博弈模型分析提示条件语言模型，证明语言作为容量受限通道导致任务不可区分性，并因对齐约束产生不可约误差，从而否定其通过提示实现通用问题求解的能力。

$Ω$: Operator-based Mixture Ensemble for Generative Assimilation

$Ω$: 基于算子的混合集成生成同化

Pouria Behnoudfar, Nan Chen

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对高维非线性系统中非高斯后验分布难以刻画的问题，提出Ω框架，融合条件高斯代理、无监督分数学习和生成采样，无需真实后验样本即可高效重构后验分布。

SeekRBP: Leveraging Sequence-Structure Integration with Reinforcement Learning for Receptor-Binding Protein Identification

SeekRBP: 利用强化学习整合序列-结构信息识别受体结合蛋白

Xiling Luo, Le Ou-Yang, Yang Shen, Jiaojiao Guan, Dehan Cai, Jun Zhang, Guoliang Xing, Yanni Sun, Jiayu Shang

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 提出SeekRBP框架，通过多臂老虎机策略动态采样难负例，融合蛋白质语言与结构嵌入，有效识别序列差异大的受体结合蛋白，在噬菌体宿主预测中表现优异。

Comments 7 pages, 5 figures

ECGFlowCMR: Pretraining with ECG-Generated Cine CMR Helps Cardiac Disease Classification and Phenotype Prediction

ECGFlowCMR: 利用心电图生成电影心脏磁共振的预训练助力心脏病分类和表型预测

Xiaocheng Fang, Zhengyao Ding, Guangkun Nie, Jieyi Cai, Yujie Xiao, Bo Liu, Jiarui Jin, Haoyu Wang, Shun Huang, Ting Chen, Hongyan Li, Shenda Hong

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； Polytechnic Institute of Zhejiang University, Zhejiang University（浙江大学 polytechnic 院） ； Institute of Computing Technology, University of the Chinese Academy of Sciences（中国科学院计算技术研究所） ； National Institute of Health Data Science, Peking University（北京大学健康数据科学国家研究院） ； Institute of Microelectronics, University of the Chinese Academy of Sciences（中国科学院微电子研究所） ； Department of Cardiology, Zhejiang University（浙江大学心内科部） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)

AI总结 提出ECGFlowCMR框架，通过相位感知掩码自编码器和解剖运动解耦流解决ECG与CMR的跨模态时序错配和解剖可观测性差距，生成逼真电影CMR序列，提升下游心脏病分类和表型预测性能。

Comments Accepted to KDD 2026