AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
MoDA: 面向指令型多模态大语言模型的细粒度视觉定位的调制适配器
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 提出MoDA调制适配器，通过指令引导的通道级乘法调制增强细粒度视觉定位，在12个基准上对三种MLLM架构取得一致提升，计算开销极小。
Comments Accepted at ICML 2026. Code is available at https://github.com/waybarrios/MoDA
模态间隙驱动的子空间对齐训练范式用于多模态大语言模型
机构 * HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； sh AILab ； SII ； Stanford（斯坦福大学） ； UCLA（加州大学洛杉矶分校） ； Yale（耶鲁大学） ； SJTU（上海交通大学） ； GBU（国防大学） ； PKU（北京大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 针对多模态对比学习中的模态间隙问题，提出固定帧模态间隙理论，并基于该理论设计无训练的对齐策略ReAlign和可扩展训练范式ReVision，利用无配对数据实现视觉与语言表示的高效对齐。
教方法而非答案：用于多模态策略优化的特权辅导蒸馏
机构 * Tianjin University（天津大学） ； Beijing Institute of Technology（北京理工大学） ； Singapore Management University（新加坡国立大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Xiaomi Inc（小米公司）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出PTD-PO框架，通过构建特权提示提供密集的令牌级监督，避免暴露答案，并采用Top-K JS散度稳定蒸馏，显著提升多模态推理性能。
Multi-FRuGaL：面向癌症诊断与预后的多模态灵活冗余感知分解门控学习
机构 * Division of Computational Pathology, Department of Pathology and Laboratory Medicine, Indiana University School of Medicine（计算病理学部，病理学与实验室医学部，印第安纳大学医学院） ； IU Melvin and Bren Simon Comprehensive Cancer Center（印第安纳大学Melvin和Bren Simon综合癌症中心） ； Departments of Biostatistics and Health Data Science（生物统计学与健康数据科学部） ； Radiology and Imaging Sciences（放射学与影像科学部） ； Neurological Surgery（神经外科） ； Indiana University School of Medicine（印第安纳大学医学院） ； Department of Computer Science, Luddy School of Informatics, Computing, and Engineering（计算机科学部，Luddy信息、计算与工程学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出Multi-FRuGaL框架，通过分解感知自适应门控中间融合，在缺失模态下学习模态级表示，分离冗余与互补信号，提升癌症诊断与预后性能。
MACS: 模态感知容量缩放用于高效多模态MoE推理
机构 * School of Software, Tsinghua University, Beijing, China（清华大学软件学院，北京，中国） ； TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院，中国） ； School of New Media and Communication, Tianjin University, China（天津大学新媒体与传播学院，中国）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
AI总结 针对多模态MoE大模型在专家并行推理中因信息异质性和模态动态性导致的效率瓶颈，提出无需训练的MACS框架，通过熵加权负载和动态模态自适应容量机制优化资源分配，显著提升多模态基准性能。
Comments Accepted by ACL 2026
TokaMind: 用于托卡马克等离子体动力学的多模态Transformer基础模型
机构 * IBM Research（IBM研究院） ； UK Atomic Energy Authority（英国原子能局） ； STFC Hartree Centre（科学与技术设施研究中心哈特ree中心）
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI
AI总结 提出TokaMind，首个开源托卡马克等离子体动力学基础模型，基于多模态Transformer在MAST数据集上预训练，支持多种数据模态和缺失信号处理，在14个任务上优于基线。
SlideAgent：用于多页视觉文档理解的分层代理框架
机构 * Georgia Institute of Technology（佐治亚理工学院） ； J.P. Morgan AI Research（摩根大通AI研究）
专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CL
AI总结 提出SlideAgent，一种用于多模态多页文档（如幻灯片）理解的分层代理框架，通过全局、页面和元素三级推理构建结构化表示，在专有和开源模型上分别提升7.9%和9.8%的准确率。
Comments ACL 2026 Main Conference. https://slideagent.github.io/
基于视觉基础模型的注意力一致纵向医学视觉问答
机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Yale Biomedical Imaging Institute（耶鲁大学生物医学成像研究所）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI
AI总结 提出一种注意力引导的编码器-解码器框架，通过轻量级配准和自适应掩码生成，结合辅助损失函数，实现胸部X光片的纵向医学视觉问答，在Medical-Diff-VQA基准上取得优异性能。
Comments Accepted to CVPR 2026 Workshop PHAROS-AIF-MIH
Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 6448-6458
生成式图形图表的语义-结构对齐
机构 * Visual Computing Research Center (VCC), College of Computer Science and Software Engineering (CSSE) Shenzhen University China（视觉计算研究中心（VCC）、计算机科学与软件工程学院（CSSE）深圳大学中国）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出一种生成式框架，通过多模态扩散变压器中的结构对齐和语义对齐机制，实现兼具艺术表现力和结构保真度的图形图表自动合成。
Comments 11 pages, 17 figures, Accepted to ACM TOG
SSRLive：基于动态语义ID的直播推荐
专题命中 多模态训练与对齐 ：multimodal(abstract)
AI总结 针对直播推荐中静态语义ID无法反映内容动态变化、生成式方法忽略用户-主播交互信号的问题，提出SSRLive框架，结合生成模块（动态语义ID）与判别模块（交互增强），在真实部署中显著提升观看时长、GMV等指标。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈