多模态大模型

TokaMind: A Multi-Modal Transformer Foundation Model for Tokamak Plasma Dynamics

TokaMind: 用于托卡马克等离子体动力学的多模态Transformer基础模型

Tobia Boschi, Andrea Loreti, Nicola C. Amorisco, Rodrigo H. Ordonez-Hurtado, Cécile Rousseau, George K. Holt, Eszter Székely, Alexander Whittle, Samuel Jackson, Adriano Agnello, Stanislas Pamela, Alessandra Pascale, Robert Akers, Juan Bernabe Moreno, Vassil Alexandrov, Mykhaylo Zayats

机构 * IBM Research（IBM研究院） ； UK Atomic Energy Authority（英国原子能局） ； STFC Hartree Centre（科学与技术设施研究中心哈特ree中心） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 提出TokaMind，首个开源托卡马克等离子体动力学基础模型，基于多模态Transformer在MAST数据集上预训练，支持多种数据模态和缺失信号处理，在14个任务上优于基线。

SlideAgent: Hierarchical Agentic Framework for Multi-Page Visual Document Understanding

SlideAgent：用于多页视觉文档理解的分层代理框架

Yiqiao Jin, Rachneet Kaur, Zhen Zeng, Sumitra Ganesh, Srijan Kumar

机构 * Georgia Institute of Technology（佐治亚理工学院） ； J.P. Morgan AI Research（摩根大通AI研究） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CL

AI总结 提出SlideAgent，一种用于多模态多页文档（如幻灯片）理解的分层代理框架，通过全局、页面和元素三级推理构建结构化表示，在专有和开源模型上分别提升7.9%和9.8%的准确率。

Comments ACL 2026 Main Conference. https://slideagent.github.io/

Attention Consistent Longitudinal Medical Visual Question Answering Guided by Vision Foundation Models

基于视觉基础模型的注意力一致纵向医学视觉问答

Jialin Wu, Qianru Zhang, Georges El Fakhri, Xiaofeng Liu

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Yale Biomedical Imaging Institute（耶鲁大学生物医学成像研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 提出一种注意力引导的编码器-解码器框架，通过轻量级配准和自适应掩码生成，结合辅助损失函数，实现胸部X光片的纵向医学视觉问答，在Medical-Diff-VQA基准上取得优异性能。

Comments Accepted to CVPR 2026 Workshop PHAROS-AIF-MIH

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 6448-6458

Semantic-Structural Alignment for Generative Pictorial Charts

生成式图形图表的语义-结构对齐

Zhida Sun, Yulin Zhang, Zheng Gu, Min Lu, Bongshin Lee, Daniel Cohen-Or, Hui Huang

机构 * Visual Computing Research Center (VCC), College of Computer Science and Software Engineering (CSSE) Shenzhen University China（视觉计算研究中心（VCC）、计算机科学与软件工程学院（CSSE）深圳大学中国） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出一种生成式框架，通过多模态扩散变压器中的结构对齐和语义对齐机制，实现兼具艺术表现力和结构保真度的图形图表自动合成。

Comments 11 pages, 17 figures, Accepted to ACM TOG

SSRLive: Live Streaming Recommendation with Dynamic Semantic ID

SSRLive：基于动态语义ID的直播推荐

Teng Shi, Zhaoheng Li, Yuanhang Qu, Yi Liu, Lixiang Lai, Yuning Jiang

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对直播推荐中静态语义ID无法反映内容动态变化、生成式方法忽略用户-主播交互信号的问题，提出SSRLive框架，结合生成模块（动态语义ID）与判别模块（交互增强），在真实部署中显著提升观看时长、GMV等指标。

NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

NoisyGRPO：通过噪声注入和贝叶斯估计激励多模态Co T推理

Longtian Qiu, Shan Ning, Jiaxuan Sun, Xuming He

机构 * ShanghaiTech University（上海科技大学） ； Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心） ； Lingang Laboratory（临港实验室） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 NoisyGRPO通过引入可控噪声增强探索并利用贝叶斯框架建模优势估计，提升多模态大语言模型的泛化能力和鲁棒性，尤其在小规模模型上表现突出。

Comments Accepted by Neurips 2025, Project page is available at https://artanic30.github.io/project_pages/NoisyGRPO/

Journal ref Advances in Neural Information Processing Systems 38 (2026) 124239-124267

Latent-space Attacks for Refusal Evasion in Language Models

潜在空间攻击用于语言模型的拒绝规避

Giorgio Piras, Raffaele Mura, Fabio Brau, Maura Pintor, Luca Oneto, Fabio Roli, Battista Biggio

机构 * University of Cagliari（卡利亚里大学） ； University of Genova（热那亚大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文研究了如何通过潜在空间攻击来规避语言模型的拒绝行为，提出了一种受控的潜在空间攻击方法，以提高攻击成功率，优于现有方法。

Even More Guarantees for Variational Inference in the Presence of Symmetries

变分推断在对称性存在下的更多保证

Lena Zellinger, Antonio Vergari

机构 * School of Informatics（信息学院） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 本文扩展了变分推断在目标对称性下的鲁棒性理论，证明了使用前向KL散度和α-散度时，即使模型误设也能精确恢复目标均值和相关矩阵，并放宽了对数凹假设，适用于多模态分布。

Comments Accepted for presentation at the OPTIMAL Workshop at AISTATS 2026