多模态大模型

ChatSR: Multimodal Large Language Models for Scientific Formula Discovery

ChatSR：用于科学公式发现的多模态大语言模型

Yanjie Li, Lina Yu, Weijun Li, Min Wu, Liping Zhang, Jingyi Liu, Yusong Deng, Mingzhu Wan, Xin Ning

机构 * AnnLab, Institute of Semiconductors, Chinese Academy of Sciences, Beijing, China（安 lab，半导体研究所，中国科学院，北京，中国） ； School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing, China（电子、电气与通信工程学院，中国科学院大学，北京，中国） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing 101408, China（先进交叉科学学院，中国科学院大学，北京101408，中国） ； College of Materials Science and Opto-Electronic Technology, University of Chinese Academy of Sciences, Beijing, 100049, China（材料科学与光电技术学院，中国科学院大学，北京100049，中国） ； School of Integrated Circuits, University of Chinese Academy of Sciences, Beijing 100049, China（集成电路学院，中国科学院大学，北京100049，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 ChatSR通过设计专用编码器和模态对齐机制，将科学数据映射到可被大语言模型处理的表示空间，从而生成符合领域先验的数学公式，推动科学发现自动化。

Comments 14 pages,

MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image

MulTaBench: 基于文本和图像的多模态表格学习基准测试

Alan Arazi, Eilam Shapira, Shoham Grunblat, Mor Ventura, Elad Hoffer, Gioia Blayer, David Holzmüller, Lennart Purucker, Gaël Varoquaux, Frank Hutter, Roi Reichart

机构 * Technion – Israel Institute of Technology（技术ion – 以色列理工学院） ； Prior Labs（Prior实验室） ； NVIDIA ； SODA Team, INRIA Saclay, Palaiseau（SODA团队，INRIA萨克莱，帕莱索） ； University of Freiburg（弗赖堡大学） ； Probabl ； ELLIS Institute Tübingen（图宾根ELLIS研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 MulTaBench通过40个数据集评估多模态表格学习，强调任务特定的表示学习，展示目标感知表示在文本和图像模态中的泛化能力。

Simultaneous Long-tailed Recognition and Multi-modal Fusion for Highly Imbalanced Multi-modal Data

多模态数据中长尾识别与多模态融合的联合处理

Heegeon Yoon, Heeyoung Kim

机构 * Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology (KAIST)（工业与系统工程系，韩国科学技术院（KAIST）） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种处理长尾分布多模态数据的新框架，通过融合异质数据并利用模态特定网络增强信息，提升在长尾类不平衡场景下的性能。

MTA-RL: Robust Urban Driving via Multi-modal Transformer-based 3D Affordances and Reinforcement Learning

MTA-RL：通过多模态Transformer-based 3D affordances和强化学习实现鲁棒的城市驾驶

Guangli Chen, Dianzhao Li, Wenjian Zhong, Bangquan Xie, Ostap Okhrin

机构 * Dongguan Key Laboratory of Intelligent Equipment and Smart Industry, School of Advanced Engineering, Great Bay University（东莞智能装备与智能制造重点实验室，先进工程学院，大湾大学） ； Chair of Applied Statistics, Technische Universität Dresden（应用统计学教授职位，德累斯顿技术大学） ； Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据解析与人工智能中心（ScaDS.AI）） ； College of Automation, Guangdong University of Technology（自动化学院，广东技术大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MTA-RL框架，通过多模态Transformer-based 3D affordances和强化学习实现可靠的城市自动驾驶，提升样本效率和稳定性，优于现有基线方法。

Reinforcing Multimodal Reasoning Against Visual Degradation

增强多模态推理以对抗视觉退化

Rui Liu, Dian Yu, Haolin Liu, Yucheng Shi, Tong Zheng, Runpeng Dai, Haitao Mi, Pratap Tokekar, Leoweiliang

机构 * Tencent Hunyuan（腾讯文言） ； University of Maryland, College Park（马里兰大学 College Park 分校） ； University of Virginia（弗吉尼亚大学） ； University of North Carolina, Chapel Hill（北卡罗来纳大学 Chapel Hill 分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出ROMA框架，通过优化动态增强多模态大语言模型对视觉退化的鲁棒性，提升在多种基准测试中的表现。

Overcoming Multi-step Complexity in Multimodal Theory-of-Mind Reasoning: A Scalable Bayesian Planner

克服多步复杂性以实现多模态理论思维推理：一种可扩展的贝叶斯规划器

Chunhui Zhang, Zhongyu Ouyang, Kwonjoon Lee, Nakul Agarwal, Sean Dae Houlihan, Soroush Vosoughi, Shao-Yuan Lo

机构 * Dartmouth College（达特茅斯学院） ； Honda Research Institute USA（本田美国研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种可扩展的贝叶斯理论思维规划器，通过分步贝叶斯更新分解理论思维推理，利用弱到强控制使小语言模型专精于理论思维似然估计，并将其推理行为转移给大语言模型，从而在多模态理论思维基准测试中实现4.6%的准确率提升。

Comments Accepted as a Spotlight at the 2025 Forty-Second International Conference on Machine Learning (ICML 2025)

Tiny but Mighty: A Software-Hardware Co-Design Approach for Efficient Multimodal Inference on Battery-Powered Small Devices

小巧但强大：一种软件硬件协同设计方法，用于电池供电小型设备上的高效多模态推理

Yilong Li, Shuai Zhang, Yijing Zeng, Hao Zhang, Xinmiao Xiong, Jingyu Liu, Pan Hu, Suman Banerjee

机构 * University of Wisconsin – Madison（威斯康星大学麦迪逊分校） ； Amazon Web Services AI（亚马逊网络服务人工智能） ； Uber（优步） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Nanomind框架，通过将多模态模型分解为模块化组件并分配到最佳计算单元，从而降低能耗并提升效率。

Star-Fusion: A Multi-modal Transformer Architecture for Discrete Celestial Orientation via Spherical Topology

星融合：一种多模态变换器架构，通过球面拓扑实现离散天体定向

May Hammad, Menatallh Hammad

机构 * Department of Aerospace Informatics, Julius-Maximilians-Universität Würzburg（航空航天信息学系，乌尔姆-马克斯-普朗克大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Star-Fusion架构，通过球面拓扑分类解决天体定向问题，采用球面K-means聚类和多模态融合策略，实现高精度和高效定位。

Multimodal Neural Operators for Real-Time Biomechanical Modelling of Traumatic Brain Injury

多模态神经算子用于创伤性脑损伤的实时生物力学建模

Anusha Agarwal, Dibakar Roy Sarkar, Somdatta Goswami

机构 * Johns Hopkins Whiting School of Engineering（约翰霍普金斯大学惠廷工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出多模态神经算子架构用于创伤性脑损伤的生物力学建模，通过融合体积解剖影像、人口特征和采集参数，预测全字段脑位移，验证了DeepONet在准确性、速度和参数量上的优势。

Structured Visual Narratives Undermine Safety Alignment in Multimodal Large Language Models

结构化视觉叙事削弱多模态大语言模型的安全对齐

Rui Yang Tan, Yujia Hu, Roy Ka-Wei Lee

机构 * Singapore University of Technology and Design（新加坡技术与设计大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

AI总结 研究发现结构化视觉叙事在多模态大语言模型中导致安全对齐问题，通过漫画模板劫持攻击展示其危害，揭示现有防御方法在处理非有害敏感内容时的不可靠性。

Comments Code released at: https://github.com/Social-AI-Studio/ComicJailbreak

How to Teach Large Multimodal Models New Skills

如何向大型多模态模型传授新技能

Zhen Zhu, Yiming Gong, Yao Xiao, Yaoyao Liu, Derek Hoiem

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google DeepMind（谷歌DeepMind） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了如何在不丧失原有能力的前提下通过序列微调向大型多模态模型传授新技能，提出两种有效的微调方法以平衡学习与遗忘。

Comments In submission. Code is available at https://github.com/jessemelpolio/LMM_CL

OmniParser V2: Structured-Points-of-Thought for Unified Visual Text Parsing and Its Generality to Multimodal Large Language Models

OmniParser V2：结构化思维点用于统一的视觉文本解析及其在多模态大语言模型中的通用性

Wenwen Yu, Zhibo Yang, Jianqiang Wan, Sibo Song, Jun Tang, Wenqing Cheng, Yuliang Liu, Xiang Bai

机构 * School of Information Science and Engineering, East China University of Science and Technology（东华大学信息科学与工程学院） ； School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出OmniParser V2，通过结构化思维点提示方案统一视觉文本解析任务，简化流程并提升性能，在多个数据集上取得最佳结果，并验证其在多模态大语言模型中的通用性。

Comments Accepted by IEEE TPAMI

MaLoRA: Gated Modality LoRA for Key-Space Alignment in Multimodal LLM Fine-Tuning

MaLoRA：基于关键空间对齐的门控模态LoRA

Xinhan Zheng, Huyu Wu, Xueting Wang, Duo Su, Haiyun Jiang

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-鲁维尔研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Palmer Research Laboratories（帕勒实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

AI总结 本文提出MaLoRA，通过门控机制对齐多模态LLM微调中的关键空间，揭示文本偏见源于注意力键空间内在不匹配。

Instinct vs. Reflection: Unifying Token and Verbalized Confidence in Multimodal Large Models

本能与反思：统一令牌和 verbalized 自信在多模态大模型中

Yunkai Dang, Yifan Jiang, Yizhu Jiang, Anqi Chen, Wenbin Li, Yang Gao

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究多模态大模型响应自信估计的本能-反思不一致问题，提出融合框架和均值对齐方法，提升校准和失败预测性能。

DREAM: Dynamic Retinal Enhancement with Adaptive Multi-modal Fusion for Expert Precision Medical Report Generation

DREAM：动态视网膜增强与自适应多模态融合用于专家精准医疗报告生成

Nagur Shareef Shaik, Teja Krishna Cherukuri, Dong Hye Ye

机构 * Department of Computer Science, Georgia State University（佐治亚州立大学计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 DREAM通过动态多模态融合提升视网膜图像医疗报告生成精度，在数据有限时仍能生成高质量报告，实现BLEU-4 0.241的SOTA表现。

Comments Accepted at the IEEE Engineering in Medicine and Biology Society Annual International Conference (Proceedings of the 48th International Conference), 2026

Multimodal Policy Internalization for Conversational Agents

多模态策略内化用于对话代理

Zhenhailong Wang, Jiateng Liu, Amin Fazel, Ritesh Sarkhel, Xing Fan, Xiang Li, Chenlei Guo, Heng Ji, Ruhi Sarikaya

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出多模态策略内化任务，通过将复杂策略内化为模型参数，提升对话代理的策略遵循能力，同时提供新数据集和训练框架TriMPI以促进研究。

Enhancing Multimodal Large Language Models for Ancient Chinese Character Evolution Analysis via Glyph-Driven Fine-Tuning

通过字形驱动微调增强多模态大语言模型用于古汉字演变分析

Rui Song, Lida Shi, Ruihua Qi, Yingji Li, Hao Xu

机构 * College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院） ； Key Laboratory of Ancient Chinese Script, Culture Relics and Artificial Intelligence, Jilin University, China（吉林大学古文字、文物与人工智能重点实验室） ； School of Artificial Intelligence, Jilin University, China（吉林大学人工智能学院） ； School of Archaeology, Jilin University, China（吉林大学考古学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出GEVO框架，通过字形驱动微调提升多模态大语言模型在古汉字演变分析中的能力，实验显示模型在多个任务上均取得显著提升。

Comments Accepted by ACL 2026 main

BoxTuning: Directly Injecting the Object Box for Multimodal Model Fine-Tuning

BoxTuning：直接注入物体框进行多模态模型微调

Zekun Qian, Ruize Han, Wei Feng

机构 * School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） ； Faculty of Computer Science and Artificial Intelligence, Shenzhen University of Advanced Technology（深圳理工大学计算机科学与人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 BoxTuning通过将物体空间时间信息直接注入视觉模态，解决多模态大语言模型在视频问答中物体细粒度定位的不足，显著降低token成本并保持时间分辨率，实验表明其在空间导向任务中优于文本坐标方法。

C2F-Thinker: Coarse-to-Fine Reasoning with Hint-Guided Reinforcement Learning for Multimodal Sentiment Analysis

C2F-Thinker：基于提示引导强化学习的粗到细推理用于多模态情感分析

Miaosen Luo, Zhenhao Yang, Jieshen Long, Jinghu Sun, Yichu Liu, Sijie Mai

机构 * School of Computer Science, South China Normal University（华南师范大学计算机科学学院） ； School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出C2F-Thinker框架，通过粗到细结构推理与提示引导强化学习，提升多模态情感分析的可解释性和泛化能力。

Lightweight Multimodal Adaptation of Vision Language Models for Species Recognition and Habitat Context Interpretation in Drone Thermal Imagery

轻量级多模态适应：为无人机热成像中的物种识别和栖息地上下文解释优化视觉语言模型

Hao Chen, Fang Qiu, Fangchao Dong, Defei Yang, Eve Bohnett, Li An

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） ； University of Florida（佛罗里达大学） ； Auburn University（奥本大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出轻量级多模态适应框架，用于提升视觉语言模型在无人机热成像中的物种识别与栖息地上下文解释能力，通过热数据集优化模型性能，实现从RGB到热辐射的高效迁移。

ForgeryGPT: A Multimodal LLM for Interpretable Image Forgery Detection and Localization

ForgeryGPT: 一种多模态大语言模型用于可解释的图像伪造检测与定位

Fanrui Zhang, Jiawei Liu, Jiaying Zhu, Esther Sun, Dong Li, Qiang Zhang, Zheng-Jun Zha

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 ForgeryGPT通过多模态大语言模型捕捉伪造图像的高阶取证知识关联，实现可解释的图像伪造检测与定位，提升检测精度和交互能力。

Comments 13 pages, 9 figures

Token-Efficient Multimodal Reasoning via Image Prompt Packaging

通过图像提示包装实现高效的多模态推理

Joong Ho Choi, Jiayang Zhao, Avani Appalla, Himansh Mukesh, Dhwanil Vasani, Boyi Qian

机构 * BNY ； Pittsburgh US（美国匹兹堡） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出图像提示包装方法，通过将结构化文本嵌入图像以减少文本令牌开销，并在多个数据集和模型上验证其效果，展示了在多模态系统设计中视觉编码的重要性。

Comments 9 pages including references

Environment-Aware Channel Prediction for Vehicular Communications: A Multimodal Visual Feature Fusion Framework

面向环境的车用通信信道预测：一种多模态视觉特征融合框架

Xuejian Zhang, Ruisi He, Minseok Kim, Inocent Calist, Mi Yang, Ziyi Qi

机构 * Graduate School of Science and Technology, Niigata University（新潟大学研究生院科学与技术系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种多模态视觉特征融合框架，利用GPS数据、车辆全景RGB图像及语义分割和深度估计提取语义、深度和位置特征，通过三分支架构和 squeeze-excitation 注意力门控模块实现自适应多模态融合，实现路径损耗、时延扩展、到达方位扩展、离开方位扩展和角功率谱的联合预测。

Comments 13 pages, 14 figures

LiME: Lightweight Mixture of Experts for Efficient Multimodal Multi-task Learning

LiME：轻量级专家混合用于高效的多模态多任务学习

Md Kowsher, Haris Mansoor, Nusrat Jahan Prottasha, Ozlem Garibay, Victor Zhu, Zhengping Ji, Chen Chen

机构 * UCF（中佛罗里达大学） ； Coventry University（考文垂大学） ； Axon（Axon公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 LiME通过轻量级调制实现专家专业化，减少可训练参数并提升泛化能力，实验表明其在多模态多任务基准上性能优异且训练更快。

M3D-BFS: a Multi-stage Dynamic Fusion Strategy for Sample-Adaptive Multi-Modal Brain Network Analysis

M3D-BFS：一种多阶段动态融合策略用于样本自适应的多模态脑网络分析

Rui Dong, Xiaotong Zhang, Jiaxing Li, Yueying Li, Jiayin Wei, Youyong Kong

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出M3D-BFS，通过多阶段动态融合策略提升多模态脑网络分析的样本适应性，设计了不同专家模块以适应输入样本变化，并引入多模态解耦损失提升表示能力。

Few-shot Writer Adaptation via Multimodal In-Context Learning

基于多模态上下文学习的少样本作家适应

Tom Simon, Stephane Nicolas, Pierrick Tranouez, Clement Chatelain, Thierry Paquet

机构 * LITIS EA4108, University of Rouen Normandy（LITIS EA4108，鲁昂诺曼底大学） ； LITIS EA4108, INSA of Rouen Normandy（LITIS EA4108，鲁昂诺曼底国立应用科学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种基于多模态上下文学习的少样本手写体识别框架，通过少量目标作家样本实现推理时的作家适应，无需参数更新，实验在IAM和RIMES数据集上取得优于现有模型的识别效果。

Difference Feedback: Generating Multimodal Process-Level Supervision for VLM Reinforcement Learning

差分反馈：为视觉语言模型强化学习生成多模态过程级监督

Feiding, Yongkang Zhang, Yuhao Liao, Zijian Zeng, Chunzheng Zhu, Yaozong Zheng, Yafei Liu, Yeling Peng, Youwei Wang, Sibo Wang, Huiming Yang, Linglin Liao, Shunzhi Yang

机构 * Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出差分反馈方法，通过修复错误推理轨迹自动构建token/步骤级监督掩码，实现多模态推理中的过程级视觉对齐，实验显示在MMMStar和MathVista基准上平均提升3%。

Efficient Encoder-Free Fourier-based 3D Large Multimodal Model

高效无编码器的基于傅里叶的3D大多模态模型

Guofeng Mei, Wei Lin, Luigi Riz, Yujiao Wu, Yiming Wang, Fabio Poiesi

机构 * Fondazione Bruno Kessler, Italy（意大利布鲁诺·凯斯勒基金会） ； JKU Linz, Austria（奥地利林茨约翰·开普勒大学） ； CSIRO, Australia（澳大利亚联邦科学与工业研究组织） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Fase3D，一种基于傅里叶变换的无编码器3D多模态模型，通过结构化超点和空间填充曲线实现高效全局上下文建模，显著提升计算效率和参数效率。

Journal ref CVPR 2026 camera ready

A Multimodal Deep Learning Framework for Edema Classification Using HCT and Clinical Data

一种结合头颅CT和临床数据的多模态深度学习框架用于水肿分类

Aram Ansary Ogholbake, Hannah Choi, Spencer Brandenburg, Alyssa Antuna, Zahraa Al-Sharshahi, Makayla Cox, Haseeb Ahmed, Jacqueline Frank, Nathan Millson, Luke Bauerle, Jessica Lee, David Dornbos, Qiang Cheng

机构 * University of Kentucky（肯塔基大学） ； Department of Computer Science, University of Kentucky（肯塔基大学计算机科学系） ； Department of Neurological Surgery, University of Kentucky（肯塔基大学神经外科学系） ； University of Kentucky College of Medicine（肯塔基大学医学院） ； Department of Neurology, University of Kentucky（肯塔基大学神经学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AttentionMixer框架，通过融合头颅CT和临床数据实现脑水肿检测，采用自监督Vision Transformer Autoencoder编码CT数据，并利用交叉注意力模块整合临床信息，最终通过MLP-Mixer提升分类性能。

Photon: Speedup Volume Understanding with Efficient Multimodal Large Language Models

Photon：通过高效多模态大语言模型加速体积理解

Chengyu Fang, Heng Guo, Zheng Jiang, Chunming He, Xiu Li, Minfeng Xu

机构 * Tsinghua University（清华大学） ； DAMO Academy, Alibaba Group（阿里巴巴集团达摩院） ； Hupan Lab（湖畔实验室） ； Duke University（杜克大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 Photon通过高效多模态大语言模型实现3D医学影像的体积理解，采用自适应令牌调度和梯度传播技术降低计算成本，提升模型可靠性与效率。

Comments Accepted by ICLR 2026