多模态大模型

Breaking Failure Cascades: Step-Aware Reinforcement Learning for Medical Multimodal Reasoning

打破失败级联：面向医学多模态推理的步骤感知强化学习

Junha Jung, Minbyul Jeong, Suhyeon Lim, Sungwook Jung, Jaehoon Yun, Taeyun Roh, Mujeen Sung, Jaewoo Kang

机构 * Korea University（高丽大学） ； Upstage AI ； Kyung Hee University（庆熙大学） ； KAIST（韩国科学技术院） ； Hanyang University College of Medicine（汉阳大学医学院） ； AIGEN Sciences 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出步骤感知强化学习算法MRPO，通过为早期错误推理步骤分配指数级惩罚，打破失败级联，显著提升医学视觉问答准确率。

DetPO: In-Context Learning with Multi-Modal LLMs for Few-Shot Object Detection

DetPO：基于多模态大语言模型的上下文学习用于少样本目标检测

Gautam Rajendrakumar Gare, Neehar Peri, Matvei Popov, Shruti Jain, John Galeotti, Deva Ramanan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Roboflow 纠错

专题命中 其他多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出DetPO，一种无需梯度的测试时优化方法，通过最大化少样本视觉训练示例上的检测精度并校准预测置信度，优化文本提示，提升多模态大语言模型在少样本目标检测中的性能。

Comments This work has been accepted to the European Conference on Computer Vision (ECCV) 2026. Project Page: https://ggare-cmu.github.io/DetPO/

Energy-Efficient Multimodal Inference Serving with Tri-serve

能效多模态推理服务：Tri-serve

Ziyang Jia, Sara Rashidi Golrouye, Laxmi Bhuyan, Benjamin Kubwimana, Devashree Tripathy, Zexin Li, Cong Liu, Daniel Wong

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 针对多模态推理服务中GPU硬件频率管理导致的三种能效问题，提出软件DVFS控制器Tri-serve，联合优化依赖停顿、算术强度影响和热节流，实现22%能效提升且无延迟或吞吐量损失。

Structured SIR: Efficient and Expressive Importance-Weighted Inference for High-Dimensional Image Registration

Structured SIR: 高效且富有表现力的重要性加权推断用于高维图像配准

Ivor J. A. Simpson, Neill D. F. Campbell

机构 * University of Sussex（萨塞克斯大学） ； University College London（伦敦大学学院） ； University of Bath（巴斯大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出Structured SIR方法，结合采样重要性重采样与低秩加稀疏Cholesky精度因子的协方差参数化，实现高维3D图像配准中高效且多模态的不确定性量化。

Free-form Association Tasks Reveal Stereotype Hallucination in Large Language Models

自由联想任务揭示大型语言模型中的刻板印象幻觉

Xinrui Chloe Zhao, Douglas Guilbeault, Amir Goldberg

专题命中 其他多模态 ：multimodal(abstract)

AI总结 通过抽象艺术和罗夏墨迹测试，比较人类与多模态LLM在自由联想中的刻板印象结构，发现LLM存在“刻板印象幻觉”，即生成不反映真实群体差异的强烈二阶刻板印象。

Multipolar Magnetic-Field Inference for PSR J0740+6620 with Neural-Network-Accelerated NICER Pulse-Profile Modeling

PSR J0740+6620 的多极磁场推断：基于神经网络加速的 NICER 脉冲轮廓建模

Farhana Taiyebah, Constantinos Kalapotharakos, Greg Olmschenk, Wendy F. Wallace, Soumi De, Abu Bucker Siddik, Diane Oyen, Thibault Lechien, Zorawar Wadiasingh

专题命中 其他多模态 ：multimodal(abstract)

AI总结 利用神经网络代理加速NICER脉冲轮廓建模，推断PSR J0740+6620的多极表面磁场结构，采用偏移偶极子加轴对称四极子模型，发现观测双峰轮廓可由偏移模型再现，但磁场参数存在简并。

Comments 18 pages, 10 figures