多模态大模型

VLT: A Vision-Language-Time Series Multimodal Foundation Model for Industrial Intelligence

VLT：用于工业智能的视觉-语言-时间序列多模态基础模型

Haiteng Wang, Jingheng Yan, Xiaokang Wang, Lei Ren

机构 * School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） ； State Key Laboratory of Intelligent Manufacturing System Technology（智能制造系统技术国家重点实验室） ； School of Computer Science and Artificial Intelligence, Zhengzhou University（郑州大学计算机科学与人工智能学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对工业时间序列单模态建模局限及连接时间序列与文本语义的挑战，提出VLT多模态基础模型，通过设计Time-MoE等机制联合建模多种模态，经实验验证其在多种复杂设置下优于现有方法，提升了鲁棒性和泛化能力。

Comments 18 pages, 13 figures, and 13 tables, including supplementary material. Haiteng Wang and Jingheng Yan contributed equally to this work

Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs

级联稀疏自编码器在多模态大语言模型中学习多级视觉概念

Yusong Zhao, Hengyi Wang, Tanuja Ganu, Akshay Nambi, Hao Wang

机构 * Rutgers University（罗格斯大学） ； Microsoft Research（微软研究院） 纠错

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出级联稀疏自编码器（CSAEs），通过在第一级SAE解码器权重上训练第二级SAE来学习层次化视觉概念，避免嵌套或堆叠SAE的缺点，在多个MLLM和数据集上提升了概念层次一致性和干预效果。

Failure-Informed Image Self-Augmentation for Multimodal Large Language Model Self-Improvement

面向多模态大语言模型自我改进的故障感知图像自增强

Chunyang Jiang, Pingping Zhang, Yuzhi Zhao, Wenao Ma, Zhijian Hou, Mengyang Wu, Yiyang Cai, Senkang Hu, Sitong Cheng, Chi-Min Chan, Wei Xue, Yike Guo

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.AI

AI总结 提出FISA框架，基于MLLM失败案例生成保留答案的增强图像，经自检验与双重保真过滤后，可提升视觉问答性能，且兼容文本自增强、数据效率更优。

From Geometric Labels to Semantic Understanding of Indoor Building Components Using Multimodal Large Language Models

使用多模态大语言模型从几何标签到室内建筑组件的语义理解

Shuju Jing, Chao Yin

机构 * School of Qilu Transportation, Shandong University（山东大学齐鲁交通学院） ； Guangzhou Institute of Geography, Guangdong Academy of Sciences（广东省地理研究所） 纠错

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对室内建筑组件，提出以点云为中心的多模态大语言模型Building-MLLM，通过特定机制解决语义集中问题，开发引擎编译数据集，实验表明其在多任务上表现优异，提升室内组件语言理解。

Comments 46 pages, 13 figures, accepted by Automation in Construction journal

From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models

从结构到协同：多模态大语言模型中视觉-语言感知范式演进综述

Haoxiang Sun, Tao Wang, Li Yuan, Jian Zhao, Jiancheng Lv

机构 * School of Computer Science, Sichuan University（四川大学计算机学院） ； School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院电子与计算机工程学院） ； Institute of Artificial Intelligence (TeleAI), China Telecom and Northwestern Polytechnical University（中国电信与西北工业大学人工智能研究院（TeleAI）） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文系统综述多模态大语言模型中统一视觉-语言感知的范式演进，提出五阶段分类法，梳理各阶段代表性方法，并指出开放挑战与未来方向。

Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

Mage-VL：一种高效的编解码器原生流式多模态基础模型

Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, Jinglu Wang, Zongyu Guo, Wenxuan Xie, Zihan Zheng, Yuxuan Luo, Bin Li, Yan Lu

机构 * Microsoft（微软） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；multimodal foundation model(title)；image-text(abstract)；分类 cs.CV、cs.CL

AI总结 研究针对标准视觉语言模型在流式感知任务的不足，提出Mage-VL。核心方法是用Mage-ViT选择性编码关键区域，减少视觉令牌消耗。该模型在多模态理解和交互上表现出色，推理速度加快，还有多项关键实证发现。

Comments Project page: https://microsoft.github.io/Mage

Evidence-Grounded Forensic Reasoning for Detecting and Grounding Multi-Modal Media Manipulation

基于证据的取证推理：检测与定位多模态媒体篡改

Yichun Yeh, Yiheng Li, Xiaobo Hu, Zhen Lei, Yang Yang

专题命中 图文多模态 ：multi-modal(title,abstract)；MLLM(abstract_cn)；cross-modal(abstract)；image-text(abstract)

AI总结 本文针对多模态媒体篡改检测与定位问题，提出基于证据的取证推理框架，结合锚定-验证推理链、可验证奖励系统与模态解耦优势路由机制，实现最优性能与可解释性的统一。

Comments accepted by ACM MM 2026

Uncertainty-Aware Cross-Modal Remote Sensing Image-Text Retrieval via Evidential Learning

通过证据学习实现不确定性感知的跨模态遥感图像-文本检索

Zhuoyue Wang, Xueqian Wang, Gang Li, Chengxi Li, Yongpan Liu, Yifang Ban

专题命中 图文多模态 ：cross-modal(title,abstract)；image-text(title,abstract)

AI总结 针对跨模态遥感图像-文本检索中测试条件非理想、现有方法检索结果不可靠的问题，提出基于证据学习的ELC方法，通过EDL、UCL、RL建模及优化，经实验验证该方法相比现有方法有竞争力且鲁棒性更强。

Symbal: Detecting Systematic Misalignments in Model-Generated Captions

Symbal：检测模型生成字幕中的系统性对齐错误

Maya Varma, Jean-Benoit Delbrouck, Sophie Ostmeier, Akshay Chaudhari, Curtis Langlotz

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型生成图像字幕时的系统性对齐错误检测问题，提出利用现成基础模型的结构化双阶段设置的Symbal方法，引入SymbalBench基准，Symbal在基准上表现出色，可辅助审核MLLM生成的字幕。

Comments ICML 2026

Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality

跨模态掩码组合概念建模以增强视觉-语言组合性

Wei Li, Zhen Huang, Xinmei Tian

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学，教育部脑启发智能感知与认知重点实验室） ； Independent Researcher（独立研究员） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出MACCO框架，通过掩码一个模态的组合概念并从另一模态完整上下文重建，增强视觉-语言模型的组合理解能力，在五个基准上显著提升。

Comments Accepted to ACL 2026 Main Conference, 25 pages

PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model

PGN：基于盘古多模态基础模型的视觉语言导航系统的设计与实现

Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

机构 * University of Electronic Science and Technology of China（电子科技大学） ； School of Information and Communication Engineering（信息与通信工程学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.AI

AI总结 研究基于盘古多模态基础模型设计实现视觉语言导航系统PGN，训练分两阶段，先对齐视觉与语言编码器，再使模型适应专家轨迹，结合多种计算方式，在特定评估下取得一定指标，量化了离线专家动作对齐情况。

Comments 6 pages, 5 figures

TokenSwap: Benchmarking and Reducing the Modality Gap in Multimodal LLMs

TokenSwap：多模态大语言模型中模态差距的基准测试与缩减

Andong Hua, Colton Bishop, Igor Mordatch, Arian Hosseini, Jindong Gu, Aleksandra Faust, Rebecca Roelofs, Yao Qin

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出TokenSwap方法构建基准TokenSwap-Bench，发现42个多模态大语言模型普遍存在模态差距，推理模型差距更小，训练中引入TokenSwap可有效缓解该差距。

Pailitao-MMSearch: Building Native E-Commerce Multimodal Search Foundation

派利淘-多模态搜索：构建原生电子商务多模态搜索基础

Xiaohan Ye, Xu Chen, Zihan Gong, Jian Ding, Lianyu Du, Baicheng Chen, Yunmeng Shu, Jingqian Zhao, Zhixiang Zhao, Shuaiqi Jia, Chong Ma, Shuwen Xiao, Xiangheng Kong, Yuan Gao, Jun Song, Jinsong Lan, Xiaoyong Zhu, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝及天猫集团） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对电子商务多模态搜索问题，提出派利淘-多模态搜索基础模型，通过混合语义ID、两阶段持续预训练策略和混合推理后训练管道，在淘宝派利淘平台实现显著改进，提升了商品交易总额和交易量。

Comments Technical Report: Pailitao-MMSearch

MedPMC: A Systematic Framework for Scaling High-Fidelity Medical Multimodal Data for Foundation Models

MedPMC：一种用于为基础模型扩展高保真医学多模态数据的系统框架

Hyunjae Kim, Dain Kim, Pan Xiao, Serina S. Applebaum, Younjoon Chung, Xuguang Ai, Yu Yin, Roy Jiang, Yuexi Du, Yawen Wei, Yiming Kong, Tuo Guo, Zhiyuan Cao, Mengmeng Du, Yuelei Fu, Yan Hu, Rui Shi, Gui Yang, Kevin W. Jin, Yuntian Liu, Yuxuan Tian, Jonathan Marquez, Zhen Chen, Sheng Zhang, Hoifung Poon, Hua Xu, Jaewoo Kang, Qingyu Chen

机构 * Yale University（耶鲁大学） ； Korea University（韩国大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； The University of Queensland（昆士兰大学） ； The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心） ； University of Washington（华盛顿大学） ； Microsoft Research（微软研究院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 研究针对医学多模态基础模型受高质量临床数据限制问题，提出MedPMC框架，将文献转化为高保真基础设施。经实验，该框架整理大量图像-文本对，在多方面评估表现出色，训练模型在多基准测试和临床场景中效果显著，还公开相关资源。

DGSeg: Dynamic Gating of Semantic-Spatial Guided Predictions for Reasoning Segmentation

DGSeg：用于推理分割的语义-空间引导预测的动态门控

Ruizhe Zeng, Siyu Cao, Lu Zhang, Zhiyong Liu

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Nanjing Artificial Intelligence Research of IA（中国科学院自动化所南京人工智能研究院） 纠错

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 研究推理分割问题，提出DGSeg框架，借助MLLM生成语义和空间线索，经动态门控模块自适应融合预测，抑制噪声或冲突区域，在多基准测试中表现出色。

Comments Accepted to ECCV2026

The Role of Natural Language Understanding in Multimodal Video-Based Dengue Diagnosis

自然语言理解在基于多模态视频的登革热诊断中的作用

Danial Sharifrazi, Saadat Behzadi, Julakha Jahan Jui, Mojtaba Mohammadi, Nouman Javed, Roohallah Alizadehsani, Prasad N. Paradkar, Asim Bhatti

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出基于YOLO和CLIP的视觉-语言框架，从视频中分类未受感染与DENV2感染的蚊子，帧级准确率达98.54%、灵敏度达99.91%，证实该框架可用于分析感染相关生物行为。

CFPO: Counterfactual Policy Optimization for Multimodal Reasoning

CFPO：用于多模态推理的反事实策略优化

Zhangyuan Yu, Wanran Sun, Guangjing Yang, Xiaohu Wu, Qicheng Lao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 提出反事实策略优化框架，通过跨模态反事实增强机制强制视觉与文本推理的因果一致性，显著提升多模态推理的准确性。

Comments Accepted to ICML 2026. 17 pages

PragMatch: Separating Pragmatic Incongruity from Cross-Modal Mismatch in Large Vision-Language Models

PragMatch：分离大视觉语言模型中的语用不一致与跨模态不匹配

Zhanna Mukhametsharip, Vera Demberg, Varsha Suresh

专题命中 图文多模态 ：cross-modal(title)；multimodal(abstract)；image-text(abstract)；分类 cs.CL

AI总结 本研究提出PragMatch基准，揭示大视觉语言模型易受表面线索影响，为评估多模态语用推理提供测试平台。

Comments Under Review

ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models

ZOMP：面向视觉-语言模型的零阶多模态提示调优

Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

机构 * UC Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出ZOMP方法，通过跨模态低秩重参数化等技术，在仅前向传递的条件下高效调优CLIP模型，在13个基准上优于现有无反向传播的提示调优方法，泛化能力更强。

Geo-Embed: Towards Unified Multimodal Embeddings for Urban Understanding

Geo-Embed：面向城市理解的统一多模态嵌入

Jiapeng Li, Yong Li, Junjie Zhou, Fan Zhang, Yu Liu

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文针对现有多模态嵌入模型难以支持异构地理空间任务的问题，提出GeoMEB基准与Geo-Embed模型，在GeoMEB上实现15.3%的相对性能提升，为地理空间嵌入器发展提供方向。

Are Prompt Optimizers Blind? Cross-Modal Visual Feedback for Automatic Prompt Optimization

提示优化器是盲目运行的吗？用于自动提示优化的跨模态视觉反馈

Haoyue Liu, Xiaoyu Ma, Ye Chen, Yuexian Zou, Xiaoying Tang

专题命中 图文多模态 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 研究多模态任务中自动提示优化的盲目性问题，提出跨模态视觉反馈方法，含故障条件视觉诊断和错误感知聚合阶段，在多个VQA数据集和目标VLM上效果显著，能提升分数且优化器可跨模型转移。

RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding

RadSight：迈向感知可靠的多模态放射学图像理解

Jianqin Liu, Weiwei Cao, Wanxing Chang, Ruifeng Yuan, Bowen Shi, Zhilin Zheng, Xianjie Zhang, Ling Zhang, Peng Wang, Jianpeng Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（湖畔实验室） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 该研究针对医学多模态大语言模型视觉解释可靠性低的问题，引入Perception-Bench基准分析问题。提出基于双2D/3D编码器架构的RadSight模型，经渐进课程学习训练，在多维度评估中优于现有模型，凸显低级视觉感知对可靠临床理解的关键作用。

Bridging Interleaved Multi-Modal Reasoning as a Unified Decision Process

将交错多模态推理作为统一决策过程进行衔接

Zican Hu, Xuyang Hu, Yiming Liu, Zuwei Long, Wei Liu, Yunzhuo Hao, Jiawei Gu, Linjie Li, Yu Cheng, Zhenhong Sun, Weibo Gu, Xing Sun, Zhi Wang

机构 * Nanjing University（南京大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； University of Washington（华盛顿大学） ； The Chinese University of Hong Kong（香港中文大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；image-text(abstract)；分类 cs.AI

AI总结 研究统一多模态模型中强化学习优化多轮生成的问题，提出BRAID框架，将文本-图像-文本推理视为统一马尔可夫决策过程，通过单一强化学习目标联合优化文本和视觉生成，实验表明该框架性能优于基线。

Comments 22 pages, 8 figures

T-IMPACT: A Severity-Aware Benchmark for Contextual Image-Text Manipulation

T-IMPACT：面向上下文图像-文本操纵的严重性感知基准

Gagandeep Singh, Aaditya Yadav, Priyanka Singh

机构 * The University of Queensland（昆士兰大学） 纠错

专题命中 图文多模态 ：image-text(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出T-IMPACT基准，包含98,786个图像-文本对，涵盖原始、仅图像、仅文本和联合操纵，通过校准的连续严重性分数和粗粒度标签评估操纵对上下文理解的影响，实验表明现有模型在严重性预测上仍远弱于人类判断。

Comments 7 pages, 2 figures

When Vision Misleads, Let Location Speak: A Worldwide Image Geo-Localization Method via Location Attention Mechanism and Large Multimodal Models

当视觉误导时，让位置说话：基于位置注意力机制和大多模态模型的全球图像地理定位方法

Junchao Cui, Wenqi Shi, Xuanzi Ma, Nan Wu, Shaoyong Du, Xiangyang Luo

机构 * Henan Key Laboratory of Cyberspace Situation Awareness（河南省网络空间态势感知重点实验室） ； Information Engineering University（信息工程大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出TransGeoCLIP框架，通过位置注意力机制和大多模态模型，解决视觉相似图像导致的地理定位错误问题，在多个基准上显著提升定位精度。

Comments Submitted to IEEE Transactions on Multimedia in March 2026

Learning from Multimodal Pseudo-Labels for Robust Open-Vocabulary Instance and Panoptic Segmentation

学习多模态伪标签以实现鲁棒的开放词汇实例和全景分割

Duy Tran Thanh, Yeejin Lee, Byeongkeun Kang

机构 * Seoul National University of Science and Technology（首尔科技大学） ； Chung-Ang University（中央大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 该研究针对开放词汇实例分割与开放集全景分割的痛点，提出多模态框架，结合预训练视觉语言模型生成伪标签并优化训练目标，在COCO数据集上取得优于现有SOTA的性能。

Comments 14 pages

Journal ref Neurocomputing, 2026

Unified Multimodal Model for Brain MRI Imputation and Understanding

统一多模态模型用于脑MRI补全与理解

Zhiyun Song, Che Liu, Tian Xia, Avinash Kori, Wenjia Bai

机构 * Department of Computing, Imperial College London（伦敦帝国理工学院计算机系） ； Department of Brain Sciences, Imperial College London（伦敦帝国理工学院脑科学系） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 提出UniBrain模型，通过统一训练策略联合处理脑MRI模态补全与图像理解，采用自对齐和动态隐藏状态机制，在多疾病数据集上实现高性能。

Comments Early accepted to MICCAI 2026

SynIB: Informational Bottleneck for Maximizing Synergy in Multimodal Learning

SynIB: 多模态学习中最大化协同的信息瓶颈

Konstantinos Kontras, Teodora Gagaleska, Thomas Strypsteen, Christos Chatzichristos, Matthew Blaschko, Maarten De Vos, Paul Pu Liang

机构 * University of California, Berkeley（加州大学伯克利分校） ； Google Research（谷歌研究院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 提出SynIB方法，通过信息瓶颈理论直接优化多模态协同，在训练中屏蔽单模态时惩罚高置信度，提升跨模态推理能力，在合成和真实任务上准确率提升达7.8%。

Unlocking the Power of Medical Tabular Data via Semantic-Aware Multimodal Pre-training

通过语义感知多模态预训练释放医疗表格数据的力量

Yingsheng Liu, Haiming Li, Jingmin Zhu, Jiajun Sun, Victoria Mar, Monika Janda, H. Peter Soyer, Zongyuan Ge, Zhen Yu

机构 * Faculty of Information Technology, Monash University（莫纳什大学信息技术学院） ； Monash University（莫纳什大学） ； The University of Queensland（昆士兰大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对医疗表格数据的语义利用不足问题，提出语义感知多模态预训练框架，含重要性感知自适应掩码与软标签离散化模块，在皮肤病学、眼科数据集上实现SOTA，鲁棒性与跨域泛化能力优异。

Comments INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION (ORAL presentation)

Multi-Branch Policy Optimization for Multimodal Large Language Models

面向多模态大语言模型的多分支策略优化

Shuai Lyu, Yuning Gong, Ruiling Gao, Xiaoran Shang, Zhonghong Ou, Ping Zong, Yifan Zhu, Yuan Sun, Yang Qin, Peng Hu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Sichuan University（四川大学） ； Shanghai University（上海大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对多模态大语言模型统一信用分配的缺陷，提出MBPO框架，通过树结构与分支相对优势分配信用，结合时间回放缓冲区提升性能，在多模态推理基准上优于基线。

Comments 10 pages,8 figures