多模态大模型

Training-Free Multimodal Large Language Model Orchestration

免训练的多模态大语言模型编排

Tianyu Xie, Yuexiao Ma, Yuhang Wu, Wang Chen, Jiayi Ji, Tat-Seng Chua, Xiawu Zheng, Rongrong Ji

机构 * Media Analytics and Computing Lab, Xiamen University, Xiamen, China（厦门大学媒体分析与计算实验室） ； Institute of Artificial Intelligence, Xiamen University, Xiamen, China（厦门大学人工智能研究院） ； School of Informatics, Xiamen University, Xiamen, China（厦门大学信息学院） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室） ； Department of Computer Science, National University of Singapore, Singapore（新加坡国立大学计算机科学系） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；omni-modal(abstract)；分类 cs.CL

AI总结 提出一种免训练编排框架LLM Orchestration，通过LLM控制器、文本中心跨模态记忆和统一交互层集成现成模态专家，实现低开销、可扩展的多模态输入输出系统。

Journal ref ICML 2026

RAG4Outcome: A Retrieval-Augmented Multimodal Framework for Prognostic Prediction in Chronic Osteomyelitis

RAG4Outcome：用于慢性骨髓炎预后预测的检索增强多模态框架

Daqian Shi, Pei Han, Jishizhan Chen, Yang Wang, Xiaolei Diao, Xianyou Zheng, Pengfei Cheng

机构 * Queen Mary University of London（女王玛丽大学） ； Shanghai Sixth People’s Hospital Affiliated to SJTU School of Medicine（上海第六人民医院附属复旦大学医学院） ； University College London（大学学院伦敦） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出RAG4Outcome框架，通过检索增强生成技术融合PET-CT影像报告、结构化手术诊断记录和非结构化随访笔记等多模态临床数据，实现慢性骨髓炎的预后预测，提高可解释性和临床可靠性。

LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding

LFRAG：面向布局的多模态文档理解中的细粒度检索增强生成

Yifan Zhu, Yu Mi, Yue Lu, Yanchu Guan, Zhixuan Chu

机构 * Zhejiang University（浙江大学） ； Hangzhou High-Tech Zone (Binjiang) Zhejiang University Institute of Blockchain and Data Security（杭州高新技术区（滨江）浙江大学区块链与数据安全研究院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出LFRAG框架，通过布局分割和语义-布局融合编码器实现从页面级到块级的细粒度检索，提升多模态文档检索精度并减少生成冗余，在LFDocQA基准上取得最优性能。

CHASD: Language Increment-Calibrated Contrastive Decoding against Hallucination in LVLMs

CHASD：面向LVLMs中幻觉的语言增量校准对比解码

Xiaoyi Huang, Kejia Zhang, Zhiming Luo

机构 * Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能学院） ； Department of Artificial Intelligence, Xiamen University（厦门大学人工智能系） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出CHASD框架，通过不确定性驱动的置信门控和注意力引导的局部扰动，在推理时按需校准对比解码，减少对象幻觉并提升效率。

From Head to Tail: Asymmetric Knowledge Transfer in Long-tail Recommendation with Generative Semantic IDs

从头到尾：利用生成式语义ID进行长尾推荐中的非对称知识迁移

Chenyi Yan, Ruocong Tang, Xing Fang, Yang Huang, He Guo, Jing Wang

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 针对长尾推荐中的数据不平衡问题，提出AKT-Rec框架，利用多模态大模型生成语义ID，通过聚类引导的自适应嵌入和层次化特征聚合实现从头到尾的非对称知识迁移，在工业数据集和在线A/B测试中显著提升性能。

Comments 5 pages, 1 figure