多模态大模型

Utility-Oriented Visual Evidence Selection for Multimodal Retrieval-Augmented Generation

以效用为导向的多模态证据选择用于多模态检索增强生成

Weiqing Luo, Zongye Hu, Xiao Wang, Zhiyuan Yu, Haofeng Zhang, Ziyi Huang

机构 * Arizona State University（亚利桑那州立大学） ； Texas A&M University（德克萨斯大学） ； Morgan Stanley（摩根大通） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出以信息论视角重构多模态证据选择，定义证据效用为模型输出分布的信息增益，通过引入潜在的证据有效性概念，提出无需训练的代理加速框架，实验证明在MRAG-Bench和Visual-RAG上优于现有RAG基线并降低计算成本。

Comments Accepted to ACL 2026

ViDR: Grounding Multimodal Deep Research Reports in Source Visual Evidence

ViDR：基于源视觉证据的多模态深度研究报告 grounding

Zhuofan Shi, Peilun Jia, Baoqin Sun, Haiyang Shen, Sixiong Xie, Yun Ma, Xiang Jing

机构 * School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； National Key Laboratory of Data Space Technology and System（数据空间技术与系统国家重点实验室） ； School of Software Engineering, Beijing Jiaotong University（北京交通大学软件学院） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 ViDR通过源视觉证据构建多模态深度研究报告框架，提升报告质量与证据可验证性。

UNIV: Unified Foundation Model for Infrared and Visible Modalities

UNIV：用于红外和可见模态的统一基础模型

Fangyuan Mao, Shuo Wang, Jilin Mei, Shun Lu, Chen Min, Fuyang Liu, Xiaokun Feng, Meiqi Wu, Yu Hu

机构 * Research Center for Intelligent Computing Systems, CAS ICT（智能计算系统研究所以及中国科学院信息科技研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 跨模态检索 ：cross-modal(abstract,abstract_cn)；分类 cs.CV

AI总结 UNIV通过跨模态对比学习提升红外与可见光感知的鲁棒性，解决模态偏差问题，实验显示在红外任务中表现优异。

CROP: Expert-Aligned Image Cropping via Compositional Reasoning and Optimizing Preference

CROP：通过组合推理和优化偏好实现专家对齐的图像裁剪

Zhitong Dong, Chao Li, Jie Yu, Hao Chen

机构 * Southeast University（东南大学） ； Key Laboratory of New Generation Artificial Intelligence Technology（新一代人工智能技术重点实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CROP方法，通过组合推理和优化偏好，解决传统图像裁剪方法在复杂场景中难以做出组合权衡和缺乏适应性推理的问题，提升裁剪结果与专家审美的一致性。

Retrieval-Augmented Tutoring for Algorithm Tracing and Problem-Solving in AI Education

增强检索的辅导系统用于AI教育中的算法追踪与问题解决

Mragisha Jain, Tirth Bhatt, Griffin Pitts, Aum Pandya, Peter Brusilovsky, Narges Norouzi, Arto Hellas, Juho Leinonen, Bita Akram

机构 * North Carolina State University（北卡罗来纳州立大学） ； University of Pittsburgh（匹兹堡大学） ； University of California, Berkeley（加州大学伯克利分校） ； Aalto University（阿尔托大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出KITE系统，通过增强检索生成技术辅助学生理解算法追踪和问题解决，提升算法推理能力。

Comments Paper accepted to the 21st Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2026), co-located with ACL 2026

JEDI: Joint Embedding Diffusion World Model for Online Model-Based Reinforcement Learning

JEDI: 联合嵌入扩散世界模型用于在线基于模型的强化学习

Jing Yu Lim, Rushi Shah, Zarif Ikram, Samson Yu, Haozhe Ma, Tze-Yun Leong, Dianbo Liu

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 JEDI通过联合嵌入扩散方法，构建了首个端到端的潜在扩散世界模型，提升了在线基于模型的强化学习效率与性能，减少了显存占用并加快了训练速度。

Physics-informed neural particle flow for the Bayesian update step

具有物理信息的神经粒子流用于贝叶斯更新步骤

Domonkos Csuzdi, Tamás Bécsi, Olivér Törő

机构 * Department of Control for Transportation and Vehicle Systems, Faculty of Transportation Engineering and Vehicle Engineering, Budapest University of Technology and Economics（交通运输与车辆系统控制系，交通运输工程与车辆工程学院，布达佩斯技术与经济大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文提出一种物理信息神经粒子流框架，通过将先验到后验密度函数的log-homotopy轨迹与密度演变的连续性方程结合，推导出主PDE，用于无监督训练，提高高维非线性估计的计算效率和鲁棒性。