多模态大模型

Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini

Gemini Embedding 2：来自Gemini的原生多模态嵌入模型

Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Samari, Kevin Poulet, Daniel Cer, Kaifeng Chen, Paul Suganathan, Hui Hui, Jovan Andonov, Philippe Schlattner, Jay Han, Iftekhar Naim, Wing Lowe, Vladimir Pchelin, Albert Yang, Yi-Ting Chen, Zhongli Ding, Grace Zhang, Georg Heigold, Yichang Chen, Antoine Reveillon, Brendan Mccloskey, Wenlei Zhou, Dahun Kim, Rui Meng, Emma Wang, Jack Zheng, Halley Fede, Zhen Yang, Keegan Mosley, Brian Potetz, Sahil Dua, Henrique Schechter Vera, Shen Gao, Hesen Zhang, Andreas Hess, Hengxuan Ying, Alberto Montes, Karan Gill, Min Choi, Sebastian Russo, Anja Hauth, Jinhyuk Lee, Michael Boratko, Megan Barnes, Vikram Rao, Claudiu Musat, Cyril Allauzen, Ehsan Variani, Shankar Kumar, Tom Bagby, Junyi Jiao, Yang Gu, Tengxin Li, Ayush Agrawal, Roberto Santana, Dev Nath, Stephen Karukas, Shuoxuan Han, Lucia Loher, Alice Twu, Nidhi Vyas, Siddharth Bhai, Frank Palma Gomez, Wangyuan Zhang, Chaoren Liu, Jizheng Yang, Steve Qiu, Shijie Zhang, Sujay Kulkarni, Sascha Rothe, Sean Nakamoto, Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini

机构 * Gemini Report（Gemini 报告） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出原生多模态嵌入模型Gemini Embedding 2，通过多任务多阶段对比学习统一视频、音频、图像和文本的表示空间，在单模态、跨模态和多模态检索任务上达到最先进性能。

OmniRetriever: Any-to-Any Audio-Video-Text Retrieval via Fusion-as-Teacher Distillation

OmniRetriever: 通过融合作为教师蒸馏实现任意到任意的音频-视频-文本检索

Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

机构 * Memories.ai Research（Memories.ai研究院） 纠错

专题命中 跨模态检索 ：any-to-any(title)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出融合作为教师蒸馏方法，利用三元组嵌入的融合信号训练单模态嵌入，并构建OmniRetriever-7B模型，在零样本检索基准上超越现有方法，同时发布OmniRetriever-Bench基准。

Comments https://yunzeliu.github.io/OmniRetriever/

A Nash Equilibrium Framework For Training-Free Multimodal Step Verification

为无训练多模态步骤验证构建纳什均衡框架

Rohit Sinha, Kunal Tilaganji, Tanuja Ganu, Nagarajan Natarajan, Amit Sharma, Vineeth N. Balasubramanian

机构 * Microsoft Research India（微软印度研究院） ； Indian Institute of Technology Hyderabad（印度海得拉巴理工学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出一种无训练的多模态步骤验证方法，将步骤验证视为专门法官之间的协调问题，并通过纳什均衡游戏形式化法官之间的交互，通过闭式解计算均衡分数，实现对分歧的敏感过滤和稳定性意识的排名，实验表明跨模态一致性（而非平均置信度）提供了鲁棒的验证信号。

Comments ICLR 2026 Workshop VerifAI-2

Audio-Image Cross-Modal Retrieval with Onomatopoeic Images

音频-图像跨模态检索与拟声图像

Keisuke Imoto, Yamato Kojima, Takao Tsuchiya

专题命中 跨模态检索 ：cross-modal(title,abstract)；multimodal(abstract)；分类 eess.AS

AI总结 本文提出了一种双向检索框架，用于将拟声图像与对应声音片段进行跨模态检索，通过训练模态特定的投影头来重新对齐视觉拟声和声音的嵌入表示，并构建了包含50种声音事件类别的多模态图像-音频拟声数据集MIAO，实验结果表明该方法在两个方向上的检索效果均优于基于预训练CLIP和CLAP嵌入的零样本基线。

Agent4POI: Agentic Context-Conditioned Affordance Reasoning for Multimodal Point-of-Interest Recommendation

Agent4POI: 基于代理的上下文条件化 affordance 推理用于多模态兴趣点推荐

Jinze Wang, Yangchen Zeng, Tiehua Zhang, Lu Zhang, Yuze Liu, Yongchao Liu, Xingjun Ma, Zhu Sun

机构 * Tongji University（同济大学） ； Swinburne University of Technology（斯威本理工大学） ； Southeast University（东南大学） ； Chengdu University of Information Technology（成都信息工程大学） ； Fudan University（复旦大学） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 Agent4POI 提出一种新的兴趣点推荐框架，通过在推荐时生成上下文条件化的多模态表示，而非依赖静态兴趣点嵌入。该方法通过代理生成动态 affordance 查询并执行跨模态推理，提升推荐效果。

From Scenes to Elements: Multi-Granularity Evidence Retrieval for Verifiable Multimodal RAG

从场景到元素：面向可验证多模态RAG的多粒度证据检索

Guanhua Chen, Chuyue Huang, Yutong Yao, Shudong Liu, Xueqing Song, Lidia S. Chao, Derek F. Wong

机构 * NLP 2 CT Lab, Department of Computer and Information Science, University of Macau（NLP2CT实验室，计算机与信息科学系，澳门大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出GranuRAG框架，通过多粒度跨模态对齐和元素级检索，解决多模态RAG中粗粒度证据与细粒度查询不匹配的问题，提升可验证性。

Adaptive Contrastive Learning on Multimodal Transformer for Review Helpfulness Predictions

多模态Transformer上的自适应对比学习用于评论有用性预测

Thong Nguyen, Xiaobao Wu, Anh-Tuan Luu, Cong-Duy Nguyen, Zhen Hai, Lidong Bing

机构 * National University of Singapore（国立新加坡大学） ； VinAI Research（VinAI研究院） ； Nanyang Technological University（南洋理工大学） ； DAMO Academy（达摩院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出多模态对比学习方法，通过增强跨模态关系和自适应加权方案提升多模态评论有用性预测性能，实验证明优于现有方法。

Comments Accepted to the main EMNLP 2022 conference. Code is available at https://github.com/nguyentthong/adaptive_contrastive_mrhp

Biosignal Fingerprinting: A Cross-Modal PPG-ECG Foundation Model

生物信号指纹：一种跨模态PPG-ECG基础模型

Zhangdaihong Liu, Chang Liu, Fenglin Liu, Yixuan Chen, Yang Yang, David A. Clifton, Xiao Gu

机构 * Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Oxford Suzhou Centre for Advanced Research（牛津苏浙先进研究中心） ； School of Public Health, Shanghai Jiao Tong University（上海交通大学公共卫生学院） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 本文提出生物信号指纹，通过跨模态基础模型M2AE生成紧凑且可迁移的心血管状态表示，实现无需重新训练的多任务应用，在多个任务中表现出色。

Comments 21 pages, 8 figures, 7 tables

MAG-VLAQ: Multi-modal Aerial-Ground Query Aggregation for Cross-View Place Recognition

MAG-VLAQ：多模态空-地查询聚合用于跨视角地点识别

Zhengyi Xu, Yuhang Ming, Zhihao Zhan, Hanyu Zhu, Javier Civera, Wanzeng Kong

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； TopXGun Robotics（TopXGun机器人） ； University of Zaragoza（萨拉戈萨大学） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出MAG-VLAQ框架，通过预训练基础模型提取多模态特征并融合，提升空地跨视角地点识别性能，实验表明在KITTI360-AG数据集上性能提升显著。

Comments 16 pages, 4 figures, 3 tables

Robust Audio-Text Retrieval via Cross-Modal Attention and Hybrid Loss

通过跨模态注意力和混合损失实现鲁棒的音频-文本检索

Meizhu Liu, Matthew Rowe, Amit Agarwal, Michael Avendi, Yassi Abbasi, Hitesh Laxmichand Patel, Paul Li, Kyu J. Han, Tao Sheng, Sujith Ravi, Dan Roth

专题命中 跨模态检索 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CL

AI总结 本文提出一种新的多模态检索框架，通过跨模态嵌入细化模块和混合损失函数提升音频与文本检索的鲁棒性，有效处理长音频和噪声。

Contrastive Learning for Multimodal Human Activity Recognition with Limited Labeled Data

基于有限标记数据的多模态人类活动识别对比学习

Long Jing, Zhixiong Yang, Yajun Zhang, Xinlong Feng

机构 * College of Computer Science, Northwest University（西北大学计算机学院） ； Xinjiang University（新疆大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出CLMM框架，通过两阶段训练策略提升有限标记数据下的多模态人类活动识别性能，实验表明在三个公开数据集上均优于现有方法。

Fast-then-Fine: A Two-Stage Framework with Multi-Granular Representation for Cross-Modal Retrieval in Remote Sensing

快速-精细：一种用于遥感跨模态检索的两阶段框架，具有多粒度表示

Xi Chen, Xu Chen, Xiangyang Jia, Xu Zhang, Shuquan Wei, Wei Wang

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出一种两阶段框架，通过多粒度表示提升遥感跨模态检索效率与精度，采用文本无关召回和文本引导重排序阶段，减少计算资源消耗。

Same Content, Different Answers: Cross-Modal Inconsistency in MLLMs

相同内容，不同答案：多模态大语言模型中的跨模态不一致

Angela van Sprang, Laurens Samson, Ana Lucic, Erman Acar, Sennay Ghebreab, Yuki M. Asano

机构 * University of Amsterdam（阿姆斯特丹大学） ； City of Amsterdam（阿姆斯特丹市） ； University of Technology Nuremberg（努尔堡技术大学） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出REST和REST+基准测试，评估多模态大语言模型的跨模态不一致性。研究发现，即使在相同语义信息下，不同模态的推理结果也不一致，且OCR错误和视觉特征影响模型性能。

Comments Accepted at CVPR 2026. Angela van Sprang and Laurens Samson contributed equally as first authors

VRAG-DFD: Verifiable Retrieval-Augmentation for MLLM-based Deepfake Detection

VRAG-DFD: 可验证检索增强的基于大语言模型的深度伪造检测

Hui Han, Shunli Wang, Yandan Zhao, Taiping Yao, Shouhong Ding

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 跨模态检索 ：MLLM(title,abstract)；分类 cs.CV

AI总结 本文提出VRAG-DFD框架，通过结合检索增强生成和强化学习，解决深度伪造检测中专业伪造知识不足的问题，提升大语言模型的推理能力。

Blue Data Intelligence Layer: Streaming Data and Agents for Multi-source Multi-modal Data-Centric Applications

蓝色数据智能层：面向多源多模态数据导向应用的流数据与智能体

Moin Aminnaseri, Farima Fatahi Bayat, Nikita Bhutani, Jean-Flavien Bussotti, Kevin Chan, Rafael Li Chen, Yanlin Feng, Jackson Hassell, Estevam Hruschka, Eser Kandogan, Hannah Kim, James Levine, Seiji Maekawa, Jalal Mahmud, Kushan Mitra, Naoki Otani, Pouya Pezeshkpour, Nima Shahbazi, Chen Shen, Dan Zhang

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出Blue数据智能层，通过整合异构数据源、多模态信息及上下文数据，解决多源多模态数据导向应用中的复杂查询需求，结合智能体与数据处理实现自然语言到SQL的扩展。

BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment

BRIDGE：通过强化学习查询对齐实现多模态到文本检索

Mohamed Darwish Mounis, Mohamed Mahmoud, Shaimaa Sedek, Mahmoud Abdalla, Mahmoud SalahEldin Kasem, Abdelrahman Abdallah, Hyun-Soo Kang

机构 * High institute for computer & information systems（高等计算机与信息系统学院） ； Chungbuk National University（忠北大学） ； Assiut University（艾斯尤特大学） ； University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 BRIDGE通过强化学习查询对齐模型和增强神经搜索检索器，解决多模态查询在文本库中的检索问题，实现优于多模态编码器的nDCG@10性能。

Comments Accepted at CVPR 2026 Workshop GRAIL-V

HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference

HybridKV: 为高效多模态大语言模型推理设计的混合KV缓存压缩

Bowen Zeng, Feiyang Ren, Jun Zhang, Xiaoling Gu, Ke Chen, Lidan Shou, Huan Li

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出HybridKV框架，通过分层预算分配和不同压缩策略，有效减少KV缓存内存占用并提升解码速度，实验表明在11个多模态基准上内存减少达7.9倍，解码速度提升1.52倍，性能损失极小。

Mixture-of-Retrieval Experts for Reasoning-Guided Multimodal Knowledge Exploitation

基于推理引导的多模态知识利用的检索专家混合

Chunyi Peng, Zhipeng Xu, Zhenghao Liu, Yishan Li, Yukun Yan, Shuo Wang, Yu Gu, Minghe Yu, Ge Yu, Maosong Sun

机构 * Northeastern University（东北大学） ； Tsinghua University（清华大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL

AI总结 本文提出MoRE框架，通过动态选择检索专家提升多模态大语言模型的知识利用效率，实验表明在开放领域问答基准上性能提升超过7%。

User-Aware Conditional Generative Total Correlation Learning for Multi-Modal Recommendation

面向用户的条件生成总相关性学习多模态推荐

Jing Du, Zesheng Ye, Congbo Ma, Feng Liu, Flora. D. Salim

机构 * The University of New South Wales（新南威尔士大学） ； University of Melbourne（墨尔本大学） ； New York University Abu Dhabi（纽约大学阿布扎比分校） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出GTC框架，通过用户感知的内容特征过滤和总相关性优化，提升多模态推荐的性能，实验表明在NDCG@5上提升达28.30%。

Comments 11 pages, 7 figures, 3 tables

ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval

ReCALL: 为基于MLLM的组合图像检索 recalibrate 能力退化

Tianyu Yang, Chenwei He, Xiangzhao Hao, Tianyue Wang, Jiarui Guo, Haiyun Guo, Leigang Qu, Jinqiao Wang, Tat-Seng Chua

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Southeast University（东南大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； National University of Singapore（新加坡国立大学） ； Wuhan AI Research（武汉人工智能研究院） ； Guangdong Provincial Key Laboratory of Intellectual Property and Big Data, Guangdong Polytechnic Normal University（广东技术师范大学广东省知识产权大数据重点实验室） 纠错

专题命中 跨模态检索 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 ReCALL通过诊断生成器盲点、生成修正指令和三元组、并持续训练来缓解基于生成式MLLM的检索能力退化问题，实验证明其在CIRR和FashionIQ上达到SOTA性能。

Comments Accepted to CVPR 2026

EarthBridge: A Solution for 4th Multi-modal Aerial View Image Challenge Translation Track

EarthBridge: 4th 多模态航空视图图像挑战翻译赛道的解决方案

Zhenyuan Chen, Guanyuan Shen, Feng Zhang

机构 * Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出EarthBridge框架，通过Diffusion Bridge Implicit Models和Contrastive Unpaired Translation方法，实现EO、IR和SAR传感器间的高质量图像到图像翻译，解决了跨模态转换中的挑战，取得第二名成绩。

Comments accepted by CVPRW 2026

Advancing Few-Shot Pediatric Arrhythmia Classification with a Novel Contrastive Loss and Multimodal Learning

通过新颖的对比损失和多模态学习推进少样本儿童心律失常分类

Yiqiao Chen, Zijian Huang, Zhenghui Feng

机构 * Faculty of Frontier Sciences, Harbin Institute of Technology（哈尔滨工业大学（深圳）前沿科学学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出多模态端到端框架，结合体表ECG和心内电图信号，引入自适应全局类感知对比损失，提升少样本下儿童心律失常分类性能。

Comments 12pages, 9 figures

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

从探索到利用：一种两阶段熵RLVR方法用于噪声容忍的多模态大语言模型训练

Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

机构 * Independent Researcher（独立研究者） ； The Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong（香港城市大学） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Hong Kong（香港大学） 纠错

专题命中 跨模态检索 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种两阶段熵优化方法，通过探索阶段提升输出多样性，利用阶段提高预测准确性，增强噪声容忍能力，实验证明在不同模型和任务中均优于现有方法。

CODER: Coupled Diversity-Sensitive Momentum Contrastive Learning for Image-Text Retrieval

CODER: 耦合多样性敏感动量对比学习用于图像-文本检索

Haoran Wang, Dongliang He, Wenhao Wu, Boyang Xia, Min Yang, Fu Li, Yunlong Yu, Zhong Ji, Errui Ding, Jingdong Wang

机构 * Department of Computer Vision Technology (VIS), Baidu Inc., Beijing, China（百度公司计算机视觉技术部（VIS），北京，中国） ； Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS, Beijing, China（中国科学院智能信息处理重点实验室，中国科学院计算技术研究所，北京，中国） ； College of Information Science & Electronic Engineering, Zhejiang University, Hangzhou, China（浙江大学信息与电子工程学院，杭州，中国） ； School of Electrical & Information Engineering, Tianjin University, Tianjin, China（天津大学电气与信息工程学院，天津，中国） ； The University of Sydney, Sydney, Australia（悉尼大学，悉尼，澳大利亚） 纠错

专题命中 跨模态检索 ：image-text(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出CODER，通过耦合多样性敏感动量对比学习提升跨模态表示，引入动态字典扩大图像-文本对规模，结合常识知识图谱生成概念级描述，实验表明在MSCOCO和Flickr30K上优于现有方法。

Comments Accepted by ECCV 2022

Unlocking Multimodal Document Intelligence: From Current Triumphs to Future Frontiers of Visual Document Retrieval

解锁多模态文档智能：从当前成就到视觉文档检索的未来前沿

Yibo Yan, Jiahao Huo, Guanbo Feng, Mingdong Ou, Yi Cao, Xin Zou, Shuliang Liu, Yuanhuiyi Lyu, Yu Huang, Jungang Li, Kening Zheng, Xu Zheng, Philip S. Yu, James Kwok, Xuming Hu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Alibaba Cloud Computing（阿里云计算） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL

AI总结 本文综述了视觉文档检索领域，探讨了多模态大语言模型时代下的方法演进与挑战，提出未来发展方向。

Comments Under review. This version updates the relevant works released before 15 March, 2026

ThinkOmni: Lifting Textual Reasoning to Omni-modal Scenarios via Guidance Decoding

ThinkOmni: 通过指导解码将文本推理提升到多模态场景

Yiran Guan, Sifan Tu, Dingkang Liang, Linghao Zhu, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； MiLM Plus, Xiaomi Inc.（小米公司） 纠错

专题命中 跨模态检索 ：omni-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 ThinkOmni提出一种无需训练和数据的框架，通过指导解码将文本推理扩展到多模态场景，实验显示在多个多模态推理基准上取得显著提升。

Comments Accept by ICLR 2026, Code: https://github.com/1ranGuan/thinkomni

FinMMDocR: Benchmarking Financial Multimodal Reasoning with Scenario Awareness, Document Understanding, and Multi-Step Computation

FinMMDocR：基于场景意识、文档理解与多步骤计算的金融多模态推理基准测试

Zichen Tang, Haihong E, Rongjin Li, Jiacheng Liu, Linwei Jia, Zhuodi Hao, Zhongjun Yang, Yuanze Li, Haolin Tian, Xinyi Hu, Peizhi Zhao, Yuan Liu, Zhengyu Wang, Xianghe Wang, Yiling Huang, Xueyuan Lin, Ruofei Bai, Zijian Xie, Qian Huang, Ruining Cao, Haocheng Gao

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 FinMMDocR通过引入场景意识、文档理解和多步骤计算，推动多模态大语言模型在现实金融场景中的推理能力提升，其包含12种隐含金融场景、9类丰富文档及平均11步推理任务。

Comments Accepted by AAAI-26 Main Track

Journal ref Proc. AAAI 2026 (Vol. 40, No. 30), pages 25858-25866

Evo-Retriever: LLM-Guided Curriculum Evolution with Viewpoint-Pathway Collaboration for Multimodal Document Retrieval

Evo-Retriever：基于观点-路径协作的LLM引导课程进化多模态文档检索框架

Weiqing Li, Jinyue Guo, Yaqi Wang, Haiyang Xiao, Yuewei Zhang, Guohua Liu, Hao Henry Wang

机构 * Alibaba Cloud Computing（阿里巴巴云计算） 纠错

专题命中 跨模态检索 ：multimodal(title)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出Evo-Retriever框架，通过LLM引导的课程进化和观点-路径协作提升多模态文档检索性能，实现在ViDoRe V2和MMEB数据集上达到SOTA水平。

Comments Accepted by CVPR2026

Embed-RL: Reinforcement Learning for Reasoning-Driven Multimodal Embeddings

Embed-RL: 用于推理驱动的多模态嵌入的强化学习

Haonan Jiang, Yuji Wang, Yongjie Zhu, Xin Lu, Wenyu Qin, Meng Wang, Pengfei Wan, Yansong Tang

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出基于嵌入引导强化学习的推理驱动多模态嵌入框架，通过生成证据可追溯的推理链提升多模态嵌入质量，实现跨模态语义一致性增强和细粒度匹配能力提升。

Comments Correcting errors and improving organizational logic

Traffic-MLLM: Curiosity-Regularized Supervised Learning for Traffic Scenario Case-Based Reasoning

Traffic-MLLM: 基于好奇心正则化的交通场景案例推理监督学习

Waikit Xiu, Qiang Lu, Bingchen Liu, Chen Sun, Xiying Li

机构 * The University of Hong Kong（香港大学） ； Sun Yat-sen University（中山大学） ； University of Bristol（布里斯托大学） 纠错

专题命中 跨模态检索 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 Traffic-MLLM通过好奇心驱动的结构化案例学习，提升多模态交通场景推理的鲁棒性和适应性。