多模态大模型

CLAR: Learning 3D Representations for Robotic Manipulation by Fusing Masked Reconstruction with Multi-Level Contrastive Alignment

CLAR: 通过融合掩码重建与多层级对比对齐学习用于机器人操作的3D表示

Wenbo Cui, Chengyang Zhao, Yuhui Chen, Haoran Li, Zhizheng Zhang, Dongbin Zhao, He Wang

机构 * SKL-MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所SKL-MAIS） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Carnegie Mellon University（卡内基梅隆大学） ； Galbot ； CFCS, School of Computer Science, Peking University（北京大学计算机科学与技术学院CFCS） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出CLAR框架，融合掩码自编码与全局跨模态对比学习，并引入基于可变形注意力的局部自适应对齐机制，解决3D预训练中空间几何与语义细节的权衡问题，在视觉运动策略学习中达到最优性能。

RSRCC: A Remote Sensing Regional Change Comprehension Benchmark Constructed via Retrieval-Augmented Best-of-N Ranking

RSRCC：通过检索增强的最佳N排序构建的遥感区域变化理解基准

Roie Kazoom, Yotam Gigi, George Leifman, Tomer Shekel, Genady Beryozkin

机构 * Google Research（谷歌研究） 纠错

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出RSRCC基准，包含12.6万个细粒度遥感变化问答对，采用层次化半监督流程结合最佳N排序解决歧义，实现局部语义变化推理。

Akasha 2: Hamiltonian State Space Duality and Visual-Language Joint Embedding Predictive Architectur

Akasha 2: 哈密顿状态空间对偶与视觉-语言联合嵌入预测架构

Yani Meziani

机构 * Independent AI Researcher（独立AI研究员） ； Québec (QC), Canada（魁北克（QC），加拿大） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出 Akasha 2 多模态架构，结合哈密顿状态空间对偶与视觉-语言联合嵌入预测，通过稀疏混合哈密顿专家和哈密顿流匹配实现超低延迟视频预测与合成，在保持能量守恒下取得 SOTA 性能。

Comments No supporting claims were validated in this automated agentic R&D research run

PersonaDrive: Human-Style Retrieval-Augmented VLA Agents for Closed-Loop Driving Simulation

PersonaDrive: 面向闭环驾驶模拟的人类风格检索增强VLA智能体

Mahmoud Srewa, Praneetsai Iddamsetty, Mohammad Abdullah Al Faruque, Salma Elmalaki

机构 * University of California, Irvine（加利福尼亚大学尔湾分校） 纠错

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CL、cs.AI

AI总结 提出PersonaDrive流水线，通过检索风格指令下的人类驾驶演示来调节视觉-语言-动作（VLA）驾驶智能体，实现闭环模拟中多样化的非自车智能体行为，无需针对每种风格重新训练。

A Mixed Diet Makes DINO An Omnivorous Vision Encoder

混合饮食使DINO成为杂食视觉编码器

Rishabh Kabra, Maks Ovsjanikov, Drew A. Hudson, Ye Xia, Skanda Koppula, Andre Araujo, Joao Carreira, Niloy J. Mitra

机构 * Google DeepMind（谷歌DeepMind） ； University College London（伦敦大学学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对DINOv2等预训练视觉编码器在不同视觉模态间特征对齐差的问题，提出杂食视觉编码器，通过后训练框架学习模态无关特征空间，实现跨模态鲁棒理解。

Comments CVPR 2026 Highlight

TQA-Bench: Evaluating LLMs for Multi-Table Question Answering

TQA-Bench：评估大语言模型在多表问答中的表现

Zipeng Qiu, Chenyue Li, You Peng, Guangxin He, Binhang Yuan, Chen Wang

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 提出TQA-Bench基准，通过长上下文多表问答任务评估LLM，揭示其在复杂数据驱动环境中的挑战与机遇。

Comments Accepted by IEEE Transactions on Big Data

FORTE: FOL-guided Optimal Refinement for Text-audio rEtrieval

FORTE: 基于一阶逻辑引导的文本-音频检索优化

Arghya Pal, Sailaja Rajanala

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.MM、eess.AS

AI总结 提出FORTE框架，通过一阶逻辑转换、约束搜索优化和谓词感知重排序，结合参数高效跨模态对齐，提升文本-音频检索的细粒度语义匹配精度。

Comments Under Review

R3G: A Reasoning-Retrieval-Reranking Framework for Vision-Centric Answer Generation

R3G: 一种面向以视觉为中心的答案生成的推理-检索-重排序框架

Zhuohong Chen, Zhengxian Wu, Zirui Liao, Shenao Jiang, Hangrui Xu, Yang Chen, Chaokui Su, Xiaoyu Liu, Haoqian Wang

机构 * The Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院） ； State Key Laboratory of Nuclear Power Safety Technology and Equipment, China（核能安全技术与装备国家重点实验室） ； School of Computer Science and Information Engineering, Hefei University of Technology, China（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 跨模态检索 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 提出R3G框架，通过先制定推理计划指定所需视觉线索，再采用粗检索加细粒度重排序的两阶段策略选择证据图像，在MRAG-Bench上提升六种多模态大语言模型在九个子场景中的准确率，实现整体最优性能。

Towards Resolving Optimization Conflicts Between Image- and Text-Based Person Re-Identification

解决基于图像和基于文本的行人重识别之间的优化冲突

Karina Kvanchiani, Timur Mamedov

机构 * Tevian, Russia（俄罗斯Tevian） ； Lomonosov Moscow State University, Russia（俄罗斯罗蒙诺索夫莫斯科国立大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对图像与文本行人重识别任务因模态差异和目标冲突导致共享表示次优的问题，提出解耦两阶段训练流程，使用单一视觉编码器避免跨任务干扰，实验表明图像预训练和文本监督能提升双任务性能。

Connecting the Dots: Benchmarking Reflective Memory in Long-Horizon Dialogue

连接点：长时对话中的反思性记忆基准测试

Jingjie Lin, Bingbing Wang, Zihan Wang, Zhengda Jin, Weiming Qiao, Jing Li, Ruifeng Xu

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； The Hong Kong Polytechnic University（香港理工大学） ； Fudan University（复旦大学） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有基准无法衡量从碎片化多模态线索合成高层解释的反思性记忆问题，提出RefMem-Bench基准和REMIND层次框架，通过渐进式证据感知、定位和抽象提升模型反思性记忆能力。

Comments 9 pages, 6 figures

Genetically Aligned Patient Representations Improve Hematological Diagnosis

基因对齐的患者表示改善血液学诊断

Muhammed Furkan Dasdelen, Fatih Ozlugedik, Ilaria Looser, Rao Muhammad Umer, Christian Pohlkamp, Carsten Marr

机构 * Institute of AI for Health, Helmholtz Munich, Germany International School of Medicine, Istanbul Medipol University, T\"urkiye Munich Leukemia Laboratory, Germany Department of Medicine III, Ludwig-Maximilian-University Hospital, Germany Department of Physics, University of Munich, Germany Munich Center for Machine Learning (MCML), Germany DKTK, German Cancer Consortium, Germany 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种两阶段框架，通过自监督视觉预训练和监督对比学习对齐白细胞图像与染色体畸变及体细胞突变，提升血液学诊断性能。

Comments Accepted for publication at the 29th International Conference on Medical Image Computing and Computer Assisted Intervention - MICCAI 2026

Bridging the Pose-Semantic Gap: A Cascade Framework for Text-Based Person Anomaly Search

弥合姿态-语义鸿沟：基于文本的人物异常搜索的级联框架

Zequn Xie, Guijin Luo, Chuxin Wang, Sihang Cai, Tao Jin, Zhou Zhao, Yixuan Tang

机构 * Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 提出结构-语义解耦级联（SSDC）框架，通过两阶段检索（结构感知粗检索和多智能体语义验证）平衡效率与语义推理，在PAB基准上达到最优性能。

Comments Accepted to ACL 2026.10 pages, 5 figures

Adversarial Orthogonal Disentanglement for LVLM Hallucination Mitigation

对抗正交解缠用于LVLM幻觉缓解

Ruoxi Cheng, Haoxuan Ma, Zhengfei Hai, Yiyan Huang, Ranjie Duan, Tianle Zhang, Xu Yang, Ziyi Ye, Xingjun Ma

机构 * Fudan University（复旦大学） ； Tencent（腾讯） ； Nanjing University（南京大学） ； Southeast University（东南大学） ； Great Bay University（大坝大学） ； TeleAI, China Telecom（TeleAI，中国电信） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出对抗正交解缠（AOD）框架，通过最小最大目标学习幻觉相关方向，并利用双前向对比解码策略，在不需额外训练的情况下缓解大型视觉语言模型（LVLM）的幻觉问题。

Your Embedding Model is SMARTer Than You Think

你的嵌入模型比你想象的更聪明

Jianrui Zhang, Hyun Jung Lee, Sukanta Ganguly, Tae-Eui Kam, Donghyun Kim, Yong Jae Lee

机构 * UW-Madison（威斯康星大学麦迪逊分校） ； Korea University（韩国大学） ； NetApp, Inc.（NetApp公司） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出SMART框架，通过利用标准单向量模型的隐式多向量能力，在推理时应用后期交互，无需额外训练即可提升多模态检索性能。

CHASD: Language Increment-Calibrated Contrastive Decoding against Hallucination in LVLMs

CHASD：面向LVLMs中幻觉的语言增量校准对比解码

Xiaoyi Huang, Kejia Zhang, Zhiming Luo

机构 * Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能学院） ； Department of Artificial Intelligence, Xiamen University（厦门大学人工智能系） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出CHASD框架，通过不确定性驱动的置信门控和注意力引导的局部扰动，在推理时按需校准对比解码，减少对象幻觉并提升效率。

FashionLens: Toward Versatile Fashion Image Retrieval via Task-Adaptive Learning

FashionLens：通过任务自适应学习实现多功能时尚图像检索

Haokun Wen, Xuemeng Song, Xinghao Xie, Xiaolin Chen, Xiangyu Zhao, Weili Guan

机构 * School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院） ； Department of Data Science, City University of Hong Kong（香港城市大学数据科学系） ； Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所） ； School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）信息科学与技术学院） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出FashionLens框架，通过任务自适应学习实现多功能时尚图像检索，解决现有方法无法处理多样检索需求的问题。

CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization

CEPO: 使用对比证据策略优化进行RLVR自蒸馏

Ahmed Heakl, Abdelrahman M. Shaker, Youssef Mohamed, Rania Elbadry, Omar Fetouh, Fahad Shahbaz Khan, Salman Khan

机构 * MBZUAI ； Linköping University（林雪平大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出CEPO，通过对比证据策略优化解决RLVR中自蒸馏的问题，通过区分关键推理步骤与填充内容来提升模型性能。

Comments 9 pages

Enabling Collaborative Parametric Knowledge Calibration for Retrieval-Augmented Vision Question Answering

使检索增强的视觉问答实现协作参数知识校准

Jiaqi Deng, Kaize Shi, Zonghan Wu, Huan Huo, Dingxian Wang, Guandong Xu

机构 * University of Technology Sydney（悉尼大学） ； East China Normal University（华东师范大学） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出了一种统一的检索增强视觉问答框架，通过协作参数知识校准来充分利用KB-VQA中的跨任务协同效应，从而提升问答准确性。

Comments 10 pages, 5 figures, Under Review

Journal ref Knowledge-Based Systems, 8 July 2026, Volume 346

LLM-Oriented Information Retrieval: A Denoising-First Perspective

面向大语言模型的信息检索：一种去噪优先的视角

Lu Dai, Liang Sun, Fanpu Cao, Ziyang Rao, Cehao Yang, Hao Liu, Hui Xiong

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种以去噪为核心的信息检索方法，强调在信息检索全流程中，最大化可利用证据密度和可验证性是关键瓶颈，通过四个阶段框架和信号-噪声优化技术分类，探讨了信息检索中的挑战和解决方案。

Comments SIGIR 2026

CROP: Expert-Aligned Image Cropping via Compositional Reasoning and Optimizing Preference

CROP：通过组合推理和优化偏好实现专家对齐的图像裁剪

Zhitong Dong, Chao Li, Jie Yu, Hao Chen

机构 * Southeast University（东南大学） ； Key Laboratory of New Generation Artificial Intelligence Technology（新一代人工智能技术重点实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CROP方法，通过组合推理和优化偏好，解决传统图像裁剪方法在复杂场景中难以做出组合权衡和缺乏适应性推理的问题，提升裁剪结果与专家审美的一致性。

Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models

逃避视觉失语：面向视觉-语言模型的对比自适应语义令牌修剪

Jie Ma, Yihang Liu, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun

机构 * Xiamen University（厦门大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出COAST方法，通过对比自适应语义路由实现视觉-语言模型的高效令牌修剪，减少77.8%的视觉令牌并提升2.15倍的推理速度，同时保持98.64%的原始性能。

Visual-ERM: Reward Modeling for Visual Equivalence

视觉-ERM：用于视觉等价性的奖励建模

Ziyu Liu, Shengyuan Ding, Xinyu Fang, Xuanlang Dai, Penghui Yang, Jianze Liang, Jiaqi Wang, Kai Chen, Dahua Lin, Yuhang Zang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； CUHK（香港中文大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出视觉-ERM模型，通过细粒度的视觉反馈提升视觉到代码任务的奖励学习效果，实验显示其在图表到代码、表格和SVG解析任务中均取得显著提升。

Comments Project: https://github.com/InternLM/Visual-ERM

T2I-VeRW: Part-level Fine-grained Perception for Text-to-Image Vehicle Retrieval

T2I-VeRW: 基于部件级细粒度感知的文本到图像车辆检索

Xiao Wang, Ziwen Wang, Weizhe Kong, Wentao Wu, Yuehang Li, Aihua Zheng, Chenglong Li, Jin Tang

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； School of Artificial Intelligence, Anhui University（安徽大学人工智能学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PFCVR模型，通过部件级局部对齐和双向掩码恢复模块实现文本到图像的车辆检索，构建了新的大规模数据集T2I-VeRW，实验结果显示PFCVR在两个基准数据集上均取得优异的检索准确率。

BlenderRAG: High-Fidelity 3D Object Generation via Retrieval-Augmented Code Synthesis

BlenderRAG: 通过检索增强的代码合成实现高保真的3D物体生成

Massimo Rondelli, Francesco Pivi, Maurizio Gabbrielli

机构 * University of Bologna（博洛尼亚大学） ； Ferrari S.p.A.（法拉利公司） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 BlenderRAG通过检索增强的代码合成方法，利用500个专家验证的多模态数据集提升Blender代码生成的准确性和一致性，无需微调或专用硬件。

Imitation Game for Adversarial Disillusion with Chain-of-Thought Reasoning in Generative AI

对抗性欺骗的模仿游戏：生成AI中的链式推理

Ching-Chun Chang, Fan-Yun Chen, Shih-Hong Gu, Kai Gao, Hanrui Wang, Isao Echizen

机构 * Information and Society Research Division, National Institute of Informatics（信息与社会研究部，国立信息研究所） ； Department of Information Engineering and Computer Science, Feng Chia University（信息工程与计算机科学系，逢甲大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于模仿游戏的对抗性欺骗防御框架，利用链式推理生成多模态代理，有效对抗生成AI中的演绎和归纳欺骗攻击。

Journal ref in IEEE Access, vol. 13, pp. 95085-95093, 2025

VisRet: Visualization Improves Knowledge-Intensive Text-to-Image Retrieval

VisRet：可视化改进知识密集型文本到图像检索

Di Wu, Yixin Wan, Kai-Wei Chang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 VisRet通过将文本查询投影到图像模态，提升跨模态检索效果，优于传统方法，在四个基准测试中提升nDCG@30，并提高下游问答准确性。

Comments ACL 2026 Camera Ready

ReLeVAnT: Relevance Lexical Vectors for Accurate Legal Text Classification

ReLeVAnT：用于准确法律文本分类的相关词向量

Ishaan Gakhar, Harsh Nandwani

机构 * Perssonify 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ReLeVAnT框架，通过n-gram处理、对比分数匹配和浅层神经网络实现法律文档二分类，准确率达99.3%。

Comments 9 Pages, 2 figures

Lightweight Retrieval-Augmented Generation and Large Language Model-Based Modeling for Scalable Patient-Trial Matching

轻量级检索增强生成与基于大语言模型的建模用于可扩展的患者试验匹配

Xiaodi Li, Yang Xiao, Munhwan Lee, Konstantinos Leventakos, Young J. Juhn, David Jones, Terence T. Sio, Wei Liu, Maria Vassilaki, Nansu Zong

机构 * Department of Artificial Intelligence and Informatics, Mayo Clinic（人工智能与信息学系，梅奥诊所） ； Computer Science Department, University of Tulsa（图兰大学计算机科学系） ； Mayo Clinic Comprehensive Cancer Center, Mayo Clinic（梅奥诊所综合癌症中心，梅奥诊所） ； Division of Community Pediatric and Adolescent Medicine, Department of Pediatrics, Mayo Clinic（社区儿科与青少年医学分会，儿科部，梅奥诊所） ； Department of Neurology, Mayo Clinic（神经病学部，梅奥诊所） ； Department of Radiation Oncology, Mayo Clinic（放射肿瘤学部，梅奥诊所） ； Department of Quantitative Health Sciences, Mayo Clinic（定量健康科学部，梅奥诊所） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出轻量级框架，结合检索增强生成和大语言模型建模，解决患者试验匹配中长异构电子健康记录和复杂资格标准的可扩展性、泛化性和计算效率问题。

Comments 31 pages, 7 figures

Document-as-Image Representations Fall Short for Scientific Retrieval

基于文档的图像表示在科学检索中表现不佳

Ghazal Khalighinejad, Raghuveer Thirukovalluru, Alexander H. Oh, Bhuwan Dhingra

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ArXivDoc新基准，通过LaTeX源代码构建，对比文本、图像和多模态检索方法，发现基于图像的文档表示效果差，文本表示更有效，多模态方法表现最佳。

Rethinking Jailbreak Detection of Large Vision Language Models with Representational Contrastive Scoring

重新思考大型视觉语言模型的 Jailbreak 检测：基于表示对比评分

Peichun Hua, Hao Li, Shanghao Shi, Zhiyuan Yu, Ning Zhang

机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于内部表示对比评分的框架，通过学习轻量投影分离良性与恶意输入，实现有效 Jailbreak 检测，改进现有方法的泛化能力和效率。

Comments To appear at ACL 2026 main