多模态大模型

Zero-Fi: Zero-Shot Wi-Fi-Based Human Activity Recognition via Contrastive Signal-Language Alignment

Zero-Fi：基于对比信号-语言对齐的零样本Wi-Fi人体活动识别

Yitong Shen, Cheng Guo, Peiliang Wang, Jingzhe Zhang, Yi Sheng, Haopeng Zhang, Hongfei Xue, Yili Ren

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 Zero-Fi是一种对比信号-语言对齐框架，可在无需新活动类标注Wi-Fi样本或模型适配的情况下，实现基于Wi-Fi的零样本人体活动识别，在大规模公开基准数据集上验证了有效性。

VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents

VLD-RAG：用于长的、视觉丰富的多页文档的智能视觉语言检索增强生成

Seonok Kim

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对视觉丰富的长文档问答的多模态检索增强生成，提出VLD-RAG框架，构建多模态索引并采用混合检索策略，经智能体工作流程协调，在相关基准上提升了证据页面检索及问答表现，凸显协调验证与混合检索的重要性。

What Images Cannot Say: Language-Guided Olfactory Representation Learning

图像无法表达的：语言引导的嗅觉表征学习

Eleftherios Tsonis, Xi Wang, Vicky Kalogeiton

机构 * LIX, École Polytechnique, IP Paris, CNRS（LIX，巴黎高等理工学院，IP巴黎，CNRS） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究图像与嗅觉对齐难题，提出SCENT多模态框架，利用视觉语言模型生成场景描述符，训练气味编码器，通过语言引导潜在分解分离特定对象气味与环境贡献，提升跨模态检索性能，产生可解释表征。

Comments ECCV 2026. Project page: https://www.lix.polytechnique.fr/vista/projects/2026_scent_tsonis/

Hierarchical Evidence-Driven Reasoning for Long Document Understanding

用于长文档理解的分层证据驱动推理

Junyu Xiong, Yonghui Wang, Rongjian Gu, Chenyu Liu, Bing Yin, Wengang Zhou, Houqiang Li

机构 * University of Science and Technology of China（中国科学技术大学） ； iFLYTEK Research（科大讯飞研究院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对现有多模态RAG管道面临的问题，提出分层证据驱动的多模态RAG框架HIEVI-RAG，通过四阶段管道，包括分层问题分解、粗视觉页面检索、细粒度页面验证和内存引导迭代生成，提升长文档理解，效果显著优于现有基线。

Scalable Semantic Steering of Embedding Projections

嵌入投影的可扩展语义引导

Wei Liu, Eric Krokos, Kirsten Whitley, Rebecca Faust, Chris North

机构 * Virginia Tech（弗吉尼亚理工学院） ； Department of Defense（国防部） ； Tulane University（路易斯安那州立大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究高维数据嵌入的低维投影语义结构问题，提出可扩展语义引导方法，将语义计算从单个项目转移到用户定义组，通过单LLM调用为组生成结构化配置文件，减少LLM调用并在多模态嵌入中有效应用。

Comments Accepted as a short paper at IEEE VIS 2026. 5 pages, 2 figures

ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models

ALM2Vec: 利用大型音频语言模型学习通用音频检索的音频嵌入

Fengjie Lu, Chenang Jiang, Jiarui Hai, Helin Wang, Aaron Yee

机构 * Zhejiang University（浙江大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 提出ALM2Vec框架，利用预训练大型音频语言模型学习统一嵌入空间，实现跨域、任务感知的音频检索，支持指令感知检索，在标准基准上表现优异。

Comments 7 pages, 3 figures

Hippocampus-DETR: An Explicit Memory Object Detection Framework Based on Hippocampus Modeling

Hippocampus-DETR: 基于海马体建模的显式记忆目标检测框架

Zhaoning Shi, Bo Ma, Hao Xu, Zepeng Yang, Bo Liang

机构 * Beijing institute of Technology（北京理工大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对目标检测模型缺乏显式记忆机制的问题，提出Hippocampus-DETR框架，通过模拟海马体亚区结构实现模式分离与补全，提升检测精度及泛化能力。

From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations

从点击到意图：基于LLM提炼分类法的跨平台会话嵌入用于金融服务推荐

Dianjing Fan, Yao Li, Kyaw Hpone Myint, Dwipam Katariya, Alexandre G. R. Day, Pranab Mohanty, Giri Iyengar

机构 * Capital One 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对金融服务中网页匿名浏览与移动端登录行为差异导致的意图信号利用不足问题，提出自监督Transformer编码会话嵌入与LLM提炼分类法生成可解释标签的双用途框架，在移动端首页排序和用户转化预测任务上显著提升性能。

Comments Dianjing Fan and Yao Li equally contributed to this work. 7 pages, 1 figure

PersonaDrive: Human-Style Retrieval-Augmented VLA Agents for Closed-Loop Driving Simulation

PersonaDrive: 面向闭环驾驶模拟的人类风格检索增强VLA智能体

Mahmoud Srewa, Praneetsai Iddamsetty, Mohammad Abdullah Al Faruque, Salma Elmalaki

机构 * University of California, Irvine（加利福尼亚大学尔湾分校） 纠错

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CL、cs.AI

AI总结 提出PersonaDrive流水线，通过检索风格指令下的人类驾驶演示来调节视觉-语言-动作（VLA）驾驶智能体，实现闭环模拟中多样化的非自车智能体行为，无需针对每种风格重新训练。

TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

TraVEL：面向驾驶视频检索的轨迹引导视频嵌入学习

Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

机构 * Uber AV Labs（优步自动驾驶实验室） ； Purdue University（普渡大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究提出TraVEL框架，将通用多模态嵌入模型适配到驾驶视频检索，结合轨迹监督与Group Relative Policy Optimization，在nuReasoning基准上提升了不同规模模型的运动相关检索性能。

Self-Knowledge Retrieval Augmented Generation Framework for Patent Matching

用于专利匹配的自知识检索增强生成框架

Jian Zhang, Songlin Lei, Zhuohao Yang, Bangli Liu, Ziwei Wang, Xufeng Weng, Gehan Amaratunga, Yu Lin, Hongwei Wang

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL

AI总结 针对专利匹配的LLM方法存在成本高、易遗忘等问题，本文提出自知识RAG框架，结合FAISS检索与生成式匹配机制，在真实专利数据集上提升了检索匹配准确率。

Comments Accepted by IEEE CSCWD 2026

FaLCon: Facet-Anchored Retrieval with Late Consensus for Sim2Real Text-Based Person Anomaly Search

FaLCon：用于Sim2Real基于文本的行人异常搜索的基于面锚定的后期共识检索

Hieu Dinh Trung Pham, Phuong Huu Vu Tran, Thuan Duc Mai, Son Nguyen Minh Le, Khang Le Minh, Hoang Vo, Minh-Chi Phung, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen

机构 * Vietnamese-German University（越南-德国大学） ； Ho Chi Minh City University of Technology（胡志明市技术大学） ； University of Information Technology（信息技术大学） ； Ho Chi Minh city University of Science（胡志明市科学大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对Sim2Real基于文本的行人异常搜索的挑战，提出FaLCon框架，结合全局匹配与细粒度验证，在PAB基准上取得优异性能，代码将开源。

Comments accepted to the ECCV 2026 AI City Challenge Workshop

Verifiably grounded machine interpretation of lunar geology

月球地质学的可验证机器解释

Tom Sander, Kay Wohlfarth, Christian Wöhler

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 本研究将地质知识推理方法嵌入多模态视觉-语言架构，构建可验证的月球地质学机器解释模型，结合开卷检索解决数值年龄定年依赖记忆先验的问题，明确自动地质推理的必要架构。

AquiLLM: An Architecture for Supporting Tacit Knowledge Capture in Research Groups

AquiLLM：支持研究群体中隐性知识捕获的架构

Jack Stark, Srinath Saikrishnan, Vikram Seenivasan, Bernie Boscoe, Andrew Lizarraga, Tuan Do

机构 * Southern Oregon University（南俄勒冈大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 AquiLLM是一款采用开放权重模型的开源模块化RAG-LLM框架，经领域专家反馈优化了架构与功能，可支持研究群体捕获隐性知识，助力AI贴合科研实践。

Comments Accepted for publication in the NGEN-AI 2026 proceedings

Steering dense music retrieval with open-vocabulary concept discovery

基于开放词汇概念发现的密集音乐检索控制

Julien Guinot, Alain Riou, Elio Quinton, György Fazekas

专题命中 跨模态检索 ：multimodal(abstract)；分类 eess.AS

AI总结 本研究提出一种轻量无需训练的开放词汇概念发现方法，用于可控音乐检索，可恢复与概念音频示例对齐更紧密的稀疏特征，实现更优的编辑强度与内容保留权衡。

Comments Accepted to ISMIR 2026

CoCo-IR: Contextual Composed Image Retrieval

CoCo-IR：上下文组合图像检索

Shengcao Cao, Tanmaya Shekhar Dabral, Zhongli Ding, Madhuri Shanbhogue, Kaifeng Chen, Zhe Li, Mojtaba Seyedhosseini, Yu-Xiong Wang, Liang-Yan Gui

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google DeepMind（谷歌DeepMind） ； OpenAI 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 针对现有图像检索系统无法处理多轮交互的局限，提出CoCo-IR任务，构建基于LMM的模型并开发自主数据引擎，在CIRCO和自建CoCo-IR基准上取得最优性能。

Comments ECCV 2026

Embedding Large Language Models into Flow Controls: An Agentic Framework for Adaptive and Trustworthy Automated Cooking

将大语言模型嵌入流程控制：一种用于自适应且可信的自动化烹饪的智能体框架

Zihan Song, Hongwei Huang, Yueshuo Sun, Yonglin Tian, Fei-Yue Wang, Bai Li

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 针对自动化烹饪机器人的个性化与可信性问题，提出智能体框架，通过多智能体分解需求、分阶段生成执行代码，实验验证其在真实场景中可靠且实用。

Dr. AGENTONOMICS: A Didactic Experiment of AGENTONOMICS

Dr. AGENTONOMICS：AGENTONOMICS的教学实验

Fengjunjie Pan, Alois Knoll

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究介绍了AGENTONOMICS框架的首个应用Dr. AGENTONOMICS，将其作为教学智能体，提出其可拓展为多角色系统并探讨其对多中心AI经济的意义。

Comments Technical report, Technical University of Munich

UniGD: A Unified Generative-Discriminative Framework for Industrial Retrieval

UniGD：面向工业检索的统一生成-判别框架

Shujie Ji, Yawei Kong, Yilin Zhao, Li Wang, Xialong Liu, Peng Jiang

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 UniGD是整合检索与相关性评分的统一框架，通过CAGE、CAM、HAM解决工业检索问题，在快手平台及NQ320K、MS300K数据集上均取得显著性能提升。

SeCo-SBIR: Semantically Consistent Prompt Learning for Zero-Shot Sketch-Based Image Retrieval

SeCo-SBIR：用于零样本草图-图像检索的语义一致提示学习

Long Hoang Dang, Tuan Nguyen Huu, Nguyen Minh Hieu, Tu Minh Phuong

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

AI总结 SeCo-SBIR是解决CLIP适配ZS-SBIR时域适配与泛化矛盾的语义一致提示学习框架，结合多模态提示、一致性约束与多目标损失，在三类ZS-SBIR基准上达最优性能。

Comments ACMMM 26

Syntax Meets Semantics: Understanding Scientific Formulae

语法与语义融合：理解科学公式

Yuni Susanti, Moritz Schubotz

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

AI总结 本研究针对科学公式语法与语义表征不匹配问题，采用图编码器、文本编码器结合对比学习实现跨模态对齐，显著提升了学术信息检索中的跨模态检索性能。

StyleForge: Indoor Furniture Styling by Counterfactual Reasoning in a Hypergraph Field

StyleForge：基于超图场中反事实推理的室内家具风格生成

Lingwei Dang, Shishuo Shang, Pan Liu, Jiajia Cheng, Ziyan Qiu, Zhenhao Zhang, Yufei Zhu, Shenghui Huang, Qingxin Xiao, Yun Hao, Juntong Li, Qingyao Wu

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 StyleForge是基于动态超图风格场的室内家具风格生成框架，通过反事实风格偏好学习解决固定布局家具的风格冲突，在3D-FRONT数据集上实现了优于基线的家具检索和场景风格一致性。

Allocation Before Ranking: Decoupled Token Compression for OmniLLMs

排序前分配：面向通用大模型（OmniLLMs）的解耦令牌压缩

Zhenghui Guo, Yilin Yang, Yuanbin Man, Miao Yin, Weidong Shi, Rabimba Karanjai, Omprakash Gnawali, Chengming Zhang

机构 * University of Houston（休斯顿大学） ； The University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 针对通用大模型令牌压缩的偏向音频分配问题，提出无需训练的Macer压缩器，先分配音视频预算再按模态排序，降本同时在多基准上保持性能，在OmniVinci-9B上提升达12.9个点。

Discriminative Axis, Not Data Volume: What a Contrastive Corpus Teaches an Audio Embedding

判别轴，而非数据量：对比语料库能为音频嵌入模型带来什么启示

Abdul Basit Tonmoy

机构 * Eximius Labs（埃克西米厄斯实验室） ； Wabash College（沃巴什学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 该研究发现对比音频嵌入模型编码的属性由语料库结构而非规模决定，通过调整语料标注多样性可提升情感识别性能，同时平衡关键词检测能力。

Comments 10 pages, 4 figures

CXR-Retrieve: Compositional Text-to-Image Retrieval in Chest Radiography

CXR-Retrieve：胸部X线摄影中的组合式文本到图像检索

Tomer Erez, Moshe Kimhi, Chaim Baskin, Ehud Rivlin

机构 * Technion – Israel Institute of Technology（以色列理工学院） ； Ben-Gurion University of the Negev（内盖夫本-古里安大学） 纠错

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV

AI总结 针对胸部X线检索的目标不匹配问题，提出CXR-Retrieve基准与标签感知对比微调方法，在双病理组合和否定查询的Precision@5上较CXR-CLIP分别提升8.5和22.0个百分点。

Gradient-free Task-Conditioned Retrieval for On-Device In-Context Learning

面向设备内上下文学习的无梯度任务条件检索

Xinyu Luo, Hui Liu, Yihua Shao, Junyi Yang, Arindam Basu, Haoliang Li

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 该研究提出无梯度框架CoRA，实现设备内任务条件检索，无需检索器微调等操作，在多数据集及树莓派5部署中展现有效性。

Comments Under review

ANFI: Rethinking Neighbor Feature Interaction in Person Re-ID

ANFI：重新思考行人重识别中的邻居特征交互

Xulin Li, Yan Lu, Bin Liu, Jiaze Li, Qinhong Yang, Tao Gong, Qi Chu, Nenghai Yu

机构 * University of Science and Technology of China（中国科学技术大学） ； Anhui Province Key Laboratory of Digital Security（安徽省数字安全重点实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 该研究针对行人重识别中基于邻居方法仅依赖亲和关系、受噪声邻居影响的问题，提出ANFI方法，不仅建模亲和关系与差异关系，还用自适应加权，通过新邻域相似度导出差异关系，经噪声关系监督训练，实验证明其在多种设置下的优越性。

Comments accepted by ECCV2026

Achieving Text-based Person Retrieval with Any Granularity

实现任意粒度的基于文本的行人检索

Jialong Zuo, Hanyu Zhou, Dongyue Wu, Yongtai Deng, Mengdan Tan, Nong Sang, Changxin Gao, Xiang Bai

机构 * National Key Laboratory of Multispectral Information Intelligent Processing Technology, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院多光谱信息智能处理技术国家重点实验室） ； School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 该研究针对基于文本的行人检索中查询粒度不确定问题提出新范式，构建多粒度数据集和评估基准，提出CMAM框架，通过多种策略实现粒度感知检索，实验证明其性能优于现有方法，为行人检索系统奠定基础。

Comments TPAMI-2026 Accepted Paper

Journal ref IEEE Transactions on Pattern Analysis and Machine Intelligence, 2026, pp. 1-18

Distribution-Alignment Bridge for Uncertainty-Aware Text-to-Video Retrieval

用于不确定性感知文本到视频检索的分布对齐桥

Kyeongmo Chae, Jihoon Lee, Sangtae Ahn

机构 * School of Electronic and Electrical Engineering, Kyungpook National University（庆北国立大学电子与电气工程学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究文本到视频检索问题，提出分布对齐桥（DAB）框架，将其视为分布对齐任务，通过高斯分布建模考虑不确定性，用受扩散启发的桥和分布感知对比损失优化，在多基准测试中显著优于现有基线并提供校准排名。

Comments ECCV 2026

Not All Patches are Equal: Sampling Matters for Visible-Infrared Pre-Training

并非所有补丁都一样：可见-红外预训练中的采样很重要

Qiwei Ma, Bin Deng, Junjie Zhu, Qiangjuan Huang, Puhong Duan, Ke Yang, Xudong Kang, Shutao Li

机构 * Yuelushan Center for Industrial Innovation（岳麓山工业创新中心） ； Intelligent Game and Decision Lab（智能游戏与决策实验室） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究针对可见-红外预训练，提出重要性感知采样（IAS）方法，通过从红外结构线索导出权重、学习重要性掩码及采用补丁课程学习策略调整训练重点，在多个VIS-IR基准实验中比基线有改进。

Comments 13 pages, 11 figures,