多模态大模型

Artificial Intelligence for the Characterization of Particles and Fibers by Optical Microscopy

用于光学显微镜下颗粒与纤维表征的人工智能方法

Simiao Sun, Kenneth Ng, Lynn Lee, Astrid Harth, Asami Odate, Aggelos Katsaggelos, Manuel Ballester Matito, Nicholas Eastaugh, Marc Walton

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种带语义锚点的AI蒸馏框架，训练仅视觉输入的学生ViT模型，在颗粒与纤维显微镜表征任务中获80%伪类验证准确率等结果，实现更丰富可解释的表征，适用于相关分析场景。

Logographic Character Visual Pretraining via Semantic-based Contrastive Learning

基于语义对比学习的表意文字视觉预训练

Daqian Shi, Wei Cao, Xiaoyu Zheng, Lida Shi, Xiaolei Diao, Cedric M John

机构 * Queen Mary University of London（伦敦玛丽女王大学） ； Jilin University（吉林大学） ； King’s College London（伦敦国王学院） ； University College London（伦敦大学学院） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对表意文字数据集不平衡问题，提出结合视觉与上下文语义的多模态学习方法，通过语义对比预训练提升字符识别性能，在多数据集及下游任务上优于现有最优方法。

Comments ACM MM 2026 paper

Zero-Fi: Zero-Shot Wi-Fi-Based Human Activity Recognition via Contrastive Signal-Language Alignment

Zero-Fi：基于对比信号-语言对齐的零样本Wi-Fi人体活动识别

Yitong Shen, Cheng Guo, Peiliang Wang, Jingzhe Zhang, Yi Sheng, Haopeng Zhang, Hongfei Xue, Yili Ren

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 Zero-Fi是一种对比信号-语言对齐框架，可在无需新活动类标注Wi-Fi样本或模型适配的情况下，实现基于Wi-Fi的零样本人体活动识别，在大规模公开基准数据集上验证了有效性。

VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents

VLD-RAG：用于长的、视觉丰富的多页文档的智能视觉语言检索增强生成

Seonok Kim

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对视觉丰富的长文档问答的多模态检索增强生成，提出VLD-RAG框架，构建多模态索引并采用混合检索策略，经智能体工作流程协调，在相关基准上提升了证据页面检索及问答表现，凸显协调验证与混合检索的重要性。

What Images Cannot Say: Language-Guided Olfactory Representation Learning

图像无法表达的：语言引导的嗅觉表征学习

Eleftherios Tsonis, Xi Wang, Vicky Kalogeiton

机构 * LIX, École Polytechnique, IP Paris, CNRS（LIX，巴黎高等理工学院，IP巴黎，CNRS） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究图像与嗅觉对齐难题，提出SCENT多模态框架，利用视觉语言模型生成场景描述符，训练气味编码器，通过语言引导潜在分解分离特定对象气味与环境贡献，提升跨模态检索性能，产生可解释表征。

Comments ECCV 2026. Project page: https://www.lix.polytechnique.fr/vista/projects/2026_scent_tsonis/

Hierarchical Evidence-Driven Reasoning for Long Document Understanding

用于长文档理解的分层证据驱动推理

Junyu Xiong, Yonghui Wang, Rongjian Gu, Chenyu Liu, Bing Yin, Wengang Zhou, Houqiang Li

机构 * University of Science and Technology of China（中国科学技术大学） ； iFLYTEK Research（科大讯飞研究院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对现有多模态RAG管道面临的问题，提出分层证据驱动的多模态RAG框架HIEVI-RAG，通过四阶段管道，包括分层问题分解、粗视觉页面检索、细粒度页面验证和内存引导迭代生成，提升长文档理解，效果显著优于现有基线。

Scalable Semantic Steering of Embedding Projections

嵌入投影的可扩展语义引导

Wei Liu, Eric Krokos, Kirsten Whitley, Rebecca Faust, Chris North

机构 * Virginia Tech（弗吉尼亚理工学院） ； Department of Defense（国防部） ； Tulane University（路易斯安那州立大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究高维数据嵌入的低维投影语义结构问题，提出可扩展语义引导方法，将语义计算从单个项目转移到用户定义组，通过单LLM调用为组生成结构化配置文件，减少LLM调用并在多模态嵌入中有效应用。

Comments Accepted as a short paper at IEEE VIS 2026. 5 pages, 2 figures

ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models

ALM2Vec: 利用大型音频语言模型学习通用音频检索的音频嵌入

Fengjie Lu, Chenang Jiang, Jiarui Hai, Helin Wang, Aaron Yee

机构 * Zhejiang University（浙江大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI、eess.AS

AI总结 提出ALM2Vec框架，利用预训练大型音频语言模型学习统一嵌入空间，实现跨域、任务感知的音频检索，支持指令感知检索，在标准基准上表现优异。

Comments 7 pages, 3 figures

Hippocampus-DETR: An Explicit Memory Object Detection Framework Based on Hippocampus Modeling

Hippocampus-DETR: 基于海马体建模的显式记忆目标检测框架

Zhaoning Shi, Bo Ma, Hao Xu, Zepeng Yang, Bo Liang

机构 * Beijing institute of Technology（北京理工大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对目标检测模型缺乏显式记忆机制的问题，提出Hippocampus-DETR框架，通过模拟海马体亚区结构实现模式分离与补全，提升检测精度及泛化能力。

From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations

从点击到意图：基于LLM提炼分类法的跨平台会话嵌入用于金融服务推荐

Dianjing Fan, Yao Li, Kyaw Hpone Myint, Dwipam Katariya, Alexandre G. R. Day, Pranab Mohanty, Giri Iyengar

机构 * Capital One 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对金融服务中网页匿名浏览与移动端登录行为差异导致的意图信号利用不足问题，提出自监督Transformer编码会话嵌入与LLM提炼分类法生成可解释标签的双用途框架，在移动端首页排序和用户转化预测任务上显著提升性能。

Comments Dianjing Fan and Yao Li equally contributed to this work. 7 pages, 1 figure

PersonaDrive: Human-Style Retrieval-Augmented VLA Agents for Closed-Loop Driving Simulation

PersonaDrive: 面向闭环驾驶模拟的人类风格检索增强VLA智能体

Mahmoud Srewa, Praneetsai Iddamsetty, Mohammad Abdullah Al Faruque, Salma Elmalaki

机构 * University of California, Irvine（加利福尼亚大学尔湾分校） 纠错

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CL、cs.AI

AI总结 提出PersonaDrive流水线，通过检索风格指令下的人类驾驶演示来调节视觉-语言-动作（VLA）驾驶智能体，实现闭环模拟中多样化的非自车智能体行为，无需针对每种风格重新训练。

D2-ScaleAgent: Dual-Dimensional Scaling for Long Document Understanding

D2-ScaleAgent：面向长文档理解的双维度缩放方法

Hao Zhang, Longrong Yang, Lunhao Duan, Ziyang Wang, Qing-Guo Chen, Shanshan Zhao

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL

AI总结 针对现有多模态RAG长文档理解方法缺乏动态计算缩放能力的问题，提出D2-ScaleAgent双维度缩放智能体框架，在相关基准上取得良好效果。

Toward AI-Friendly Cartography: Understanding How Color Design Influences Foundation Model Spatial Reasoning on Sequential Choropleth Maps

面向AI友好的制图学：理解颜色设计如何影响基础模型在顺序 choropleth 地图上的空间推理

Yonghe Sun, Zhenjia Liu, Hua Liao, Wenjia Xu, Nai Yang, Weihua Dong, Zhiwei Wei

机构 * School of Geographic Sciences, Hunan Normal University（湖南师范大学地理科学学院） ； Hunan Key Laboratory of Geospatial Big Data Mining and Application（湖南省地理空间大数据挖掘与应用重点实验室） ； School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（北京邮电大学信息与通信工程学院） ； School of Geography and Information Engineering, China University of Geosciences（中国地质大学（武汉）地理与信息工程学院） ； Advanced Interdisciplinary Institute of Satellite Applications, State Key Laboratory of Earth Surface Processes and Resource Ecology, Faculty of Geographical Science, Beijing Normal University（北京师范大学地理科学学部卫星应用先进交叉研究院、地表过程与资源生态国家重点实验室） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究探究颜色设计对基础模型空间推理的影响，构建基准评估多模态模型，发现顺序颜色排序和足够对比度对机器地图理解关键，为AI友好制图提供实证指导。

Comments 42 pages, 12 figures, 13 tables

Cross-Domain Industrial Fault Detection by Causal Mechanism Monitoring

基于因果机制监测的跨域工业故障检测

Dhiraj Neupane, Mohamed Reda Bouadjenek, Richard Dazeley, Sunil Aryal

机构 * Deakin University（迪肯大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

AI总结 该研究针对工业系统的耦合故障检测问题，提出CMR-Mamba方法，通过因果正则化的Mamba编码器与kNN流形评分实现跨域故障检测，在多类耦合故障域上优于基准模型。

TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

TraVEL：面向驾驶视频检索的轨迹引导视频嵌入学习

Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

机构 * Uber AV Labs（优步自动驾驶实验室） ； Purdue University（普渡大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究提出TraVEL框架，将通用多模态嵌入模型适配到驾驶视频检索，结合轨迹监督与Group Relative Policy Optimization，在nuReasoning基准上提升了不同规模模型的运动相关检索性能。

Self-Knowledge Retrieval Augmented Generation Framework for Patent Matching

用于专利匹配的自知识检索增强生成框架

Jian Zhang, Songlin Lei, Zhuohao Yang, Bangli Liu, Ziwei Wang, Xufeng Weng, Gehan Amaratunga, Yu Lin, Hongwei Wang

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL

AI总结 针对专利匹配的LLM方法存在成本高、易遗忘等问题，本文提出自知识RAG框架，结合FAISS检索与生成式匹配机制，在真实专利数据集上提升了检索匹配准确率。

Comments Accepted by IEEE CSCWD 2026

FaLCon: Facet-Anchored Retrieval with Late Consensus for Sim2Real Text-Based Person Anomaly Search

FaLCon：用于Sim2Real基于文本的行人异常搜索的基于面锚定的后期共识检索

Hieu Dinh Trung Pham, Phuong Huu Vu Tran, Thuan Duc Mai, Son Nguyen Minh Le, Khang Le Minh, Hoang Vo, Minh-Chi Phung, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen

机构 * Vietnamese-German University（越南-德国大学） ； Ho Chi Minh City University of Technology（胡志明市技术大学） ； University of Information Technology（信息技术大学） ； Ho Chi Minh city University of Science（胡志明市科学大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对Sim2Real基于文本的行人异常搜索的挑战，提出FaLCon框架，结合全局匹配与细粒度验证，在PAB基准上取得优异性能，代码将开源。

Comments accepted to the ECCV 2026 AI City Challenge Workshop

Verifiably grounded machine interpretation of lunar geology

月球地质学的可验证机器解释

Tom Sander, Kay Wohlfarth, Christian Wöhler

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 本研究将地质知识推理方法嵌入多模态视觉-语言架构，构建可验证的月球地质学机器解释模型，结合开卷检索解决数值年龄定年依赖记忆先验的问题，明确自动地质推理的必要架构。

AquiLLM: An Architecture for Supporting Tacit Knowledge Capture in Research Groups

AquiLLM：支持研究群体中隐性知识捕获的架构

Jack Stark, Srinath Saikrishnan, Vikram Seenivasan, Bernie Boscoe, Andrew Lizarraga, Tuan Do

机构 * Southern Oregon University（南俄勒冈大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 AquiLLM是一款采用开放权重模型的开源模块化RAG-LLM框架，经领域专家反馈优化了架构与功能，可支持研究群体捕获隐性知识，助力AI贴合科研实践。

Comments Accepted for publication in the NGEN-AI 2026 proceedings

Steering dense music retrieval with open-vocabulary concept discovery

基于开放词汇概念发现的密集音乐检索控制

Julien Guinot, Alain Riou, Elio Quinton, György Fazekas

专题命中 跨模态检索 ：multimodal(abstract)；分类 eess.AS

AI总结 本研究提出一种轻量无需训练的开放词汇概念发现方法，用于可控音乐检索，可恢复与概念音频示例对齐更紧密的稀疏特征，实现更优的编辑强度与内容保留权衡。

Comments Accepted to ISMIR 2026

CoCo-IR: Contextual Composed Image Retrieval

CoCo-IR：上下文组合图像检索

Shengcao Cao, Tanmaya Shekhar Dabral, Zhongli Ding, Madhuri Shanbhogue, Kaifeng Chen, Zhe Li, Mojtaba Seyedhosseini, Yu-Xiong Wang, Liang-Yan Gui

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google DeepMind（谷歌DeepMind） ； OpenAI 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 针对现有图像检索系统无法处理多轮交互的局限，提出CoCo-IR任务，构建基于LMM的模型并开发自主数据引擎，在CIRCO和自建CoCo-IR基准上取得最优性能。

Comments ECCV 2026

Embedding Large Language Models into Flow Controls: An Agentic Framework for Adaptive and Trustworthy Automated Cooking

将大语言模型嵌入流程控制：一种用于自适应且可信的自动化烹饪的智能体框架

Zihan Song, Hongwei Huang, Yueshuo Sun, Yonglin Tian, Fei-Yue Wang, Bai Li

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 针对自动化烹饪机器人的个性化与可信性问题，提出智能体框架，通过多智能体分解需求、分阶段生成执行代码，实验验证其在真实场景中可靠且实用。

Dr. AGENTONOMICS: A Didactic Experiment of AGENTONOMICS

Dr. AGENTONOMICS：AGENTONOMICS的教学实验

Fengjunjie Pan, Alois Knoll

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究介绍了AGENTONOMICS框架的首个应用Dr. AGENTONOMICS，将其作为教学智能体，提出其可拓展为多角色系统并探讨其对多中心AI经济的意义。

Comments Technical report, Technical University of Munich

UniGD: A Unified Generative-Discriminative Framework for Industrial Retrieval

UniGD：面向工业检索的统一生成-判别框架

Shujie Ji, Yawei Kong, Yilin Zhao, Li Wang, Xialong Liu, Peng Jiang

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 UniGD是整合检索与相关性评分的统一框架，通过CAGE、CAM、HAM解决工业检索问题，在快手平台及NQ320K、MS300K数据集上均取得显著性能提升。

SeCo-SBIR: Semantically Consistent Prompt Learning for Zero-Shot Sketch-Based Image Retrieval

SeCo-SBIR：用于零样本草图-图像检索的语义一致提示学习

Long Hoang Dang, Tuan Nguyen Huu, Nguyen Minh Hieu, Tu Minh Phuong

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

AI总结 SeCo-SBIR是解决CLIP适配ZS-SBIR时域适配与泛化矛盾的语义一致提示学习框架，结合多模态提示、一致性约束与多目标损失，在三类ZS-SBIR基准上达最优性能。

Comments ACMMM 26

Syntax Meets Semantics: Understanding Scientific Formulae

语法与语义融合：理解科学公式

Yuni Susanti, Moritz Schubotz

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

AI总结 本研究针对科学公式语法与语义表征不匹配问题，采用图编码器、文本编码器结合对比学习实现跨模态对齐，显著提升了学术信息检索中的跨模态检索性能。

StyleForge: Indoor Furniture Styling by Counterfactual Reasoning in a Hypergraph Field

StyleForge：基于超图场中反事实推理的室内家具风格生成

Lingwei Dang, Shishuo Shang, Pan Liu, Jiajia Cheng, Ziyan Qiu, Zhenhao Zhang, Yufei Zhu, Shenghui Huang, Qingxin Xiao, Yun Hao, Juntong Li, Qingyao Wu

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 StyleForge是基于动态超图风格场的室内家具风格生成框架，通过反事实风格偏好学习解决固定布局家具的风格冲突，在3D-FRONT数据集上实现了优于基线的家具检索和场景风格一致性。

Allocation Before Ranking: Decoupled Token Compression for OmniLLMs

排序前分配：面向通用大模型（OmniLLMs）的解耦令牌压缩

Zhenghui Guo, Yilin Yang, Yuanbin Man, Miao Yin, Weidong Shi, Rabimba Karanjai, Omprakash Gnawali, Chengming Zhang

机构 * University of Houston（休斯顿大学） ； The University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 针对通用大模型令牌压缩的偏向音频分配问题，提出无需训练的Macer压缩器，先分配音视频预算再按模态排序，降本同时在多基准上保持性能，在OmniVinci-9B上提升达12.9个点。

Discriminative Axis, Not Data Volume: What a Contrastive Corpus Teaches an Audio Embedding

判别轴，而非数据量：对比语料库能为音频嵌入模型带来什么启示

Abdul Basit Tonmoy

机构 * Eximius Labs（埃克西米厄斯实验室） ； Wabash College（沃巴什学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 该研究发现对比音频嵌入模型编码的属性由语料库结构而非规模决定，通过调整语料标注多样性可提升情感识别性能，同时平衡关键词检测能力。

Comments 10 pages, 4 figures

CXR-Retrieve: Compositional Text-to-Image Retrieval in Chest Radiography

CXR-Retrieve：胸部X线摄影中的组合式文本到图像检索

Tomer Erez, Moshe Kimhi, Chaim Baskin, Ehud Rivlin

机构 * Technion – Israel Institute of Technology（以色列理工学院） ； Ben-Gurion University of the Negev（内盖夫本-古里安大学） 纠错

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV

AI总结 针对胸部X线检索的目标不匹配问题，提出CXR-Retrieve基准与标签感知对比微调方法，在双病理组合和否定查询的Precision@5上较CXR-CLIP分别提升8.5和22.0个百分点。