多模态大模型

Augmenting representations with scientific papers

用科学论文增强表示

Nicolò Oreste Pinciroli Vago, Rocco Di Tella, Carolina Cuesta-Lázaro, Michael J. Smith, Cecilia Garraffo, Rafael Martínez-Galarza

机构 * Department of Electronics, Information and Bioengineering, Politecnico di Milano（电子工程与信息学院，米兰理工学院） ； Osservatorio Astronomico di Roma, INAF（罗马天文台，INAF） ； AstroAI, Center for Astrophysics | | Harvard & Smithsonian（AstroAI，哈佛与史密松尼天体物理中心） ； Center for Computational Astrophysics, Institute for Advanced Study/The Flatiron Institute（计算天文学中心，高级研究院/Flatiron研究所） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出了一种对比学习框架，通过将X射线光谱与科学文献中的领域知识对齐，提升多模态表示的性能，并在天体物理领域实现了显著的变量估计改进。

Comments Accepted at the 2nd Workshop on Foundation Models for Science (ICLR 2026)

FlowCLAS: Enhancing Normalizing Flow Via Contrastive Learning For Anomaly Segmentation

通过对比学习增强归一化流用于异常分割

Chang Won Lee, Selina Leveugle, Svetlana Stolpner, Chris Langley, Paul Grouchy, Jonathan Kelly, Steven L. Waslander

机构 * University of Toronto（多伦多大学） ； MDA Space（MDA空间） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

AI总结 FlowCLAS通过对比学习增强归一化流，有效提升异常分割性能，达到多个机器人异常分割基准的最先进水平。

Comments WACV 2026 Camera Ready

A Survey of Query Optimization in Large Language Models

大型语言模型中查询优化的综述

Mingyang Song, Mao Zheng

机构 * Large Language Model Department（大语言模型部门） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL

AI总结 本文综述了大型语言模型中查询优化的技术，提出查询优化生命周期框架、查询复杂度分类法及四个基本操作，分析了优化方法和挑战，为研究和实践提供指导。

Comments Ongoing Work

Beyond the Grid: Layout-Informed Multi-Vector Retrieval with Parsed Visual Document Representations

超越网格：基于解析视觉文档表示的布局感知多向量检索

Yibo Yan, Mingdong Ou, Yi Cao, Xin Zou, Shuliang Liu, Jiahao Huo, Yu Huang, James Kwok, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Alibaba Cloud Computing（阿里云计算） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 ColParse通过生成布局感知的子图像嵌入和全局向量融合，实现高效多向量检索，显著降低存储需求并提升性能。

Comments Under review

RepoRepair: Leveraging Code Documentation for Repository-Level Automated Program Repair

RepoRepair: 利用代码文档实现仓库级别的自动程序修复

Zhongqiang Pan, Chuanyi Li, Wenkang Zhong, Yi Feng, Bin Luo, Vincent Ng

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Human Language Technology Research Institute, University of Texas at Dallas（人机语言技术研究院，德克萨斯大学达拉斯分校） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 RepoRepair通过生成代码文档增强LLM能力，实现仓库级别的自动程序修复，取得高修复率和低成本的优异表现。

Heterophily-Agnostic Hypergraph Neural Networks with Riemannian Local Exchanger

无异质性偏见的超图神经网络与黎曼局部交换器

Li Sun, Ming Zhang, Wenxin Jin, Zhongtian Sun, Zhenhao Huang, Hao Peng, Sen Su, Philip Yu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； North China Electric Power University（华北电力大学） ； University of Kent（肯特大学） ； Beihang University（北航） ； University of Illinois（伊利诺伊大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

AI总结 本文提出HealHGNN，通过黎曼几何和自适应局部交换器实现异质性无关的超图神经网络，提升长距离依赖建模和表示区分性。

Comments Accepted by WWW'26, 12 pages

M$^2$: Dual-Memory Augmentation for Long-Horizon Web Agents via Trajectory Summarization and Insight Retrieval

M$^2$: 通过轨迹摘要和洞察检索实现长 horizon 网络代理的双记忆增强

Dawei Yan, Haokui Zhang, Guangda Huzhang, Yang Li, Yibo Wang, Qing-Guo Chen, Zhao Xu, Weihua Luo, Ying Li, Wei Dong, Chunhua Shen

机构 * Northwestern Polytechnical University, Xi'an, China（西北工业大学） ； AI Business, Alibaba Group, Hangzhou, China（阿里云人工智能业务） ； Xi'an University of Architecture（西安建筑科技大学） ； Zhejiang University, Hangzhou, China（浙江大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 M$^2$通过双记忆机制提升长 horizon 网络代理的上下文效率和决策鲁棒性，实现更高成功率和更低计算成本。

Dynamic Uncertainty Learning with Noisy Correspondence for Text-Based Person Search

基于噪声对应关系的动态不确定性学习用于基于文本的人脸搜索

Zequn Xie, Haoming Ji, Chengxuan Li, Lingwei Meng

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts Telecommunications（北京邮电大学） ； Beijing Forestry University（北京林业大学） ； Northwest Normal University（西北师范大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出DURA框架，通过动态不确定性学习和关系对齐方法，提升基于文本的人脸搜索在噪声环境下的鲁棒性和检索性能。

Half-Truths Break Similarity-Based Retrieval

半真信息破坏基于相似性的检索

Bora Kargi, Arnas Uselis, Seong Joon Oh

机构 * University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心） ； Konrad Zuse School of Excellence in Learning and Intelligent Systems (ELIZA)（科纳德·祖斯卓越学习与智能系统学校（ELIZA）） 纠错

专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV

AI总结 CS-CLIP通过分解标题为实体和关系单元并改进监督方法，提升了基于相似性检索的准确性。

DACESR: Degradation-Aware Conditional Embedding for Real-World Image Super-Resolution

DACESR: 退化感知条件嵌入用于现实世界图像超分辨率

Xiaoyan Lei, Wenlong Zhang, Biao Luo, Hui Liang, Weifeng Cao, Qiuting Lin

机构 * School of Electrical and Information Engineering, Zhengzhou University of Light Industry（郑州轻工业大学电气与信息工程学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； School of Automation, Central South University（中南大学自动化学院） ； Intelligent Manufacturing Engineering at Machinery Technology Development Co.,Ltd.（机械技术发展有限公司智能制造工程） ； China Academy of Machinery Science and Technology Group Co.,Ltd.（中国机械科学与技术集团有限公司） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 DACESR通过退化感知条件嵌入提升现实世界图像超分辨率的保真度与感知质量。

Comments Accepted by TIP

ECAM: A Contrastive Learning Approach to Avoid Environmental Collision in Trajectory Forecasting

ECAM: 一种用于轨迹预测中避免环境碰撞的对比学习方法

Giacomo Rosin, Muhammad Rameez Ur Rahman, Sebastiano Vascon

机构 * Department of Environmental Sciences, Informatics and Statistics, Ca' Foscari University of Venice, Italy（环境科学、信息学与统计学系，威尼斯卡福斯卡里大学，意大利） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

AI总结 ECAM通过对比学习方法提升轨迹预测中对环境碰撞的避免能力，有效降低碰撞率。

Comments IJCNN 2025

Uncertainty-Aware Delivery Delay Duration Prediction via Multi-Task Deep Learning

基于多任务深度学习的不确定性感知交付延迟持续时间预测

Stefan Faulkner, Reza Zandehshahvar, Vahid Eghbal Akhlaghi, Sebastien Ouellet, Carsten Jordan, Pascal Van Hentenryck

机构 * NSF Artificial Intelligence Institute for Advances in Optimization（美国国家科学基金会人工智能优化研究所） ； H. Milton Stewart School of Industrial and Systems Engineering（H.米尔顿·斯图尔特工业与系统工程学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Kinaxis（Kinaxis公司） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出一种多任务深度学习模型，通过端到端训练提升延迟运输检测和概率预测能力，有效应对高不平衡和异质性物流数据挑战。

BioLM-Score: Language-Prior Conditioned Probabilistic Geometric Potentials for Protein-Ligand Scoring

BioLM-Score：基于语言先验的概率几何势用于蛋白质-配体评分

Zhangfan Yang, Baoyun Chen, Dong Xu, Jia Wang, Ruibin Bai, Junkai Ji, Zexuan Zhu

机构 * School of Computer Science, University of Nottingham Ningbo（计算机科学学院，诺丁汉大学宁波分校） ； School of Artificial Intelligence, Shenzhen University（人工智能学院，深圳大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 BioLM-Score结合几何建模与表征学习，提供一种高效、可泛化且可解释的蛋白质-配体评分方法，提升药物发现效率。

Comments 9 pages, 2 figures

Revealing and Enhancing Core Visual Regions: Harnessing Internal Attention Dynamics for Hallucination Mitigation in LVLMs

揭示并增强核心视觉区域：利用内部注意力动态缓解LVLMs中的幻觉

Guangtao Lyu, Qi Liu, Chenghao Xu, Jiexi Yan, Muli Yang, Xueting Li, Fen Fang, Cheng Deng

机构 * School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； College of Computer and Information, Hohai University（河海大学计算机与信息学院） ； Institute for Infocomm Research, A*STAR（A*STAR信息与通信研究所） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 PADE通过构建PAD图和系统令牌补偿，利用内部注意力动态提升LVLMs的视觉定位能力并减少幻觉。

Seeing to Generalize: How Visual Data Corrects Binding Shortcuts

看见以泛化：视觉数据如何纠正绑定捷径

Nicolas Buzeta, Felipe del Rio, Cristian Hinostroza, Denis Parra, Hans Lobel, Rodrigo Toro Icarte

机构 * Department of Computer Science, Pontificia Universidad Católica, Santiago, Chile（计算机科学系，天主教大学，圣地亚哥，智利） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CL

AI总结 视觉数据训练可增强模型在单模态任务中的推理与泛化能力，通过改变绑定策略提升分布外性能。

Comments Submitted to ICML 2026

Fusing Pixels and Genes: Spatially-Aware Learning in Computational Pathology

融合像素与基因：计算病理学中的空间感知学习

Minghao Han, Dingkang Yang, Linhao Qu, Zizhi Chen, Gang Li, Han Wang, Jiacong Wang, Lihua Zhang

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Fysics Intelligence Technologies Co., Ltd. (Fysics AI)（菲茨斯智能科技有限公司（菲茨斯AI）） ； Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系） ； Tencent Youtu Lab（腾讯优图实验室） ； ByteDance（字节跳动） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 STAMP通过整合空间解析基因表达数据，提升计算病理学中多模态学习的性能与泛化能力。

Comments accepted by ICLR 2026, 34 pages, 10 figures, 7tables

RI-Mamba: Rotation-Invariant Mamba for Robust Text-to-Shape Retrieval

RI-Mamba：用于鲁棒文本到形状检索的旋转不变Mamba

Khanh Nguyen, Dasith de Silva Edirimuni, Ghulam Mubashar Hassan, Ajmal Mian

机构 * The University of Western Australia（西澳大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 RI-Mamba是一种旋转不变的状态空间模型，用于提升文本到形状检索的鲁棒性和表现力。

Contrastive Learning for Multi Label ECG Classification with Jaccard Score Based Sigmoid Loss

基于Jaccard分数的Sigmoid损失的多标签ECG分类对比学习

Junichiro Takahashi, Masataka Sato, Satoshi Kodeta, Norihiko Takeda

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究提出基于Jaccard分数的Sigmoid损失的对比学习方法，用于提升多标签ECG分类的性能，通过改进损失函数和数据增强技术提高诊断准确性。

Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding

通过对比嵌入链理解LVLMs的语言先验

Lin Long, Changdae Oh, Seongheon Park, Sharon Li

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 通过对比嵌入链分析，揭示LVLMs中视觉信息整合的关键层及影响响应生成的强度量化方法。

Comments ICLR 2026

Do Images Clarify? A Study on the Effect of Images on Clarifying Questions in Conversational Search

图像能澄清问题吗？一种研究图像在会话搜索中澄清问题效果的探讨

Clemencia Siro, Zahra Abbasiantaeb, Yifei Yuan, Mohammad Aliannejadi, Maarten de Rijke

机构 * University of Amsterdam（阿姆斯特丹大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 研究探讨图像在会话搜索中澄清问题的效果，发现多模态问题在回答澄清问题时更受青睐，但查询重述任务中效果更平衡，且图像影响因任务类型和用户专业知识而异。

Comments Accepted at CHIIR 2025

Adventures in Demand Analysis Using AI

利用人工智能进行需求分析的冒险

Philipp Bach, Victor Chernozhukov, Sven Klaassen, Martin Spindler, Jan Teichert-Kluge, Suhas Vijaykumar

机构 * Freie Universität Berlin（柏林自由大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Hamburg（汉堡大学） ； UC San Diego（圣地亚哥大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 本文利用AI生成多模态产品表示，提升需求分析的预测准确性与因果推断的可信度。

Comments 35 pages, 8 figures

Beyond Global Alignment: Fine-Grained Motion-Language Retrieval via Pyramidal Shapley-Taylor Learning

超越全局对齐：通过金字塔Shapley-Taylor学习实现细粒度动语言检索

Hanmo Chen, Guangtao Lyu, Chenghao Xu, Jiexi Yan, Xu Yang, Cheng Deng

机构 * Hangzhou Institute of Technology, Xidian University, Hangzhou, China（杭州理工大学、西安电子科技大学、杭州，中国） ； Xidian University, Xi'an, China（西安电子科技大学、西安，中国） ； Hohai University, Nanjing, China（河海大学、南京，中国） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出基于金字塔Shapley-Taylor学习的细粒度动语言检索方法，通过分层对齐捕捉局部细节与层次结构，提升检索性能。

NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models

NOBLE -- 基于生物启发性潜在嵌入的神经算子：捕捉生物神经元模型中的实验变异

Luca Ghafourpour, Valentin Duruisseaux, Bahareh Tolooshams, Philip H. Wong, Costas A. Anastassiou, Anima Anandkumar

机构 * ETH Zürich（苏黎世联邦理工学院） ； California Institute of Technology（加州理工学院） ； University of Alberta（阿尔伯塔大学） ； Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所） ； Cedars-Sinai Medical Center（Cedars-Sinai 医疗中心） ； Archimedes AI, Athena Research Center（Archimedes AI，Athena 研究中心） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 NOBLE通过生物启发性潜在嵌入和神经算子框架，高效生成具有实验变异性的合成神经元，实现神经动态的准确预测和模拟。

Towards Interpretable Hallucination Analysis and Mitigation in LVLMs via Contrastive Neuron Steering

通过对比神经元引导实现大型视觉语言模型中幻觉分析与缓解

Guangtao Lyu, Xinyi Cheng, Qi Liu, Chenghao Xu, Jiexi Yan, Muli Yang, Fen Fang, Cheng Deng

机构 * School of Electronic Engineering, Xidian University, Xi'an, China（西安电子科技大学电子工程学院） ； School of Computer Science and Technology, Xidian University, Xi'an, China（西安电子科技大学计算机科学与技术学院） ； College of Computer and Information, Hohai University, Nanjing, China（河海大学计算机与信息学院） ； Institute for Infocomm Research, A*STAR, Singapore（新加坡资讯研究院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 通过对比神经元引导方法，分析并缓解大型视觉语言模型中的幻觉问题，提升视觉表示的稳健性和语义基础性。

Contrastive Domain Generalization for Cross-Instrument Molecular Identification in Mass Spectrometry

对比域泛化用于质谱中跨仪器分子识别

Seunghyun Yoo, Sanghong Kim, Namkyung Yoon, Hwangnam Kim

机构 * School of Electrical Engineering, Korea University, Seoul 02841, Korea（韩国大学电气工程学院） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

AI总结 本文提出一种跨模态对齐框架，通过将质谱直接映射到预训练化学语言模型的分子结构嵌入空间，提升跨仪器分子识别的泛化能力。

Comments 8 pages, 2 figures

Understanding and Mitigating Errors of LLM-Generated RTL Code

理解并缓解LLM生成的RTL代码错误

Jiazheng Zhang, Cheng Liu, Long Cheng, Xiaowei Li, Huawei Li

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出基于LLM的框架，通过检索增强生成、规则检查、多模态转换和迭代仿真调试，显著提升了RTL代码生成的准确性。

Comments Accepted by IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems

One-shot Optimized Steering Vector for Hallucination Mitigation for VLMs

单次优化的转向向量用于VLMs的幻觉缓解

Youxu Shi, Suorong Yang, Dong Liu

机构 * University of Science（科学大学） ； Nanjing University（南京大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出OSGA框架，通过单次优化生成通用转向向量，有效缓解VLMs的幻觉问题并提升安全性。

A Three-Level Alignment Framework for Large-Scale 3D Retrieval and Controlled 4D Generation

一种用于大规模3D检索和受控4D生成的三级对齐框架

Philip Xu

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 Uni4D通过三级对齐框架实现大规模3D检索与可控4D生成，提升多模态动态理解与应用

Comments arXiv admin note: Author list truncated. This submission has been withdrawn by arXiv administrators as authors were added without their knowledge or consent

QualiRAG: Retrieval-Augmented Generation for Visual Quality Understanding

QualiRAG：用于视觉质量理解的检索增强生成

Linhan Cao, Wei Sun, Weixia Zhang, Xiangyang Zhu, Kaiwei Zhang, Jun Jia, Dandan Zhu, Guangtao Zhai, Xiongkuo Min

机构 * Shanghai Jiao Tong University（上海交通大学） ； East China Normal University（华东师范大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 QualiRAG通过检索增强生成框架，利用大模型的潜在感知知识，实现无需训练的视觉质量理解与比较。

Cross-domain EEG-based Emotion Recognition with Contrastive Learning

跨领域EEG情感识别与对比学习

Rui Yan, Yibo Li, Han Ding, Fei Wang

机构 * School of Software Engineering, Xi'an Jiaotong University, China（西安交通大学软件工程学院） ； School of Computer Science and Technology, Xi'an Jiaotong University, China（西安交通大学计算机科学与技术学院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 EmotionCLIP通过多模态对比学习提升EEG情感识别的跨领域泛化能力，实现跨受试者和跨时间的高准确率

Comments Accepted by IEEE ICASSP 2026