多模态大模型

MMLoP: Multi-Modal Low-Rank Prompting for Efficient Vision-Language Adaptation

MMLoP: 多模态低秩提示用于高效视觉-语言适配

Sajjad Ghiasvand, Haniyeh Ehsani Oskouie, Mahnoosh Alizadeh, Ramtin Pedarsani

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出MMLoP框架，通过低秩分解参数化视觉和文本提示，仅用11.5K可训练参数实现深度多模态提示，并引入自调节一致性损失、均匀漂移校正和共享上投影三个组件，在11个数据集上达到79.70%的基类到新类泛化调和平均。

Towards Developing a Multimodal Chat Assistant for University Stakeholders: RAG-based Approach

面向大学利益相关者的多模态聊天助手开发：基于RAG的方法

Md Abu Hanif Shaikh, Abdullah Al Shafi

机构 * Institute of Information and Communication Technology, Khulna University of Engineering & Technology（信息与通信技术研究所，库尔纳工程技术大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对大学利益相关者获取信息困难的问题，提出基于检索增强生成的多模态聊天系统，结合大语言模型与语义检索，支持文本和图像查询，将幻觉率从31.7%降至6.6%。

Comments Accepted at 2025 28th International Conference on Computer and Information Technology (ICCIT)

Journal ref 2025 28th International Conference on Computer and Information Technology (ICCIT)

ManimAgent: Self-Evolving Multimodal Agents for Visual Education

ManimAgent: 用于视觉教育的自进化多模态智能体

Wenjia Jiang, Zongyuan Cai, Yuanhang Shao, Chenru Wang, Boyan Han, Zhixue Song, Keyu Chen, Shengwei An, Xu Yang, Zhou Yang

机构 * University of Alberta（阿尔伯塔大学） ； Southeast University（东南大学） ； Virginia Tech（弗吉尼亚理工学院） ； Xidian University（西安电子科技大学） ； Vivavia Inc（Vivavia公司） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出ManimAgent，通过双通道情节记忆库跨任务传递反思经验，无需权重更新或人工种子，在代码生成任务中提升通过率并减少反思轮次。

Comments Project page: https://manimagent.github.io/. Code: https://github.com/jwj1342/Paper2Manim

Where Am I? Semantic Map Grounding via Vision-Language Models for Multi-Modal Localization

我在哪里？基于视觉-语言模型的语义地图定位用于多模态定位

Suraj Borate, Aarav Shah, Madhu Vadali

机构 * IIT Gandhinagar（印度理工学院甘地讷格尔分校） 纠错

专题命中 图文多模态 ：multi-modal(title)；cross-modal(abstract)

AI总结 将机器人定位重构为语义推理任务，使用微调的Qwen2.5-VL-7B模型融合摄像头、LiDAR和语义地图预测位姿，在室内数据集上达到98.23%位置精度，并展现出跨模态互补性和对新场景的泛化能力。

Explicit Logic Channel for Validation and Enhancement of MLLMs on Zero-Shot Tasks

显式逻辑通道用于验证和增强用于零样本任务的前沿多模态大语言模型

Mei Chee Leong, Ying Gu, Hui Li Tan, Liyuan Li, Nancy Chen

机构 * Institute for Infocomm Research (I$^2$R)（信息通信研究所） ； Agency for Science, Technology and Research (A*STAR)（科技研究局） ； Singapore（新加坡） 纠错

专题命中 图文多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出显式逻辑通道用于验证和增强多模态大语言模型在零样本任务中的性能，通过显式逻辑推理提高模型的可解释性和可信度。

Comments Accepted to ECCV 2026

HyFL-CLIP: Hyperbolic Fine-Tuning of CLIP for Robust Long-Context Understanding

HyFL-CLIP: 用于鲁棒长上下文理解的CLIP双曲微调

Ji Ha Jang, Hayeon Kim, Chulwon Lee, Junghun James Kim, Se Young Chun

机构 * Dept. of Electrical and Computer Engineering（电气与计算机工程系） ； IPAI ； INMC & AIIS（智能计算与人工智能研究所） ； Seoul National University（首尔国立大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出HyFL-CLIP，通过双曲空间微调CLIP，利用跨流形相似性蒸馏和爱因斯坦中点聚合建模层次蕴含关系，提升长上下文理解鲁棒性，在文本扰动下长文本跨模态检索提升高达19.5%。

Comments Accepted to ECCV 2026. Project page: https://janeyeon.github.io/hyflclip

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LeVLJEPA：无负样本的端到端视觉语言预训练

Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

机构 * German Cancer Research Center（德国癌症研究中心） ； German Cancer Consortium（德国癌症联盟） ； Goethe University Frankfurt（法兰克福大学） ； Brown University（布朗大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出首个完全非对比的端到端视觉语言预训练方法LeVLJEPA，通过跨模态预测与分布正则化学习，无需负样本、温度参数等，生成更强的密集语义特征，在下游任务中优于对比基线。

StochasT: Learning with Stochastic Turn Depth for Visual Instruction Tuning

StochasT：基于随机轮次深度的视觉指令微调学习

Yuan Qing, Chengzhi Mao, Boqing Gong

机构 * Boston University（波士顿大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对视觉指令微调中多轮训练与单轮测试不匹配的问题，提出StochasT方法，通过随机分组语言任务为不同大小的轮次深度，增强模型在单轮和多轮场景下的鲁棒性。

Comments Accepted to ECCV 2026. Project page and code: https://yuanqing-ai.github.io/StochasT

ACD-CLIP: Decoupling Representation and Dynamic Fusion for Zero-Shot Anomaly Detection

ACD-CLIP：解耦表征与动态融合用于零样本异常检测

Ke Ma, Jun Long, Hongxiao Fei, Liujie Hua, Zhen Dai, Yueyi Luo

机构 * Central South University（中南大学） ； Hunan Vocational College of Science and Technology（湖南科技职业学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 ACD-CLIP通过联合优化特征表征与跨模态融合，解决预训练视觉语言模型在零样本异常检测中的适应性不足问题，提出参数高效卷积低秩适应器和动态融合网关提升检测精度与鲁棒性。

Comments 4 pages, 1 reference, 3 figures

Journal ref ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning

感知到推理：解耦感知与推理用于细粒度视觉推理

Hongxing Li, Xiufeng Huang, Dingming Li, Wenjing Jiang, Zixuan Wang, Haolei Xu, Hanrong Zhang, Haiwen Hong, Longtao Huang, Hui Xue, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Perceive-to-Reason (P2R)框架，将细粒度视觉推理解耦为感知和推理两阶段，并引入PRA-GRPO强化学习策略，在多个高分辨率基准上显著提升性能。

Comments Code: https://github.com/ZJU-REAL/Perceive-to-Reason

Towards High-Resolution Visual Perception via Hierarchical Entity Exploration

通过层次化实体探索实现高分辨率视觉感知

Ziyu Ma, Shidong Yang, Yuxiang Ji, Yiming Hu, Tongwen Huang, Yong Wang, Jianfei Cai, Xiangxiang Chu

机构 * AMAP, Alibaba Group, China（阿里巴巴集团高德地图，中国） ； Monash University, Australia（莫纳什大学，澳大利亚） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出无训练、模型无关的层次化实体探索框架HEE，通过动态查询引导、双评分机制和置信度回溯，解决高分辨率图像中细粒度细节丢失问题，在多个基准上超越现有方法。

Comments Accepted by ECCV2026

Selective Test-Time Debiasing for CLIP via Reward Gating

通过奖励门控实现CLIP的选择性测试时去偏

Jaeho Han, Jisoo Yang, Hyeondong Woo, Mingyu Jeon, Sunjae Yoon, Junyeong Kim

机构 * Department of Artificial Intelligence, Chung-Ang University（中央大学人工智能系） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CL

AI总结 提出基于强化学习的测试时自适应框架RG-TTA，根据输入对偏见的敏感性选择性应用去偏，在减少偏见的同时保持零样本性能。

Comments 15 pages, 7 figures, 11 tables

AMALIA-VL: A Native European Portuguese Open-Source Vision and Language Model

AMALIA-VL: 一个原生欧洲葡萄牙语开源视觉与语言模型

Diogo Glória-Silva, João Cardeira, Manuel Letras da Luz, Afonso Simplício, Gonçalo Vinagre, Diogo Tavares, Rafael Ferreira, Inês Calvo, Inês Vieira, David Semedo, João Magalhães

机构 * NOVA School of Science and Technology（NOVA科学与技术学校） ； NOVA LINCS 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对欧洲葡萄牙语缺乏开源多模态模型的问题，提出AMALIA-VL，通过三阶段训练和葡萄牙语中心数据混合，建立强基线并开源所有资源。

PanoGrounder: Bridging 2D and 3D with Panoramic Scene Representations for VLM-based 3D Visual Grounding

PanoGrounder: 利用全景场景表示桥接2D和3D，实现基于VLM的3D视觉定位

Seongmin Jung, Seongho Choi, Gunwoo Jeon, Minsu Cho, Jongwoo Lim

机构 * Seoul National University（首尔大学） ； Robotics Lab, Hyundai Motor Company（现代汽车公司机器人实验室） ； Pohang University of Science and Technology (POSTECH)（浦项科技大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出PanoGrounder框架，通过多模态全景表示与预训练2D VLM结合，实现强泛化能力的3D视觉定位，在ScanRefer和Nr3D上取得最优结果。

Comments ECCV 2026