多模态大模型

YOLOv10 with Kolmogorov-Arnold networks and vision-language foundation models for interpretable object detection and trustworthy multimodal AI in computer vision perception

YOLOv10结合Kolmogorov-Arnold网络和视觉-语言基础模型用于可解释的目标检测和可信的多模态AI在计算机视觉感知

Marios Impraimakis, Daniel Vazquez, Feiyu Zhou

机构 * University of Bath（巴斯大学） ； Zhejiang University（浙江大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出一种基于Kolmogorov-Arnold网络和视觉-语言基础模型的YOLOv10框架，通过七种几何和语义特征提升目标检测的可解释性，并在模糊、遮挡或低纹理场景中实现可信的置信度估计。

Comments 14 pages, 23 Figures, 6 Tables

Founder effects shape the evolutionary dynamics of multimodality in open LLM families

奠基效应塑造了开放大语言模型家族中多模态的进化动态

Manuel Cebrian

机构 * Center for Automation and Robotics, Spanish National Research Council, Madrid, Spain（自动化与机器人中心，西班牙国家研究委员会，西班牙马德里） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究通过分析模型谱系数据，发现多模态能力在开放大语言模型家族中通过罕见的奠基事件进入，并在后代谱系中快速扩展，导致多模态能力的采用动态呈现突变特征。

Comments 7 pages, 4 figures, 2 tables

ARGENT: Adaptive Hierarchical Image-Text Representations

ARGENT：自适应层次图像-文本表示

Chuong Huynh, Hossein Souri, Abhinav Kumar, Vitali Petsiuk, Deen Dayal Mohan, Suren Kumar

机构 * University of Maryland, College Park（马里兰大学 College Park分校） ； Samsung Research America, AI Center（三星美国研究院人工智能中心） 纠错

专题命中 图文多模态 ：image-text(title,abstract)；分类 cs.CV

AI总结 ARGENT通过自适应蕴含损失和规范正则化解决超几何VLM的层级结构问题，引入角度基于的概率蕴含协议评估层次理解，提升图像分类、文本到图像检索及层次指标性能。

Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance

残差解码：通过历史感知残差引导减轻大视觉-语言模型中的幻觉

Xinrong Chen, Xu Chu, Yingmin Qiu, Hengyuan Zhang, Jing Xiong, Shiyu Tang, Shuai Liu, Shaokang Yang, Cheng Yang, Hayden Kwok-Hay So, Ngai Wong

机构 * Peking University（北京大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Hong Kong（香港大学） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出残差解码方法，通过利用历史信息辅助解码，纠正大视觉-语言模型中的语言先验偏差，有效抑制幻觉并提升视觉接地能力。

Comments Accepted by CVPR 2026

Cog3DMap: Multi-View Vision-Language Reasoning with 3D Cognitive Maps

Cog3DMap：基于3D认知地图的多视角视觉语言推理

Chanyoung Gwak, Yoonwoo Jeong, Byungwoo Jeon, Hyunseok Lee, Jinwoo Shin, Minsu Cho

机构 * POSTECH ； KAIST（韩国科学技术院） ； RLWRLD 纠错

专题命中 图文多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出Cog3DMap框架，通过构建显式的3D记忆，使多视角图像中的每个token都具备语义和几何信息，从而提升多模态大语言模型的空间推理能力。

Comments Project Page: https://cog3dmap.github.io

Focus, Don't Prune: Identifying Instruction-Relevant Regions for Information-Rich Image Understanding

聚焦，而非裁剪：识别与指令相关的区域以实现信息丰富的图像理解

Mincheol Kwon, Minseung Lee, Seonga Choi, Miso Choi, Kyeong-Jin Oh, Hyunyoung Lee, Cheonyoung Park, Yongho Song, Seunghyun Park, Jinkyu Kim

机构 * Korea University（韩国大学） ； KT Corporation（KT公司） ； Soongsil University（松山大学） ； Kakao Mobility（Kakao移动） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PinPoint框架，通过识别与指令相关的图像区域并提取细粒度视觉特征，提升多模态任务的推理效率与准确性。

Comments CVPR 2026

WiFi2Cap: Semantic Action Captioning from Wi-Fi CSI via Limb-Level Semantic Alignment

WiFi2Cap：从Wi-Fi CSI进行语义动作描述的肢体级语义对齐

Tzu-Ti Wei, Chu-Yu Huang, Yu-Chee Tseng, Jen-Jee Chen

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出WiFi2Cap框架，通过Wi-Fi CSI生成动作描述，引入镜像一致性损失解决方向敏感问题，并在基准数据集上验证了其在隐私保护语义感知中的有效性。

Comments 6 pages, 4 figures

Mitigating Object Hallucinations in Large Vision-Language Models via Attention Calibration

通过注意力校准缓解大视觉-语言模型中的物体幻觉

Younan Zhu, Linwei Tao, Minjing Dong, Chang Xu

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出动态注意力校准方法，通过对比学习动态强制位置不变性，有效缓解大视觉-语言模型中的物体幻觉问题，并在多个基准测试中取得最佳性能。

TreeTeaming: Autonomous Red-Teaming of Vision-Language Models via Hierarchical Strategy Exploration

TreeTeaming：通过分层策略探索实现视觉语言模型的自主红队测试

Chunxiao Li, Lijun Li, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 TreeTeaming通过动态演化策略探索方法，实现对视觉语言模型的自主红队测试，显著提升攻击成功率和策略多样性，同时降低攻击毒性。

Comments CVPR2026

LLM-Powered Flood Depth Estimation from Social Media Imagery: A Vision-Language Model Framework with Mechanistic Interpretability for Transportation Resilience

基于大语言模型的社交媒体影像洪水深度估计：一种具有机制可解释性的视觉-语言模型框架用于交通韧性

Nafis Fuad, Xiaodong Qian

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出FloodLlama，一种基于视觉-语言模型的洪水深度估计框架，通过合成数据集和多模态传感管道实现厘米级实时洪水深度估计，提升交通网络韧性。

Comments There is a update in result, which is needed to be addressed

HalDec-Bench: Benchmarking Hallucination Detector in Image Captioning

HalDec-Bench：图像描述中幻觉检测的基准测试

Kuniaki Saito, Risa Shinoda, Shohei Tanaka, Tosho Hirasawa, Fumio Okura, Yoshitaka Ushiku

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出HalDec-Bench，用于评估图像描述中幻觉检测的性能，通过多样化模型生成的描述和人工标注揭示了模型在不同难度任务中的表现差异，并发现检测器倾向于认为响应开头的句子正确。

Comments This work was intended as a replacement of arXiv:2511.20515 and any subsequent updates will appear there

HalDec-Bench: Benchmarking Hallucination Detector in Image Captioning

HalDec-Bench：图像描述中幻觉检测的基准测试

Kuniaki Saito, Risa Shinoda, Shohei Tanaka, Tosho Hirasawa, Fumio Okura, Yoshitaka Ushiku

机构 * OMRON SINICX ； The University of Tokyo（东京大学） ； The University of Osaka（大阪大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出HalDec-Bench，用于评估图像描述中幻觉检测的性能，通过多样化VLM生成的描述和人类标注揭示模型差异，发现检测器倾向于认可响应开头的句子，并通过强VLM过滤减少数据噪声。

Comments Previously this version appeared as arXiv:2603.15253 which was submitted as a new work by accident

CATNAV: Cached Vision-Language Traversability for Efficient Zero-Shot Robot Navigation

CATNAV：基于缓存的视觉-语言可 traversability 用于高效零样本机器人导航

Aditya Potnis, Francisco Affonso, Shreya Gummadi, Naveen Kumar Uppalapati, Girish Chowdhary

机构 * Field Robotics Engineering and Science Hub (FRESH)（田纳西机器人工程与科学中心（FRESH）） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 CATNAV通过多模态LLM生成零样本、体态感知的成本图，利用视觉语义缓存机制减少85.7%的在线VLM查询，结合基于VLM的轨迹选择模块，在五项导航任务中实现更高的目标到达率和更少的行为约束违规。

Comments 8 pages, 6 figures