多模态大模型

Investigating Cross-Modal Skill Injection: Scenarios, Methods, and Hyperparameters

探究跨模态技能注入：场景、方法与超参数

Zhiyu Xu, Lean Wang, Yuanxin Liu, Lei Li, Hao Zhou, Fandong Meng, Jie Zhou, Xu Sun

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学） ； WeChat AI, Tencent Inc., China（腾讯公司，中国） ； The University of Hong Kong（香港大学） 纠错

专题命中 图文多模态 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文研究了跨模态技能注入在不同场景下的表现，分析了其方法和超参数的影响，发现其在指令遵循和跨语言任务中表现良好，但在数学推理中存在困难，同时指出经典方法如TA和DARE在性能上优于其他融合方法。

M3DocDep: Multi-modal, Multi-page, Multi-document Dependency Chunking with Large Vision-Language Models

M3DocDep: 多模态、多页、多文档依赖分块方法基于大视觉-语言模型

Joongmin Shin, Jeongbae Park, Jaehyung Seo, Heuiseok Lim

机构 * Human-inspired AI Research, Korea University（韩国大学人智AI研究所） ； Computer Science and Engineering, Konkuk University（konkuk大学计算机科学与工程系） ； Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系） 纠错

专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出M3DocDep，一种基于大视觉-语言模型的多模态、多页、多文档依赖分块方法，通过恢复块级依赖并构建分块，提高了长多页多模态文档的检索和问答质量。

Comments Accepted to CVPR2026 Main

Breaking Modality Heterogeneity in Low-Bit Quantization for Large Vision-Language Models

打破大视觉-语言模型低比特量化中的模态异质性

Yi Zhong, Haotong Qin, Xindong Zhang, Lei Zhang, Guolei Sun

机构 * VCIP, College of Computer Science, Nankai University（南开大学计算机科学学院VCIP） ； D-ITET, ETH Zürich（苏黎世联邦理工学院D-ITET） ； OPPO Research Institute（OPPO研究院） ； Department of Computing, Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SplitQ框架，通过通道分割和自适应跨模态校准模块，解决大视觉-语言模型在低比特量化中因模态异质性导致的精度下降问题，显著提升了在多种多模态数据集上的性能。

DarkLLM: Learning Language-Driven Adversarial Attacks with Large Language Models

DarkLLM: 利用大语言模型学习语言驱动的对抗攻击

Ye Sun, Xin Wang, Jiaming Zhang, Yifeng Gao, Yixu Wang, Yifan Ding, Qixian Zhang, Henghui Ding, Xingjun Ma, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Nanyang Technological University（南洋理工大学） ； Tongji University（同济大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DarkLLM，一种基于大语言模型的对抗攻击框架，通过将自然语言攻击指令转换为潜在攻击向量，生成有效的对抗扰动，统一了多种攻击类型并实现了灵活可控的对抗生成。

Comments 23 pages, 13 figures

MAM-CLIP: Vision-Language Pretraining on Mammography Atlases for BI-RADS Classification

MAM-CLIP：基于乳腺X线图集的视觉-语言预训练用于BI-RADS分类

Halil Ibrahim Gulluk, Olivier Gevaert

机构 * Department of Electrical Engineering（电气工程系） ； Biomedical Informatics Research (BMIR)（生物医学信息学研究（BMIR）） ； Stanford University（斯坦福大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出MAM-CLIP模型，通过预训练PubMedBERT和对比学习来提升乳腺X线图像的BI-RADS分类性能，实验表明在标注样本稀缺时，该方法能显著提高F1分数。

ORCA: An Agentic Reasoning Framework for Hallucination and Adversarial Robustness in Vision-Language Models

ORCA：一种用于视觉语言模型幻觉和对抗鲁棒性的代理推理框架

Chung-En Johnny Yu, Brian Jalaian, Nathaniel D. Bastian

机构 * University of West Florida（佛罗里达大学） ； United States Military Academy（美国军事学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ORCA框架，通过推理时的结构化推理和小规模视觉模型，提升预训练视觉语言模型的事实准确性与对抗鲁棒性，并在幻觉基准和对抗扰动测试中取得显著提升。

Comments Accepted at the ACM International Conference on Cloud and Big Data Computing (ICCBDC 2026)

VECTOR-Drive: Tightly Coupled Vision-Language and Trajectory Expert Routing for End-to-End Autonomous Driving

VECTOR-Drive: 紧密耦合的视觉-语言与轨迹专家路由用于端到端自动驾驶

Rui Zhao, Jianlin Yu, Zhenhai Gao, Jiaqiao Liu, Fei Gao

机构 * College of Automotive Engineering, Jilin University（吉林大学汽车工程学院） ； The National Key Laboratory of Automotive Chassis Integration and Bionics, Jilin University（吉林大学汽车底盘集成与生物力学国家级重点实验室） ； ReeFocus AI Technology（ReeFocus人工智能技术） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VECTOR-DRIVE框架，通过紧密耦合的视觉-语言与轨迹专家路由，解决端到端自动驾驶中视觉语言理解和轨迹预测之间的耦合问题，实现更高的任务性能。

EnsemHalDet: Robust VLM Hallucination Detection via Ensemble of Internal State Detectors

EnsemHalDet: 通过内部状态检测器的集成实现鲁棒的视觉语言模型幻觉检测

Ryuhei Miyazato, Shunsuke Kitada, Kei Harada

机构 * The University of Electro-Communications（电通大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出EnsemHalDet，一种通过集成多个内部表示的视觉语言模型幻觉检测框架，以提高多模态幻觉检测的鲁棒性。

GeoX: Mastering Geospatial Reasoning Through Self-Play and Verifiable Rewards

GeoX：通过自我对战和可验证奖励掌握地理空间推理

Kyeongjin Ahn, Seungeon Lee, Krishna P. Gummadi, Meeyoung Cha

机构 * KAIST（韩国科学技术院） ； MPI-SP（马克斯·普朗克研究所） ； MPI-SWS（马克斯·普朗克研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出GeoX框架，通过自我对战和可验证奖励解决图像 grounded 的复杂空间问题，无需大规模人工标注数据，提升了基础视觉语言模型在地理空间理解上的性能。

Comments 26 pages,12 figures, 9 tables

SimGym: A Framework for A/B Test Simulation in E-Commerce with Traffic-Grounded VLM Agents

SimGym：一种用于电子商务A/B测试模拟的框架，使用基于流量的VLM代理

Han Li, Vibhor Malik, Zahra Zanjani Foumani, Alberto Castelo, Shuang Xie, Ailin Fan, Keat Yang Koay, Yuanzheng Zhu, Meysam Feghhi, Ronie Uliana, Zhaoyu Zhang, Angelo Ocana Martins, Mingyu Zhao, Francis Pelland, Jonathan Faerman, Nikolas LeBlanc, Aaron Glazer, Andrew McNamara, Zhong Wu, Lingyun Wang

机构 * Shopify 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出SimGym框架，通过基于流量的VLM代理模拟电子商务A/B测试，解决真实测试周期长、风险高等问题，验证结果显示其能快速准确预测用户行为变化。

PERL: Parameter Efficient Reasoning in CLIP Latent Space

PERL：在CLIP潜在空间中实现参数高效的推理

Simone Carnemolla, Salvatore Calcagno, Daniela Giordano, Concetto Spampinato, Matteo Pennisi

机构 * University of Catania（卡塔尼亚大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出PERL，一种在CLIP潜在空间中通过迭代潜在推理实现参数高效适应的框架，该方法在多个基准测试中表现出最佳的参数-性能权衡，仅需约6K可训练参数即可实现强的新型类别准确率和竞争性的迁移性能。

Comments Submitted to NeurIPS 2026

Reasoning Portability: Guiding Continual Learning for MLLMs in the RLVR Era

推理可移植性：引导MLLMs在RLVR时代的持续学习

Qiuhe Hong, Yuyang Liu, Shuo Yang, Tiantian Peng, Fei Zhu, Yonghong Tian

机构 * Shenzhen Graduate School of Peking University（北京大学深圳研究生院） ； Centre for Artificial Intelligence and Robotics, HKISI, CAS（香港科学院人工智能与机器人研究中心） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种名为推理可移植性（RP）的机制，通过在持续学习中引入推理层面的约束，改进了多模态大语言模型在RLVR环境下的适应能力，实验表明RDB-CL在提升最后准确率方面优于基线方法。

INAR-VL: Input-Aware Routing for Edge-Cloud Vision-Language Inference

INAR-VL：面向边缘-云视觉-语言推断的输入感知路由

Ahmed Šabanović, Paul Joe Maliakel, Ivona Brandić

机构 * TU Wien（维也纳技术大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出INAR-VL，一种轻量级的边缘-云路由系统，用于多模态推断的两级部署。该系统通过轻量级的图像和文本复杂度信号指导路由和模型选择，在本地执行简单查询，将复杂查询卸载到云端，从而在延迟、能耗和准确性之间取得平衡。

Comments 8 pages, 3 figures