多模态大模型

Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models

盲点基准：评估多模态模型中的盲点

Matteo Santelmo, Xiuying Wei, Israa Fakih, Felix Bauer, Juan Garcia Giraldo, Chengkun Li, Etienne Bamas, Emmanuel Abbé

机构 * École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.AI

AI总结 研究旨在评估多模态模型盲点，引入盲点基准，收集学生原始问题并标注，提出任务分类法和自动评分管道。分析发现闭源前沿模型超越开源模型，各模型在不同任务类型表现各异，凸显该基准对识别模型弱点的价值。

Comments 25 pages, 8 figures

Dual-Correlation Hypergraph Network for Unaligned RGBT Video Object Detection and A Large-scale Benchmark

用于未对齐RGBT视频目标检测的双相关超图网络及大规模基准数据集

Qishun Wang, Yapeng Li, Bin Luo, Zhengzheng Tu, Chenglong Li

机构 * Anhui Provincial Key Laboratory of Multimodal Cognitive Computation（安徽省多模态认知计算重点实验室） ； School of Computer Science and Technology（计算机科学与技术学院） ； Anhui University（安徽大学） ； School of Artificial Intelligence（人工智能学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对RGBT视频目标检测中图像对空间未对齐问题，提出双相关超图网络DHNet，通过设计PSAM和DHFM模块捕获互补信息，还构建DVT-VOD1000数据集，实验表明该网络检测精度达最优，数据集和代码将公开。

VEGAS: Human-Aligned Video Caption Evaluation via Gaze

VEGAS：通过注视进行与人类对齐的视频字幕评估

Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； AMD（超威半导体公司） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对视觉语言模型视频字幕忽视观众注意力问题，提出VEGAS无需训练的度量标准，利用注视采样个性化文本，通过拒绝采样选字幕，实验表明其能使字幕更好对齐人类焦点，提升下游检索。

UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

UniClawBench：面向实际任务中主动智能体的通用基准测试

Zhekai Chen, Chengqi Duan, Kaiyue Sun, Bohao Li, Yuqing Wang, Manyuan Zhang, Xihui Liu

机构 * HKU MMLab（香港大学多媒体实验室） ； Meituan（美团） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 针对现有基准测试难以评估主动智能体的问题，提出UniClawBench，基于五项基础模型能力设计400个双语现实任务，采用实时评估和闭环评估策略，通过多模型框架对比展示基础模型能力和框架设计对性能的影响，还公开了基准测试和代码。

Comments Project Page: https://uniclawbench.github.io | GitHub Repo: https://github.com/HKU-MMLab/UniClawBench

LTM: Large-scale Terrain Model for Wildfire-prone Landscapes

LTM：适用于易发生野火地区的大规模地形模型

Xiao Fu, Yue Hu, Meida Chen, Peter Anthony Beerel, Barath Raghavan

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对易发生野火地区传统地形重建方法不足，提出利用过时DEM的多模态重建框架，通过物理像素对齐降低计算复杂度，经大型地形模拟器验证，相比现有技术显著提升了重建精度与计算效率，为野火应对提供可扩展方案。

Scalable and Trustworthy Earth Observation Foundation Models

可扩展且可信的地球观测基础模型

Syed Usama Imtiaz, Mitra Nasr Azadani, Nasrin Alamdari

机构 * Department of Civil and Environmental Engineering, Florida State University（土木与环境工程系，佛罗里达州立大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)

AI总结 研究地球观测基础模型，指出其因数据特性需特定领域适配。回顾相关设计原则，综合模型格局等内容，纳入基准证据说明评估问题，通过案例展示实践原则，提出应从多方面评估下一代遥感基础模型。

Comments (Preprint, in review) Elsevier Book Chapter: Next-Generation Remote Sensing Methods

Enhancing Photometric Redshift Estimation for LSST with a Hybrid LSTM-Mixture Density Network

用混合长短期记忆网络-混合密度网络增强大型综合巡天望远镜的测光红移估计

Zhijian Luo, Yangyang Li, Xinyu Luo, Hubing Xiao, Wei Fang, Shaohua Zhang, Chenggang Shu

专题命中 多模态评测 ：multimodal(abstract)

AI总结 研究针对大型综合巡天望远镜测光红移估计问题，提出LSTM-MDNz架构，结合长短期记忆网络与混合密度网络，在HSC数据集上评估性能，相比贝叶斯神经网络基线，提高点估计精度，降低异常值率，实现良好概率校准并能构建高纯度目录。

Multi-Modal, Multi-Environment Machine Teaching for Robust Reward Learning

用于稳健奖励学习的多模态、多环境机器教学

Ali Larian, Qian Lin, Chang Zong Wu, Daniel S. Brown

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 研究自主智能体在多环境下奖励学习问题，提出分层机器教学算法，先选信息丰富环境，再查询低成本反馈，实验表明该方法比统一教学基线有更低遗憾值和更强泛化能力，凸显多环境多模态教学对稳健奖励学习的重要性。

Comments Accepted to RLC 2026. Conference paper

Compiling Large Multi-Modal Requirement Documents into Runnable Software Systems: From an Agentic Test-Driven Perspective

ARC：将大型多模态需求文档编译为可运行软件系统

Weiyu Kong, Yun Lin, Xiwen Teoh, Duc-Minh Nguyen, Ruofei Ren, Jiaxin Chang, Haoxu Hu, Haoyu Chen

专题命中 多模态Agent ：multi-modal(title,abstract)

AI总结 提出Agentic需求编译（ARC）技术，通过双向测试驱动智能体循环，将多模态DSL文档直接编译为可运行Web系统，在GUI测试通过率上平均提升50.6%。

Comments This work is accepted at issta'26 (SIGSOFT International Symposium on Software Testing and Analysis)

Open-ended Multi-agent Autocurricula via Visual Inspection of Policies with Multi-modal LLMs

通过多模态大语言模型对策略进行视觉检查实现开放式多智能体自动课程

Lorenzo Pantè, Andrea Fanti, Roberto Capobianco

机构 * Sapienza University of Rome（罗马第一大学） ； Sony AI（索尼人工智能） 纠错

专题命中 多模态Agent ：multi-modal(title)；分类 cs.AI

AI总结 研究强化学习中开放式多智能体自动课程设计难题，提出通过策略视觉检查（VIP）利用视频语言模型处理视频并提供课程建议，经星际争霸多智能体挑战赛实证，显示该方法能生成更有效课程。

LEEVLA: Seeing What Matters in Latent Environment Evolution for Vision-Language-Action

LEEVLA：在视觉-语言-动作的潜在环境演化中洞察关键要素

Qi Lyu, Baicheng Liu, Xudong Wang, Jiahua Dong, Lianqing Liu, Zhi Han

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对视觉-语言-动作模型难以应对复杂动态场景的问题，提出LEEVLA架构，引入漂移引导动态优先级和结构化特征流生成，构成“何处-如何”训练框架，实验表明该方法优于现有方法，强调了关键要素引导和结构化推理的重要性。

Switch-Reasoner: Learn When to Think in Multitask Mixtures via Reinforcement Learning

Switch-Reasoner：通过强化学习在多任务混合中学习何时思考

Yiyang Fang, Pei Fu, Jinjie Li, Jian Liang, Wenke Huang, Ruijie Luo, Shaojie Zhang, Jian Luan, Yi R. Fung, Mang Ye

机构 * Wuhan University（武汉大学） ； Xiaomi Inc（小米公司） ； Wuhan University of Technology（武汉理工大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型在异构多任务中“先思考后回答”范式的低效及训练后学习何时思考不稳定的问题，提出基于GRPO的Switch-Reasoner框架，通过双层调节机制实现推理模式自适应选择，实验验证其能减少不必要推理并平衡准确率与效率。

Aleena: Alignment Agent for Research Software Engineering Collaborations

Aleena：用于研究软件工程协作的对齐代理

Kshitij Dani, Cordero Core, Landung Setiawan, Carlos Garcia Jurado Suarez, Anshul Tambay, Vani Mandava, Anant Mittal

机构 * eScience Institute（eScience研究院） ； University of Washington（华盛顿大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 研究软件协作中决策易失依据致相关人员心智模型不同，提出智能AI可支持对齐与跟踪。介绍开源的Aleena，以GitHub为协作平台，转化交互为结构化记录，揭示风险等，还阐述其动机、设计、原型及场景。

Comments 8 pages, 5 figures. AgenticSE @ KDD '26: Agentic Software Engineering (SE 3.0): The Rise of AI Teammates, KDD 2026 Workshop

SHAP-Weighted Cross-Modal Expert Fusion for Emotion and Sentiment Recognition: Evidence and Limits

用于情感和情绪识别的SHAP加权跨模态专家融合：证据与局限

Adis Alihodzic, Selma Skopljakovic Hubljar

机构 * Faculty of Science, University of Sarajevo（萨拉热窝大学理学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 研究多模态情感和情绪识别，重新审视XAI引导的自适应融合\xgaf，分析专家特征维度不等时SHAP归因减少的影响，通过实验对比不同融合方法在情感识别任务中的表现，揭示SHAP减少、专家维度和跨模态专家设计对模块化多模态融合的作用。

ToDMA: Large Model-Driven Massive Token Communications for Semantic Multiple Access

ToDMA：用于语义多址接入的大模型驱动海量令牌通信

Li Qiao, Mahdi Boloursaz Mashhadi, Zhen Gao, Robert Schober, Deniz Gündüz

机构 * The University of Hong Kong（香港大学） ； Beijing Institute of Technology（北京理工大学） ； University of Surrey（Surrey大学） ； Friedrich-Alexander-University Erlangen-Nurnberg（埃森哲-亚琛工业大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出ToDMA，一种大模型驱动的语义多址接入方案，将无源随机接入与上下文感知令牌处理结合，用于海量令牌通信。通过压缩感知检测令牌及估计信道状态信息，利用上下文模型恢复冲突令牌，能降低接入延迟并保持令牌恢复与语义重建质量。

Comments Submitted to IEEE journals

LDFE: Laplacian Decoupled Feature Enhancement Block for Dual-Stream CNN-based RGB-IR Object Detection

LDFE：用于基于双流 CNN 的 RGB-IR 目标检测的拉普拉斯解耦特征增强模块

Wenhao Dong, Xiaoyan Luo, Linlin Yang, Haodong Zhu, Xiaorong Shi, Guodong Guo, Baochang Zhang

机构 * Beihang University（北京航空航天大学） ； State Key Laboratory of High-Efficiency Reusable Aerospace Transportation Technology（高效可重复使用航天运输技术国家重点实验室） ； The School of Astronautics（航天学院） ； The National Key Laboratory of Integrated Air-Ground Navigation Technologies（集成空天地导航技术国家实验室） ； The State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室） ； The School of Artificial Intelligence（人工智能学院） ； Zhongguancun Academy（中关村学院） ； The School of Automation Science and Electrical Engineering（自动化科学与电气工程学院） ； Beijing Institute of Control and Electronics Technology（北京控制电子技术研究所） ； Ningbo Institute of Digital Twin（宁波数字孪生研究所） ； Eastern Institute of Technology（东部技术研究所） ； Hangzhou Research Institute, School of Artificial Intelligence（杭州研究院，人工智能学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究基于双流 CNN 的 RGB-IR 目标检测问题，提出拉普拉斯解耦特征增强模块 LDFE，通过全局-局部分解等操作融合不同阶段特征，在多个数据集上显著提升目标检测性能，mAP 超 SOTA 方法。

Journal ref Pattern Recognition,Volume 179, Part D,2026,113935

OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing

OmniOPSD：面向情感计算的理性特权在线自蒸馏

Zebang Cheng, Shuimu Chen, Boxue Yang, Yuanshen Guan, Jingyi Chen, Zheng Lian, Xiaojiang Peng, Fei Ma, LaiZhong Cui, Qi Tian

机构 * Shenzhen University（深圳大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） ； Shenzhen Technology University（深圳技术大学） ； Tongji University（同济大学） ； Huawei（华为） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对多模态大模型在复杂推理任务中奖励稀疏的问题，提出OmniOPSD框架，利用前沿模型生成的理性作为教师特权证据而非学生模仿目标，通过在线自蒸馏提供密集令牌级监督，在MER-UniBench上取得84.19平均分的最优性能。

Rethinking Small VLM Quantization: From Component-Wise Analysis to Hardware-Aware Edge Deployment

重新思考小型视觉语言模型量化：从组件级分析到硬件感知边缘部署

Hyeju Shin, Chorwon Kim, Ryangsoo Kim, Hark Yoo, Jaein Kim

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 本文针对小型视觉语言模型量化，提出系统评估框架，在特定硬件上验证五个假设，分离相关组件得出结论，包括量化敏感性受结构范式影响、SigLIP编码器延迟情况、大语言模型INT4量化利弊、复合量化误差特点及不同平台每焦耳智能差异。

Comments 14 pages. Accepted at the ICML 2026 Workshop on Hypothesis Testing

Invariance Audits for Quantum Kernels and Variational Rewinding: A Real-to-Hermitian Taxonomy of Projector, Flag, Anchor, and Density Geometry

量子核与变分回绕的不变性审计：投影器、标志、锚和密度几何的实到厄米特分类法

Azadeh Alavi, Fatemeh Kouchmeshki, Hossein Akhoundi

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 研究量子机器学习中向量替换表示的不变性决策，开发实到厄米特分类法，形式化相关核并证明性质，通过多种实验表明量子和几何提升在不变性与任务匹配时有用，丢弃带标签信息时正确失败。

MultiFair: Multimodal Balanced Fairness-Aware Medical Classification with Dual-Level Gradient Modulation

MultiFair：具有双级梯度调制的多模态平衡公平感知医学分类

Md Zubair, Hao Zheng, Grayson W. Armstrong, Lucy Q. Shen, Gabriela Wilson, Yu Tian, Xingquan Zhu

机构 * School of Computing and Informatics, University of Louisiana at Lafayette（路易斯安那州立大学拉法叶分校计算机与信息学学院） ； Louisiana Center for Health Innovation and College of Nursing & Health Sciences, University of Louisiana at Lafayette（路易斯安那州立大学拉法叶分校健康创新中心及护理与健康科学学院） ； Massachusetts Eye and Ear, Harvard Medical School（哈佛医学院马萨诸塞眼耳医院） ； Department of Computer Science, University of Central Florida（佛罗里达州立大学计算机科学系） ； Department of Electrical Engineering and Computer Science, Florida Atlantic University（佛罗里达Atlantic大学电子工程与计算机科学系） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态医学分类中数据模态学习不均衡和模型对特定群体不公平的问题，提出MultiFair方法，通过双级梯度调制过程动态调整训练梯度，在多数据集上评估，有效解决了上述挑战。

Comments This work has been accepted for publication in IEEE Transactions on Medical Imaging

A Vision Toward Energy-Efficient Domain-Specific Artificial Intelligence Models and Agents

迈向节能领域特定人工智能模型和智能体的愿景

Abhijit Chatterjee, Niraj K. Jha, Jonathan D. Cohen, Thomas L. Griffiths, Hongjing Lu, Diana Marculescu, Ashiqur Rasul, Wenrui Xu, Keshab K. Parhi

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究提出下一代人工智能应是轻量级领域特定多模态模型，能在动态环境中推理决策并持续进化。核心方法是重新设计硬件提升能源效率。主要贡献是为未来人工智能系统发展提供新愿景，推动从大数据训练的大模型向节能领域特定智能体转变。

NFTR: From Provable Mode-Averaging to Geodesic Subgoal Selection in Offline Goal-Conditioned RL

NFTR：从可证明的模式平均到离线目标条件强化学习中的测地线子目标选择

Erdemt Bao, Xing Lei, Jun Chen

机构 * Huazhong University of Science and Technology（华中科技大学） ； Xi’an Jiaotong University（西安交通大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 针对分层隐式Q学习在离线目标条件强化学习中存在的问题，提出NFTR方法，用条件归一化流取代高斯策略，结合基于架构三角不等式的三角松弛分数及RWDR目标，可避免高斯坍塌且在随机动力学下保持稳定。

The Importance of Encoder Choice:A Tabular-Image Study

编码器选择的重要性：表格-图像研究

Ilia Koloiarov, Diego Coello de Portugal Mecke, Vijaya Krishna Yalavarthi, Tom Hanika, Lars Schmidt-Thieme

专题命中 其他多模态 ：multimodal(abstract)

AI总结 研究首次评估表格模型作图像-表格设置的编码器，指出表格领域最佳的上下文学习模型因需标签处理实例，嵌入训练和测试实例不易，通过解决此问题强调了编码器因素在多模态学习中的重要性。

Comments This paper contains color figures. We recommend reading it digitally for the best experience

Quantum Sensors for Chemistry and Materials Science

用于化学和材料科学的量子传感器

Piotr Put, Arjun Pillai, Xuan Hoang Le, Mikhail D. Lukin, Hongkun Park

专题命中 其他多模态 ：multimodal(abstract)

AI总结 探讨量子传感器（光泵磁力计和金刚石氮空位中心）在化学和材料科学中的应用，对比其不同特性，介绍在多种分析监测中的使用，以及在高通量化学分析和无损材料诊断方面的集成，有望应对现实分析挑战。

Comments 22 pages, 5 figures

Unravelling the mechanisms underlying crack initiation in additively manufactured steel

揭示增材制造钢中裂纹萌生的潜在机制

KenHee Ryou, Yaozhong Zhang, James A. D. Ball, Dan Rubio-Ejchel, Dillon Jobes, Buhari Ibrahim, Charles Romain, Minh-Son Pham, Henry Proudhon, Jerard V. Gordon

专题命中 其他多模态 ：multimodal(abstract)

AI总结 研究增材制造钢裂纹萌生机制，结合多模态技术观察裂纹尖端塑性三维演变，发现锻造钢与增材制造合金在裂纹尖端塑性表现不同，揭示抗断裂能力受其空间演变控制，为提高损伤容限提供机理框架。