多模态大模型

PressureMesh: 3D Human Mesh Estimation from Multi-Device Pressure Images

PressureMesh：基于多设备压力图像的3D人体网格估计

Changhai Ma, Ziyu Wu, Yunkang Zhang, Fangting Xie, Mengting Niu, Heyu Ding, Quan Wan, Jiayue Yuan, Boyan Liu, Yi Ke, Xiaohui Cai

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 针对单设备压力监测范围有限的问题，提出端到端网络MDP-Net，结合MoE框架的多模态融合机制，构建MDP数据集，实现跨设备压力数据的3D人体网格估计，关节位置误差为12.6cm。

Test-Time Augmentation for LLMs: When Input Diversity Beats Output Diversity at Matched Compute

大语言模型的测试时增强：在计算资源匹配时输入多样性优于输出多样性

Nikita Kozodoi, Zainab Afolabi, Jack Butler

机构 * Amazon Web Services（亚马逊网络服务） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.AI

AI总结 本研究提出测试时增强（TTA），经匹配计算对比发现，中端大语言模型采用语义复述的TTA策略，比自洽性更高效地将计算转化为准确率，每美元准确率约为自洽性的1.8倍。

Comments Published at the COLM 2026 Workshop on Efficient Reasoning

Right Answer, Wrong Heat: Explanation-Aware Evaluation and Thermal-Grounded Feedback for MLLMs on Infrared Images

正确答案，错误依据：面向红外图像多模态大语言模型的感知感知评估与热基础反馈机制

Yongsong Huang, Xiaofeng Liu, Tomo Miyazaki, Yaohou Fan, Shinichiro Omachi

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对红外图像多模态大语言模型仅以答案准确率评估的问题，提出感知感知评估框架与无需训练的热基础反馈机制，可提升解释热基础度，为可信红外场景理解模型的开发提供了方向。

Comments This manuscript is currently under peer review. Copyright may subsequently be transferred to the publisher, after which the availability of this version may be subject to the publisher's policy

Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents

首届“教学怪兽挑战赛”的研究发现：AI智能体的教学内容知识基准

Yi-Cheng Lin, Yu-Kai Guo, Szu-Chi Chen, Bo-Han Feng, Yun-Man Hsu, Hsiang Hsieh, Yu-Jung Lin, Yue-Ling Wu, Jia-Kai Dong, An-Yu Cheng, Yu-Han Huang, Lok-Lam Ieong, Kuan-Yu Chen, Ming-Douo Tchouang, Shao-Hua Sun, Che Lin, Jian-Jiun Ding, Hung-yi Lee

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究推出首个以学习者角色为评估标准的教学视频生成基准“教学怪兽挑战赛”，测试发现当前AI教学系统内容适配能力不足，自动裁判存在局限，发布相关资源供后续研究。

AI Evaluation Should Measure Verification Cost, Not Correctness Alone

AI评估应衡量验证成本，而非仅正确性

Viviana Crescitelli, Generoso Immediato, Fabio Persia, Stefania Costantini

机构 * Hitachi, Ltd.（日立制作所） ； Hitachi Rail（日立铁路） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.AI

AI总结 该研究指出AI评估仅靠正确性不足，提出需纳入验证成本，定义了验证成本错误，通过代码生成等证据说明高基准准确率可能掩盖高验证成本，主张评估应考虑现实资源约束下的错误可检测性。

Comments 20 pages, 1 table

Deep probabilistic logic programming for diagnostic reasoning from incomplete information: A case study in stroke detection

面向不完整信息诊断推理的深度概率逻辑编程：以脑卒中检测为例

Felix Weitkämper, Monchito Avila, Elizabeth Nanjala, Siska, Grace Zawadi

机构 * German University of Digital Science（德国数字科学大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究以脑卒中检测为案例，提出结合最大熵技术与DeepProbLog的诊断系统构建方法，分析了不完整数据模型的性能及ProbFOIL 2压缩模型的潜力，拓展了神经符号方法在医疗诊断中的应用。

Comments Accepted for presentation at IJCLR 2026. This is the accepted version, _not_ the camera-ready version for the post-proceedings of the conference

MRBench: A Comprehensive Benchmark for Human Motion-Text Retrieval

MRBench：用于人体动作-文本检索的综合基准

Fulong Liu, Liang Xu, Chengqun Yang, Yuhao Zhang, Yichao Yan, Xiaokang Yang

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出综合动作-文本检索基准MRBench，针对现有基准缺陷构建，提出轻量级粒度感知模型，提升混合粒度检索效果，为动作-语言对齐评估提供测试平台。

Advantage-Guided Gate: Reshaping Open-Ended Reasoning for Vision-Based Spatial Intelligence

优势引导门：重塑基于视觉的空间智能的开放式推理

Ling Lin, Yang Bai, Congcong Zhu, Jiangming Shi, Meng Wang, Yang Long, Jingrun Chen, Ling Shao, Huazhu Fu

机构 * University of Science and Technology of China（中国科学技术大学） ； Suzhou Institute for Advanced Research, USTC（中国科学技术大学苏州高等研究院） ； Institute of Advanced Intelligence and Computing (IAIC), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高级智能与计算研究所） ； East China Normal University（华东师范大学） ； National University of Singapore（新加坡国立大学） ； Durham University（杜伦大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文针对MLLMs开放式推理易出错的问题，提出优势引导门框架，结合蒙特卡洛价值评估与两类优势门，构建Reasoning-Tree-160k数据集并经两阶段学习，有效提升了基准MLLMs的视觉空间推理性能。

LAD-COD: Language-Aligned Dense Perception for Camouflaged Object Detection

LAD-COD：面向伪装目标检测的语言对齐密集感知

Shangye Song, Tianzhi Zhu, Syed Ariff Syed Hesham, Xin He, Yun Liu

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究针对伪装目标检测中密集视觉特征缺乏语言指导的问题，提出LAD-COD框架，通过语言对齐双视觉融合实现语义与分层视觉特征的对齐，在三个数据集的12组对比中取得最优结果。

The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction

法官知道自己何时知晓：基于大语言模型的A/B测试预测的校准弃权（不执行）

Tyler Dooskin, Squoosh Technical Staff

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 该研究探究多模态LLM能否仅通过网页截图预测A/B测试结果，发现Gemini 3 Flash法官表现不佳，提出投票边际关卡隔离置信判断可提升性能，还在人类中重现了共识与真实结果脱节的现象，并发布了相关研究资源。

Comments 15 pages. Pre-registered experimental program with a public, tiered claims ledger; includes powered negative results, a label-validity audit, a cross-judge shared-prior measurement (n_eff ~ 2 of 16 votes), and a first-party 15-expert human baseline. Pre-registrations, statistical harness, human responses, and the full experiment ledger are released

Attack Ensembles Expose a Safety-Utility Trade-off in Black-Box Guard Defenses Against Encoded VLM Jailbreaks

恢复、解码、再防护：针对编码型VLM越狱的防护无关型防御放大技术

Haoyu Zhang, Zhuoxi Wang, Shibo Zheng, Yi Feng, Xiao Luo, Zijian Xiao, Haowen Xu, Xiangchen Guan, Mohammad Zandsalimy, Shanu Sushmita

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.AI

AI总结 本研究提出防护无关型的恢复-解码放大器，评估其对11种攻击集成的编码型VLM越狱防御效果，发现其存在安全-效用上限，贡献了放大器、集成评估方法及防御适用场景图谱。

Decouple and Reason: Anatomically Guided Two-Stage Voxel-Level Grounding of Free-Text Findings in 3D Chest CT

解耦与推理：3D胸部CT中自由文本发现的解剖学引导两阶段体素级定位

Kwang-Hyun Uhm, Inhwa Son, Sung-Jea Ko

机构 * Department of Artificial Intelligence, Gachon University（韩国加图立大学人工智能系） ； MEDAI 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究3D胸部CT中自由文本发现的体素级定位难题，提出解耦框架，分病变分割和文本-体积推理两阶段，利用解剖学引导解决空间模糊性，在基准测试中取得领先，证明解耦是处理该复杂性的有效范式。

Comments Accepted to MICCAI 2026 (Spotlight Presentation)

SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents

SciVisAgentBench：用于评估科学数据分析和可视化代理的基准测试

Kuangshi Ai, Haichao Miao, Kaiyuan Tang, Nathaniel Gorski, Jianxin Sun, Guoxi Liu, Helgi I. Ingolfsson, David Lenz, Hanqi Guo, Hongfeng Yu, Teja Leburu, Michael Molash, Bei Wang, Tom Peterka, Chaoli Wang, Shusen Liu

机构 * University of Notre Dame（圣母大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； University of Utah（犹他大学） ； University of Nebraska–Lincoln（内布拉斯加大学林肯分校） ； The Ohio State University（俄亥俄州立大学） ； Argonne National Laboratory（阿贡国家实验室） ； Anthropic PBC 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出SciVisAgentBench，一个用于评估科学数据可视化代理的基准测试，涵盖四个维度，包含108个案例，结合LLM和确定性评估器进行多模态评估，揭示代理能力差距。

Comments IEEE Transactions on Visualization and Computer Graphics (IEEE VIS '26)

VIGIL: Tackling Hallucination Detection in Image Recontextualization

VIGIL：应对图像再上下文化中的幻觉检测

Joanna Wojciechowicz, Maria Łubniewska, Jakub Antczak, Justyna Baczyńska, Wojciech Gromski, Wojciech Kozłowski, Maciej Zieba

机构 * Wroclaw University of Science and Technology（沃拉茨拉夫大学科学与技术学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 VIGIL通过细粒度分类填补多模态模型图像再上下文化中幻觉检测的空白，提出多阶段检测流程并公开资源促进透明度。

Comments 19 pages, 8 figures, 7 tables. Code and data are available at: https://github.com/mlubneuskaya/vigil and https://huggingface.co/datasets/joannaww/VIGIL

Describe-to-Score: A text-guided framework for image complexity assessment

描述到评分：一种用于图像复杂度评估的文本引导框架

Shipeng Liu, Liang Zhao, Dengfeng Chen, Zhonglin Zhang

机构 * Xi’an University of Architecture and Technology（西安建筑科技大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对现有图像复杂度评估方法无法捕捉高级语义的问题，提出文本引导框架D2S，仅训练阶段引入描述语义正则化，在IC9600基准达SOTA，跨任务也具竞争力。

Comments Accepted by Pattern Recognition

MetaSpace: Metamorphic Testing for Spatial Cognition in Embodied Agents

MetaSpace：面向具身智能体空间认知的变形测试

Gengyang Xu, Dongwei Xiao, Yiteng Peng, Shuai Wang

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态Agent ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 MetaSpace是评估具身智能体空间认知的框架，基于变形测试原则生成测试用例，在三个场景中检测到SOTA MLLM驱动智能体的90422个空间认知错误，其SC分数远低于人类基准。

Comments 30 pages, 17 figures. Published in Proceedings of the ACM on Programming Languages (OOPSLA1)

Journal ref Proceedings of the ACM on Programming Languages, 10, OOPSLA1 (April 2026), 343-372

Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization

用质量多样性优化发现多模态具身智能体的多样化规划策略

Pengfei Xu, Yong Liu, Xiaoya Nan, Qiang Yang, Peilan Xu

机构 * School of Artificial Intelligence, Nanjing University of Information Science and Technology（南京信息工程大学人工智能学院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态具身智能体现有规划器易因单一规划风格失效导致停滞的问题，提出质量多样性框架，通过进化策略模板构建多样化策略库，实现自适应规划与故障恢复，在ThreeDWorld基准上提升了任务成功率与交互效率。

Comments To appear in ACM MM (MM '26)

Large Multimodal Agents for Intelligent Transportation Systems: Architectures, Evidence, and Deployment Challenges

面向智能交通系统的大型多模态智能体：架构、证据与部署挑战

Muhammad Ayub Sabir, Shaohong Zheng, Zhiyu Qu, Fatima Ashraf, Junbiao Pang

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本综述梳理2023-2026年42个LMAs研究家族，评估其在ITS中的多模态性、性能与部署情况，支持有限编排而非替代，提供评估协议与部署路线图。

Multi-modal Interactive Control of Robotic Arm based on Offline Large Language Models

基于离线大语言模型的机械臂多模态交互控制

Hanxiao Chen

机构 * University of Tokyo（东京大学） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；multimodal(comments)

AI总结 该研究提出“Socratic Models-ChatGLM”算法，基于离线开源大语言模型与PyBullet平台实现机械臂多模态交互控制，可降低成本并解决复杂多步骤机械操作任务。

Comments This research work has been accepted for poster presentation at ICRA 2026 MEI (Multimodal Embodied Interaction in Robots) Workshop. (Here is the workshop-version short paper.)

Journal ref https://ieeexplore.ieee.org/abstract/document/11371765; 2025

FlashRT: Agent Harness for Guiding Agents to Deploy Real-Time Multimodal Applications

FlashRT：用于引导智能体部署实时多模态应用的智能体框架

Krish Agarwal, Zhuoming Chen, Yanyuan Qin, Zhenyu Gu, Atri Rudra, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； AMD（超威半导体公司） ； University at Buffalo（纽约州立大学水牛城分校） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 研究实时多模态应用部署难题，提出FlashRT智能体框架。通过新范式引导编码智能体多阶段转换，将参考实现转为高效部署，在不同GPU上显著提升性能，尤其在专家优化不成熟平台更具扩展性。

MIA: A Visual Analytics System for Multimodal Spectral Imaging Data

MIA：一种用于多模态光谱成像数据的可视分析系统

Hennes Rave, Katharina Kronenberg, Hannes Gödde, Lea Tobergte, Michael Holtkamp, Julia Werner, Peter Bohrer, Fabian Lohöfer, Rickmer Braren, David Clases, Uwe Karst, Lars Linsen

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 提出一种模态无关的可视分析系统MIA，集成光谱预处理、降维、交互分割和相似性分析等全流程，支持层次化嵌入和多模态数据联合分析，通过三个实际案例验证其有效性。

Journal ref Computers & Graphics, Vol. 139, Art. 104727, 2026

Hallucination-Free GUI Grounding via Regression-Free Layout-Aware Matching

无幻觉的GUI定位：基于无回归的布局感知匹配

Yuke Li, Xuehan Hou

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 该研究提出无回归框架，通过解耦指令理解与布局感知定位，在ScreenSpot-Pro和Mind2Web数据集上显著提升GUI定位的准确率、成功率及元素选择率，抑制了坐标幻觉。

UI-MOPD: Multi-Platform On-Policy Distillation for Unified GUI Agents

UI-MOPD：用于持续GUI智能体学习的多平台策略蒸馏

Niu Lian, Tongbo Chen, Zhehao Yu, Chengzhen Duan, Fazhan Liu, Hui Liu, Pei Fu, Jian Luan, Heng Qu, Shu-Tao Xia, Jinpeng Wang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Xiaomi（小米） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Zhejiang University（浙江大学） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对构建多平台GUI智能体的挑战，构建高质量数据集Uni-GUI，提出UI-MOPD方法，通过多教师策略蒸馏实现持续学习，动态选教师并转移行为先验，实验证明其能平衡跨平台能力保留与新平台适应。

Comments Technical report. 27 pages, 7 figures, 7 tables

Data Pyramid for Embodied Manipulation: A Survey

用于具身操纵的数据金字塔

Yifan Ye, Yankai Fu, Yaoxu Lv, Bohan Hou, Jun Cen, Lingdong Kong, Duo Zheng, Tianxing Chen, Jiaming Liu, Ziang Cao, Yunfan Lou, Wei Chow, Xian Sun, Yingshuo Wang, Kuangzhi Ge, Xiaowei Chi, Xidong Zhang, Zhibo Pang, Yiwu Zhong, Sirui Han, Zhihe Lu, Weihao Yuan, Qifeng Chen, Michael Yu Wang, Yao Mu, Ziwei Liu, Jianfei Yang, Ping Luo, Shanghang Zhang

机构 * PKU（北京大学） ； NTU（南洋理工大学） ； HKUST（香港科技大学） ； NUS（新加坡国立大学） ； CUHK（香港中文大学） ； HKU（香港大学） ； Duke（杜克大学） ； UCB（加州大学伯克利分校） ； GBU（未提及具体中文名的机构） ； NJU（南京大学） ； SJTU（上海交通大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 研究围绕具身操纵数据生态系统展开，构建跨越五个互补数据源的“数据金字塔”，通过数据配方分析具身基础模型，将数据组成与多种能力联系起来，并讨论了六个开放挑战，为下一代具身系统设计奠定基础。

Comments Awesome Embodied Data Pyramid; Project Page at https://jasper-aaa.github.io/embodied-data-pyramid/ GitHub Repo at https://github.com/worldbench/awesome-embodied-data-pyramid

NormAct: Benchmarking Embodied Agents' Proactive Compliance with Unspoken Social Norms

NormAct：具身规划中隐藏社会规范遵守的基准

Shiyun Zhao, Xinwei Song, Tianyu Guo, Xiaomeng Gao, Mingyuan Liu, Xu Han, Yuanyuan Zhang, Zhenliang Zhang, Xue Feng, Bo Dai

机构 * State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence (BIGAI)（通用人工智能国家重点实验室，北京通用人工智能研究院） ； China Academy of Information and Communications Technology（中国信息通信研究院） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 提出NormAct基准，评估多模态大语言模型在具身规划中遵守隐藏社会规范的能力，发现模型在67.3%情况下达成显式目标，但仅26.4%遵守隐藏规范；提出NormPerceptor方法将任务成功率从24.2%提升至46.7%。

Comments This version revises the paper content and adds substantial details on the benchmark design and experimental setup

Multitask Scanning Probe Microscopy

多任务扫描探针显微镜

Aditya Raghavan, Yu Liu, Ian Mercer, JP Maria, Sergei Kalinin

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)

AI总结 该研究提出多任务扫描探针显微镜，基于多任务高斯过程的闭环工作流程，实现测量位置与模态的自主选择，在AlScN晶圆上验证了其可扩展主动学习应用的价值。

Preference Redirection via Attention Concentration: An Attack on Computer Use Agents

通过注意力集中进行偏好重定向：对计算机使用代理的一种攻击

Dominik Seip, Matthias Hein

机构 * Tübingen AI Center, University of Tübingen（图宾根大学图宾根人工智能中心） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multimodal foundation model(abstract)

AI总结 本文提出PRAC攻击，通过重定向模型注意力操纵CUA选择过程，揭示了视觉模态的漏洞，威胁到基于开放权重模型的CUA安全。

Journal ref Conference on Language Modeling (COLM) 2026

ToolVision: Learning When and How to Use Visual Tools with Capability-Aligned Supervision

ToolVision：通过能力对齐监督学习何时以及如何使用视觉工具

Delin Mao, Chenghao Sun, Jingwei Song, Chishui Chen, Linfeng Zhang

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态模型工具使用监督错位问题，提出ToolVision方法，通过能力对齐的SFT与RL监督优化工具使用学习，在多个视觉基准上实现性能提升并将公开发布相关资源。

Comments 18 pages, 13 figures

VTO: Visual Tool Orchestration for Video Anomaly Detection

VTO：面向视频异常检测的可视化工具编排

Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； School of Digital Media & Design Art（数字媒体与设计艺术学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对视频异常检测中传统方法泛化差、多模态智能体工具编排难的问题，提出过程监督强化学习框架VTO，结合VAD-Tool工具集，在工具调度上较基线提升10.2%。

Comments Accepted by ACM MM 2026

STEMMA: An Adversarial Multi-Agent Framework for Evaluating Self-Identity Consistency in LLMs

STEMMA：用于评估大语言模型（LLM）自我身份一致性的对抗性多智能体框架

Nuthakki Siva Gopala Krishna, Kanishka Jain

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对LLM自我身份一致性评估问题，提出对抗性多智能体框架STEMMA，结合手动设计的对抗性提示开展实验，发现多数LLM存在自我表征不一致的问题。

Comments 15 pages