多模态大模型

PGUDA: Pressure-Guided Unsupervised Domain Adaptation with Cross-Modal Knowledge Distillation for sEMG-Based Gesture Recognition

PGUDA: 基于压力引导的无监督域适应与跨模态知识蒸馏用于sEMG手势识别

Yurui Liu, Xiao-Cong Zhong, Qisong Wang, Xuefu Wang, Dan Liu, Jinwei Sun

机构 * School of Instrumentation Science and Engineering, Harbin Institute of Technology（哈尔滨工业大学仪器科学与工程学院） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 提出PGUDA框架，利用压力信号的鲁棒性通过跨模态知识蒸馏引导sEMG特征对齐，在跨主体和跨会话任务中平均准确率58.08%，仅需5%标注数据即可达到全监督性能。

NeuralBoneReg: An Instance-Specific Label-Free Point Cloud-Based Method for Multi-Modal Bone Surface Registration

NeuralBoneReg：一种用于多模态骨表面注册的实例特定无标签点云方法

Luohong Wu, Matthias Seibold, Nicola A. Cavalcanti, Yunke Ao, Roman Flepp, Aidana Massalimova, Lilian Calvet, Philipp Fürnstahl

机构 * Research in Orthopedic Computer Science, Balgrist University Hospital, University of Zurich（骨科计算机科学研究所，巴尔格里斯大学医院，苏黎世大学） ； AI Center, ETH Zurich（人工智能中心，苏黎世联邦理工学院） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出NeuralBoneReg，一种自监督的基于点云的骨表面注册框架，通过隐式神经无符号距离场和MLP注册模块实现多模态数据间的鲁棒对齐，在多个数据集上达到或超越现有方法。

Multimodal Benchmark for Safety Assessment in Industrial Inspection Scenarios

工业检测场景安全评估的多模态基准

Zeyi Liu, Shuang Liu, Jihai Min, Zhaoheng Zhang, Jun Cen, Pengyu Han, Songqiao Hu, Zihan Meng, Xiao He, Donghua Zhou

机构 * Department of Automation, Tsinghua University（清华大学自动化系） ； Institute for Embodied Intelligence and Robotics, Tsinghua University（清华大学具身智能与机器人研究所） ； TetraBOT Intelligence Co., Ltd.（天博智能科技有限公司） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； School of Automation, Southeast University（东南大学自动化学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对工业现场多模态安全评估缺乏真实数据的问题，构建了首个包含真实机器人巡检数据、像素级标注和七种同步模态的基准数据集InspecSafe-V1，覆盖五个典型场景，支持多模态异常识别与安全评估。

Comments 14 pages, 6 figures, Accepted by Scientific Data

Evidence Triangulation for Multimodal Fact-Checking in the Wild

野外多模态事实核查的证据三角测量

Stefanos-Iordanis Papadopoulos, Zacharias Chrysidis, Christos Koutlis, Symeon Papadopoulos, Panagiotis C. Petrantonakis

机构 * Information Technologies Institute, Centre for Research & Technology, Hellas（希腊研究与技术中心信息技术研究所） ； Department of Electrical and Computer Engineering, Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学电气与计算机工程系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 针对多模态事实核查中合成数据与真实数据差距大的问题，提出X-POSE基准和TRENT模型，通过三个并行交叉注意力流和关系融合机制进行证据三角测量，在真实数据上优于现有方法。

RESOLVE: A Multi-Resolution and Multi-Modal Dataset for Roadside Cooperative Perception

RESOLVE：用于路边协同感知的多分辨率多模态数据集

Shaozu Ding, Linan Song, Marco De Vincenzi, Dajiang Suo

机构 * The Polytechnic School, Arizona State University（亚利桑那州立大学理工学院） ； Department of Computer Science and Engineering, New York University（纽约大学计算机科学与工程系） 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 提出RESOLVE数据集，包含多分辨率LiDAR和相机-LiDAR同步数据，用于评估路边3D检测与跟踪中的单模态与融合架构，揭示多模态融合如何补偿LiDAR点稀疏性。

Comments Accepted to ECCV 2026. Including supplementary material

CooperScene: Multi-Modal Cooperative Autonomy Benchmark with C-V2X Communication Characterization

CooperScene: 具有C-V2X通信特性的多模态协作自主基准

Bo Wu, Ruoshen Mo, Justin Yue, Yanyu Zhang, Janice Nguyen, Guoyuan Wu, Amit Roy-Chowdhury, Matthew J. Barth, Hang Qiu

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出CooperScene数据集，通过真实C-V2X通信特性、多模态传感器和3GPP标准，建立多车协作感知基准，包含59K帧、344K标注对象。

Comments Accepted to ECCV 2026. 15 pages, 15 figures

AA: A Multi-view Multimodal Dataset for Screen-based Gaze Estimation

AA: 用于屏幕式视线估计的多视角多模态数据集

Chang Liu, Jiaqi Liu, Zhoutong Ye, Xinjie Shen, Chun Yu, Yuanchun Shi

机构 * Tsinghua University（清华大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出AA数据集，包含8个屏幕摄像头和2个侧视角摄像头的同步面部观测及精确视线目标，支持多视角多模态学习，解决单视角数据集的视角变化和遮挡问题。

Building a Multimodal Dataset of Academic Paper for Keyword Extraction

构建用于关键词提取的学术论文多模态数据集

Jingyu Zhang, Xinyi Yan, Yi Xiang, Yingyi Zhang, Chengzhi Zhang

机构 * Department of Information Management, Nanjing University of Science and Technology（南京理工大学经济管理学院信息管理系） ； Department of Archives and E-government, Soochow University（苏州大学社会学院档案与电子政务系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 针对关键词提取任务缺乏多模态数据的问题，构建包含文本、图像、音频和关键词的学术论文多模态数据集，实验表明融合多模态文本能有效提升关键词提取性能。

Journal ref ASIST, 2024

From Multimodal Perception to Strategic Reasoning: A Survey on AI-Generated Game Commentary

从多模态感知到策略推理：AI生成游戏评论综述

Qirui Zheng, Xingbo Wang, Keyuan Cheng, Yunlong Lu, Muhammad Asif Ali, Lingfeng Li, Yongyi Wang, Wenxin Li

机构 * Peking University（北京大学） ； King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CL、cs.AI

AI总结 本文提出统一框架，将AI生成游戏评论分为描述性、分析性和背景性三类，综述方法、数据集和评估指标，并指出未来方向。

Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents

从失败中学习：计算机使用代理的推理时自我改进

Xueqiao Sun, Xiaohan Wang, Ludwig Schmidt, Serena Yeung-Levy, Yuhui Zhang

机构 * Stanford University（斯坦福大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出失败驱动的自我改进循环，利用LLM诊断失败模式并生成代码补丁，在OSWorld基准上将OpenCUA-72B模型成功率从42.3%提升至48.9%，无需额外训练成本。

Comments Published in ECCV 2026

PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception

PerceptionRubrics：将多模态评估校准至人类感知

Yana Wei, Hongbo Peng, Yanlin Lai, Liang Zhao, Kangheng Lin, En Yu, Keyu Lv, Han Zhou, Yin Tang, Haodong Li, Mitt Huang, Hangyu Guo, Jianjian Sun, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Vishal M. Patel

机构 * Johns Hopkins University（约翰霍普金斯大学） ； StepFun ； Tsinghua University（清华大学） ； Independent Researcher（独立研究者） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

AI总结 提出基于准则的评估框架PerceptionRubrics，通过双流准则和门控评分机制，解决基准分数饱和而实际脆弱性问题，揭示可靠性差距、开源与闭源感知差异，并实现与人类感知的高度对齐。

Comments ICML 2026. Project page: https://weiyana.github.io/PerceptionRubrics

Accelerating Structure-Property Relationship Discovery with Multimodal Machine Learning and Self-Driving Microscopy

利用多模态机器学习和自驱动显微镜加速结构-性能关系发现

Jiawei Gong, Danqing Ma, Ralph Bulanadi, Robert Moore, Rama Vasudevan, Lianfeng Zhao, Yongtao Liu

专题命中 多模态评测 ：multimodal(title)

AI总结 提出结合自主显微镜与双新颖深度核学习及双变分自编码器的框架，用于高效采集光谱数据并构建结构-性能关系图，应用于钙钛矿薄膜揭示了纳米结构特征与迟滞行为的关联。

Comments 20 pages, 6 figures

Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

Goku：百万级通用指令视频编辑数据集与基准

Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出首个百万级多任务视频编辑数据集Goku，包含200万高质量指令对齐对，并设计高效数据合成流程和渐进过滤系统，基于此提出双分支模型Goku-Edit及包含1000个测试用例的基准Goku-Bench，在指令遵循上提升8%。

Comments Project Page: https://flying-sky999.github.io/Goku.github.io/

JL1-CC&QA: Extending the JL1-CD Benchmark with Change Captioning and Question Answering

JL1-CC&QA：扩展JL1-CD基准，增加变化描述和问答

Ziyuan Liu, Ruifei Zhu, Ouqiao Ma, Yuantao Gu

机构 * Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学电子工程系，北京信息科学与技术国家研究中心） ； Chang Guang Satellite Technology Co., Ltd. (CGSTL)（长光卫星技术股份有限公司） ； College of Communications Engineering, Army Engineering University of PLA（中国人民解放军陆军工程大学通信工程学院） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出JL1-CC&QA多任务基准，通过变化描述和问答扩展JL1-CD，利用吉林一号卫星图像和三级标注流程，推动遥感变化理解。

Comments 10 pages, 8 figures

How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

LLM如何看待创造力：具有可解释推理的视觉创造力零样本评分

William Orwig, Roger E. Beaty

机构 * Harvard University（哈佛大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 研究多模态大模型能否零样本评估视觉创造力，并分析其推理过程的可解释性。实验表明模型评分与人类高度一致，但推理并未提升评分准确性。

Comments 21 pages, 9 figures

CryoACE: An Atom-centric Framework for Accurate and Automated Model Building in Cryo-EM

CryoACE: 面向冷冻电镜中精确自动模型构建的原子中心框架

Minzhang Li, Mingrui Li, Weichen Qin, Qihe Chen, Sixian Shen, Yuan Pei, Jiakai Zhang, Jingyi Yu

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出CryoACE框架，通过原子中心重建范式和无需训练的引导机制，实现冷冻电镜密度图中均质与异质结构的精确原子模型构建，显著优于现有方法。

Journal ref ICML2026

Beyond Single Character: Evaluating MLLMs for Sentence-Level Oracle Bone Inscription Understanding

超越单字符：评估多模态大语言模型在句子级甲骨文理解中的表现

Ziqi Li, Zijian Chen, Tingzhu Chen, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Nanjing University of Science and Technology（南京理工大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 提出S-OBI基准，通过字形替换与组合合成清晰标准的句子级甲骨文实例，设计语义匹配、语义槽提取和上下文推理任务，评估多模态大语言模型在句子级甲骨文理解中的表现，发现当前模型仍依赖字符级识别。

Comments 13 pages, 4 figures

PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks

PPT-Eval: 面向PowerPoint任务的计算机使用智能体基准

Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft（微软） ； UMass Amherst（马萨诸塞大学阿默斯特分校） ； Google（谷歌） ； Snowflake 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出PPT-Eval基准，包含120个PowerPoint任务，并设计基于评分标准的评估框架，通过部分评分和自然语言反馈衡量智能体表现，发现现有最强模型仅达45%成功率。

Comments Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

M3CoTBench: Benchmark Chain-of-Thought of MLLMs in Medical Image Understanding

M3CoTBench：医学图像理解中多模态大语言模型的思维链基准测试

Juntao Jiang, Jiangning Zhang, Yali Bi, Jinsheng Bai, Weixuan Liu, Weiwei Jin, Zhucun Xue, Yong Liu, Xiaobin Hu, Shuicheng Yan

机构 * Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； East China Normal University（华东师范大学） ； Zhejiang Provincial People’s Hospital（浙江省人民医院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 提出M3CoTBench基准，通过多层级难度数据集和专用评估指标，系统评测多模态大语言模型在医学图像理解中的思维链推理正确性、效率、影响和一致性。

Comments 39 pages, 8 figures; accepted by ICLR 2026

RGBT-GroundBench: Visual Grounding Beyond RGB in Complex Real-World Scenarios

RGBT-GroundBench: 超越RGB的复杂真实世界场景中的视觉定位

Tianyi Zhao, Jiawen Xi, Linhui Xiao, Junnan Li, Xue Yang, Maoxun Yuan, Xingxing Wei

机构 * Institute of Artificial Intelligence, State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学人工智能研究院、虚拟现实技术与系统国家重点实验室） ； Pengcheng Laboratory（鹏城实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出首个大规模RGB-热红外视觉定位基准RGBT-GroundBench，包含4万+图像和3级细粒度标注，统一评估协议支持RGB/热红外/融合输入，揭示低照度下性能显著下降，并引入参考基线RGBT-VGNet。

Comments 40pages, 9figures

RoboTacDex: A Dexterous Visual-Tactile-Action Dataset for Humanoid Manipulation

RoboTacDex：用于人形机器人操作的灵巧视觉-触觉-动作数据集

Xinyi Wang, Donghan Li, Zi'Ang Chen, Chong Yu, Chen Xin, Peng Ye, Yingkai Sun, Tao Chen

机构 * Fudan University（复旦大学） ； ByteDance Intelligent Creation（字节跳动智能创作） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 提出RoboTacDex，一个包含6k轨迹、19个任务、23种技能和22个物体的大规模多模态灵巧操作数据集，基于Unitree G1人形机器人构建，提供多视角RGB-D、触觉反馈和语义标注，并评估了三种模仿学习模型。

Robocalls: A Worldwide or US-only Problem? Analyzing Spam and Fraud in International Phone Calls

机器人电话：全球性问题还是美国独有问题？分析国际电话中的垃圾电话和欺诈电话

Kemal Altwlkany, Andro Merćep, Tomislav Đuričić, Ante Kapetanović, Emanuel Lacic

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本研究通过收集65个国家的机器人电话数据，构建了首个多模态国际机器人电话数据集，分析发现美国面临的机器人电话威胁显著高于其他国家。

AtomiMed: Hierarchical Atomic Fact-Checking for Universal Clinical-Aware Medical Report Evaluation

AtomiMed：用于通用临床感知医学报告评估的分层原子事实核查

Yuan Wang, Wanxing Chang, Songtao Jiang, Shujian Gao, Xiaotian Zhang, Ruifeng Yuan, Weiwei Cao, Bowen Shi, Ling Zhang, Zuozhu Liu, Jianpeng Zhang

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 提出AtomiMed框架，将复杂医学叙述分解为分层原子临床事实，通过代理交叉验证循环模拟多放射科医生同行评审，实现诊断检测和描述准确性的解耦评估。

Comments 11 pages, 4 figures

TS-Haystack: A Multi-Task Retrieval Benchmark for Long-Context Time-Series Reasoning

TS-Haystack：一种用于长上下文时间序列推理的多任务检索基准

Nicolas Zumarraga, Thomas Kaar, Ning Wang, William Tennien, Alpay Hasanli, Max Rosenblattl, Fan Wu, Kevin Riehl, Maxwell A. Xu, Markus Kreft, Kevin O'Sullivan, Elgar Fleisch, Paul Schmiedmayer, Robert Jakob, Patrick Langer

机构 * Agentic Systems Lab, ETH Zurich（1 非常规系统实验室，苏黎世联邦理工学院） ； Stanford University（2 斯坦福大学） ； Traffic Engineering Group, Institute for Transport Planning and Systems, ETH Zurich（3 交通工程组，交通规划与系统研究所，苏黎世联邦理工学院） ； University of Illinois Urbana-Champaign（4 印第安纳大学厄巴纳-香槟分校） ； Google（5 谷歌） ； Centre for Digital Health Interventions, ETH Zurich（6 数字健康干预中心，苏黎世联邦理工学院） ； Centre for Digital Health Interventions, University of St. Gallen（7 数字健康干预中心，圣加尔登大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 本文提出TS-Haystack基准，评估长上下文时间序列推理能力，发现现有TSLMs存在长上下文退化问题，代理检索框架在9/10任务中表现优异。

Comments Workshop version of this paper published at ICLR TSALM 2026. Benchmark generation code and datasets: https://github.com/AI-X-Labs/TS-Haystack

Evaluating Integrative Strategies for Incorporating Phenotypic Features in Spatial Transcriptomics

评估整合表型特征以纳入空间转录组学的策略

Levin M Moser, Ahmad Kamal Hamid, Esteban Miglietta, Nodar Gogoberidze, Beth A Cimini

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 本文探讨了在空间转录组学中整合表型特征的方法，评估了变分自编码器在提取低维表示中的有效性，并展示了其在生物变异和标签恢复中的优势。

V2T-CoT: From Vision to Text Chain-of-Thought for Medical Reasoning and Diagnosis

V2T-CoT：从视觉到文本链式推理用于医学推理与诊断

Yuan Wang, Jiaxiang Liu, Shujian Gao, Bin Feng, Zhihang Tang, Xiaotang Gai, Jian Wu, Zuozhu Liu

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出V2T-CoT方法，通过自动化定位生物医学图像中的偏好区域并将其整合到区域级像素注意力中，提升医学诊断的可解释性与准确性。

Comments 12 pages, 4 figures