多模态大模型

Simulating Validity: Modal Decoupling in MLLM Generated Feedback on Science Drawings

模拟有效性：在MLLM生成的科学图表反馈中的模态解耦

Arne Bewersdorff, Nejla Yuruk, Xiaoming Zhai

机构 * University of Georgia, AI4STEM Education Center（佐治亚大学AI4STEM教育中心） ； Gazi University, Department of Mathematics and Science Education（加齐大学数学与科学教育系） 纠错

专题命中 多模态评测 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.AI

AI总结 研究探讨了多模态大语言模型生成的科学图表反馈中模态解耦问题，发现反馈常存在 grounding 失败，表明需超越常规提示策略的 grounding 机制。

Comments Accepted as AIED Short Paper 2026, Seoul, South Korea. Submission #1147. This is the long paper version

MMIR-TCM: Memory-Integrated Multimodal Inference and Retrieval for TCM Clinical Decision Support

MMIR-TCM：面向中医临床决策支持的记忆集成多模态推理与检索

Lihui Luo, Joongwon Chae, Ziyan Chen, Yang Liu, Siyi Cheng, Weihan Gao, Zelin Zeng, Xiaoming Yin, Samaneh Beheshti Kashi, Dongmei Yu, Lian Zhang, Jing Sui, Zeming Liang, Jiansong Ji, Peter E. Lobie, Peiwu Qin

机构 * Institute of Biopharmaceutics and Health Engineering, Tsinghua Shenzhen International Graduate School（清华深圳国际研究生院生物医药与健康工程研究院） ； Chinese Medicine Guangdong Laboratory（广东省中医药实验室） ； Beijing Normal University（北京师范大学） ； First Hospital of Hebei Medical University（河北医科大学第一医院） ； Lishui Hospital of Zhejiang University（浙江大学丽水医院） ； XiaoMing TCM Hospital（小明中医医院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出MMIR-TCM框架，结合多模态大模型、记忆增强分割与检索增强生成，解决中医舌诊中的主观性和语义鸿沟问题，在MedTCM数据集上优于GPT-4o等模型。

MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models

MMBench-Live：一个持续演进的多模态模型基准

Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； PRIS-CV 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出MMBench-Live，一个通过多智能体自动化流水线构建的持续演进多模态基准，解决静态基准的时效性、数据污染和维护成本问题，采用分布一致性更新策略，每次更新成本约30美元。

Multi-modal Rail Crossing Safety Analysis

多模态铁路道口安全分析

Paimon Goulart, Chansong Lim, Nícolas Roque dos Santos, Yue Dong, Sheldon Peterson, Jia Chen, Evangelos E. Papalexakis

机构 * University of California, Riverside（加州大学河滨分校） ； Riverside County Transportation Commission（河滨县交通委员会） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出多模态管道，利用视觉线索和事故报告评估铁路道口安全，基于FRA评分实现高风险/低风险分类（F1=0.757）和分数估计（RMSE=0.078）。

Descriptor: LYNRED Mobility Dataset Multimodal Detection Subset (LYNRED-MDS)

描述符：LYNRED 移动数据集多模态检测子集 (LYNRED-MDS)

Loïc Arbez, Jessy Matias, Xavier Brenière, Jocelyn Chanussot, Ronald Phlypo

机构 * INRIA center at University Grenoble Alpes（法国格勒诺布尔阿尔卑斯大学INRIA中心） ； Lynred（Lynred公司） ； Univ Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab（法国格勒诺布尔阿尔卑斯大学、CNRS、格勒诺布尔INP、GIPSA实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对现有RGB-红外数据集场景简单、天气单一的问题，提出LYNRED-MDS多模态检测子集，包含4000对不同天气、光照和道路条件下的RGB-红外图像对，覆盖多种驾驶场景，通过YOLOv8n基线跨数据集评估验证了其在行人检测中的泛化潜力。

Journal ref IEEE Data Descriptions, 3, pp.1-10

Omni-DuplexEval: Evaluating Real-time Duplex Omni-modal Interaction

Omni-DuplexEval: 评估实时双工全模交互

Chaoqun He, Mingyang Xiang, Yingjing Xu, Bokai Xu, Junbo Cui, Jie Zhou, Yuan Yao, Lijie Wen

机构 * Tsinghua University（清华大学） ； Tongji University（同济大学） ； ModelBest Inc.（ModelBest公司） 纠错

专题命中 多模态评测 ：omni-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出Omni-DuplexEval基准，用于系统评估实时双工交互能力，通过两个互补场景评估模型生成连续响应和主动提醒的能力，并揭示现有模型在平衡响应及时性和内容连贯性方面的局限性。

Comments 21 pages, 6 figures

PoliTok-DE: A Multimodal Dataset of Political TikToks and Deletions From Germany

PoliTok-DE：德国政治TikTok及删除内容的多模态数据集

Tomas Ruiz, Andreas Nanz, Ursula Kristin Schmid, Carsten Schwemmer, Yannis Theocharis, Diana Rieger

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 提出PoliTok-DE多模态数据集，包含两次德国选举的93万条TikTok帖子，其中33万条被删除，用于研究不宽容、政治传播及平台政策。

SCLARO: A Dataset for Grounded Scenario-Level Scene Understanding and ScenarioCLIP for Benchmarking

SCLARO：面向场景级场景理解的数据集及用于基准测试的ScenarioCLIP

Advik Sinha, Saurabh Atreya, Aashutosh A, Sk Aziz Ali, Abhijit Das

机构 * Machine Intelligence Group, Department of CS&IS, Birla Institute of Technology and Science, Pilani – Hyderabad Campus（人工智能组，计算机科学与信息系，比拉理工学院和科学学院，比拉-海得拉巴校区） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出SCLARO数据集（615,805张图像，含动作、对象和关系标注）及ScenarioCLIP模型，通过解耦编码器和知识蒸馏联合编码场景上下文、对象和关系，在零样本检索等任务上优于先前方法。

EduArt: An educational-level benchmark for evaluating art history knowledge in large language models

EduArt：评估大型语言模型艺术史知识的教育级基准

Gianmarco Spinaci, Lukas Klic, Giovanni Colavizza

机构 * University of Bologna（博洛尼亚大学） ； Villa i Tatti – The Harvard University Center for Italian Renaissance Studies（哈佛大学意大利文艺复兴研究中心（I Tatti）） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出EduArt基准，包含871道人工出题的艺术史题目，评估多模态大模型在不同格式和语言下的知识掌握与推理能力，发现格式显著影响表现，多选题高估模型能力。

Scaling with Confidence: Calibrating Confidence of LLMs for Adaptive Test Time Scaling

自信地扩展：校准LLM的置信度以实现自适应测试时扩展

Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Southeast University（东南大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出C3RL算法，通过结合正确性、校准和数据集参考准确率奖励来校准LLM的置信度，并基于此引入CAS策略，根据置信度自适应分配推理计算资源，在提升校准性的同时降低推理成本。

From Forgeries to Foundation Models: A Systematic Survey of Identity Document Attack and Detection

从伪造到基础模型：身份证件攻击与检测的系统性综述

Gourab Das, Pavan Kumar C, Raghavendra Ramachandra

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文系统综述了身份证件伪造攻击（物理呈现、数字注入、生成式合成）及检测方法，揭示了基准与现实间的差距，并发现最强模型在零样本场景下APCER超25%。

TRACE: A Concept Bottleneck Model for Longitudinal 3D Glioblastoma Response Assessment

TRACE：用于纵向3D胶质母细胞瘤反应评估的概念瓶颈模型

Alia Tarek, Hamsa Saberr, Hamza Elghonemy, Youssef Afify, Tamer Basha, Omair Shahzad Bhatti, Abdulrahman M. Selim, Hasan Md Tusfiqur Alam, Daniel Sonntag

机构 * Department of Biomedical and Healthcare Data Engineering, Faculty of Engineering, Cairo University（生物医学与健康数据工程系，工程学院，开罗大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； University of Oldenburg（奥尔登堡大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 提出TRACE模型，通过概念瓶颈架构将RANO 2.0标准融入深度学习，实现可解释的4类胶质母细胞瘤纵向反应分类，在LUMIERE数据集上达到4类宏F1为0.4769，并支持概念校正。

Comments Accept in the EXPLIMED: Explainable Artificial Intelligence for the Medical Domain workshop in IJCAI 2026

ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents

ClawArena-Team: 语言模型智能体中子智能体编排与动态工作流的基准测试

Kaiwen Xiong, Haonian Ji, Shi Qiu, Zeyu Zheng, Cihang Xie, Xinyu Ye, Huaxiu Yao

机构 * UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出ClawArena-Team基准，通过41个多轮多模态多目录场景，评估单个LLM作为管理者编排子智能体的能力，发现管理瓶颈在于权限授予而非感知，且成本与质量解耦。

Comments 24 pages, 10 figures, website: https://www.clawarena.cc/

EPOFusion: Exposure aware Progressive Optimization Method for Infrared and Visible Image Fusion

EPOFusion：一种针对红外和可见图像融合的曝光感知渐进优化方法

Zhiwei Wang, Defeng He, Li Zhao, Xiaoqin Zhang, Yuxing Li, Edmund Y. Lam

机构 * College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院） ； College of Information Science and Technology, Zhejiang Shuren University（浙江树人大学信息科技学院） ； Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电机电子工程系） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出EPOFusion方法，通过引入指导模块和迭代解码器提升曝光区域的融合效果，同时构建首个高质红外引导标注的曝光数据集，实验表明其在视觉保真度和下游任务表现上优于现有方法。

MERLIN-SUITE: Probabilistic modular GRN inference from multi-omics data integrating regulatory priors and transcription factor activity

MERLIN-SUITE: 整合调控先验和转录因子活性的多组学数据概率模块化基因调控网络推断

Suvojit Hazra, Marina Kotvanova, Kirstan Gimse, Sushmita Roy

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 提出MERLIN-SUITE框架，通过整合外部调控先验和潜在转录因子活性估计，实现从多组学数据中稳健推断基因调控网络，并在单细胞重编程数据中验证。

Comments 27 pages, 7 figures, This book chapter is scheduled to appear in the lab protocol series Methods in Molecular Biology

scMTNI: Leveraging cellular trajectory and context to infer dynamic GRNs from single-cell multi-omics data

scMTNI：利用细胞轨迹和上下文从单细胞多组学数据推断动态基因调控网络

Suvojit Hazra, Chandrani Kumari, Sushmita Roy

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 提出scMTNI多任务学习框架，整合单细胞多组学数据推断细胞类型特异性GRN及其动态变化，应用于细胞重编程数据识别关键调控因子。

Comments 24 pages, 5 figures, This book chapter is scheduled to appear in the lab protocol series Methods in Molecular Biology

Evaluating Social Engineering Risks in AI-based Interaction using Biometrics and a Gaming Setup

ARES: 一种用于人类-人工智能游戏中基于角色的社会工程风险自适应评估平台

Roberto Daza, Javier Irigoyen, Ivan Lopez, Raquel Rodriguez-Carvajal, Laura Gomez-Carbajo, Julian Fierrez, Ruben Tolosana, Aythami Morales

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出ARES平台，通过可控社交游戏审计LLM中介的社会决策中的自适应社会工程风险，支持人-人、人-AI和AI-AI设置，并收集多模态数据集以评估风险。

Comments 6 pages, 2 figures. Accepted at the IEEE International Carnahan Conference on Security Technology (ICCST 2026), October 14, 2026

Can LLMs Credibly Transform the Creation of Panel Data from Diverse Historical Tables?

LLM能否可信地转换来自不同历史表格的面板数据？

Verónica Bäcker-Peral, Vitaly Meursault, Christopher Severen

专题命中 多模态评测 ：multimodal(abstract)

AI总结 提出基于多模态LLM的管道，以低成本从历史表格中提取面板数据，在车辆登记数据上达到95.4%精确匹配率，成本仅为传统方法的1/50。