多模态大模型

Benchmarking Multimodal Large Language Models for Scientific Visualization Literacy

用于科学可视化素养的多模态大语言模型基准测试

Patrick Phuoc Do, Chau M. Ta, Chaoli Wang

机构 * University of Notre Dame（圣母大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究对六个多模态大语言模型进行科学可视化素养基准测试，涵盖多种技术和任务类型。通过封闭世界协议评估闭源和开源模型，与人类参与者数据对比。发现模型表现不均，Gemini最强，开源模型低于人类基线，明确SciVis素养对评估多模态AI系统的必要性。

MeetingToM: Evaluating Multimodal LLMs on Theory-of-Mind Reasoning in Multi-Party Meetings

MeetingToM：在多方会议中对具有心理理论推理能力的多模态大语言模型进行评估

Ziyi Wang, Yuhang Wu, Dongxu Piao, Xingyu Liu, Tianhui Zhou, Miao Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； Department of Biostatistics and Bioinformatics, Duke University（杜克大学生物统计学与生物信息学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 研究多方会议中多模态大语言模型的心理理论推理，引入MeetingToM基准，分层评估不同粒度社会行为推理，提供评估协议并分析模型，揭示其在整合线索、推断态度及区分共识方面的局限，为推进多模态模型的会议心理理论推理提供试验台。

Cross-Modal UAV Object Tracking: State-Aware Representation Learning and A Unified Benchmark

跨模态无人机目标跟踪：状态感知表示学习与统一基准

Yun Xiao, Zhihong Hong, Jiandong Jin, Chenglong Li, Jin Tang, Amir Hussain

机构 * Anhui University（安徽大学） ； Edinburgh Napier University（爱丁堡龙比亚大学） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对无人机跨模态目标跟踪中模态切换致外观和位置突变的问题，提出状态感知表示学习方法SARLA，含相关模块及损失函数，建立CM-UOT基准，实验证明其性能优于多种方法，推动了该领域发展。

Querying Multimodal Scientific Papers with AI: Practices and Preferences Across Blind, Low-Vision, and Sighted Scientists

用人工智能查询多模态科学论文：盲人、低视力和视力正常科学家的实践与偏好

Arnavi Chheda-Kothary, Lucy Lu Wang, Joseph Chee Chang, Jonathan Bragg

机构 * Paul G. Allen School of Computer Science \& Engineering University of Washington Seattle WA USA ； The Information School University of Washington Allen Institute for AI Seattle WA USA ； Allen Institute for AI Seattle WA USA ； University of Washington ； Allen Institute for AI 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究不同视力科学家如何用ChatGPT和Gemini查询多模态科学文档，通过采访了解其审查多模态内容的实践、对AI响应的反馈等，发现相关问题，贡献数据集，讨论对AI科学QA系统的影响。

Style over Substance: A Shortcut Audit of Emotion-Description Preference Evaluation

形式高于内容：情感描述偏好评估的捷径审计

Jiabing Yang, Yixiang Chen, Yuan Xu, Qisen Ma, Tao Yu, Peiyan Li, Yingda Li, Yan Huang, Liang Wang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 研究多模态情感理解中EmoPrefer评估指标，通过内容盲探针审计发现仅用描述长度和生成器标识的逻辑回归性能与复杂模型相当，揭示当前得分可不验证描述与视频达成，建议未来评估采用源平衡配对等方法。

PathReportEval: A Systematic Benchmark for Pathology Report Generation

PathReportEval：病理学报告生成的系统基准测试

Suryakant Singh, Sejuti Majumder, Beatrice Knudsen, Joel Saltz, Prateek Prasanna

机构 * Stony Brook University（石溪大学） ； University of Utah（犹他大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对病理学报告生成难以衡量进展的问题，提出标准化基准测试和评估框架，用三种编码器在三个数据集上评估四种方法，引入临床报告质量评分（CRQS），揭示模型和编码器差异，为病理学报告生成评估奠定可重复基础。

Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains

Relay-Bench：评估大语言模型在多领域推理链上的表现

Liam Swayne

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 Relay-Bench是用于评估大语言模型在多领域推理链能力的基准测试，测试集含复合问题，涵盖多领域，模型使用无限制，鼓励利用工具，领先模型GPT-5.5（xHigh）得分43.3%，问题由两到十三个子问题组成，无需多模态输入输出。

Comments 21 pages, 7 figures

Breaking the Homogeneity Assumption: Specialized Multi-Generator Adversarial Learning for Rare Failure Detection in Predictive Maintenance

打破同质性假设：用于预测性维护中罕见故障检测的专门多生成器对抗学习

Alexis Lazanas, Georgios Kampouropoulos

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究预测性维护中罕见故障检测，提出故障类型感知生成增强程序，采用专门多生成器GAN架构，通过防泄漏实验设计比较多种不平衡处理方法，实验表明该框架能产生更真实少数样本，提升PR-AUC和召回分数。

Journal ref International Journal of Computer Applications (2026)

NaviAIS: A Scenario-Level Vessel Trajectory Prediction Dataset withVectorized Lane Priors and the NaviLane Forecasting Framework

NaviAIS：一个具有矢量化航道先验的场景级船舶轨迹预测数据集及NaviLane预测框架

Yuan Gui, Hongchen Luo, Liqi Qu, Longyue Fu, Jiao Wang

机构 * Northeastern University（东北大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究针对复杂海洋环境下船舶轨迹预测问题，引入NaviAIS数据集并提出NaviLane框架，通过轨迹-地图联合编码、离散宏动作码本及模块优化评估等方法，提升船舶轨迹预测性能，优于现有基线。

Evaluating medical AI under missing information: same-provider judges and human raters change apparent safety

在信息缺失情况下评估医疗人工智能：同提供者评判者和人类评分者会改变表面安全性

Koyar Afrasyab

机构 * Kinvectum AB（金维图姆公司） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究在信息缺失下评估医疗人工智能，通过删除对话部分对四个模型压力测试，发现评判者选择影响表面安全性，语言模型评判者更宽松，安全差距在于校准，还发布了相关测试工具等。

Comments GitHub https://github.com/KAVentures/health-ai-readiness-robustness

Tears or Cheers? Benchmarking LLMs via Culturally Elicited Distinct Affective Responses

眼泪还是欢呼？通过文化诱发的差异情感反应基准测试LLMs

Chongyuan Dai, Yaling Shen, Zihan Gao, Jia Li, Yishun Jiang, Yaxiong Wang, Liu Liu, Zongyuan Ge, Jinpeng Hu

机构 * Hefei University of Technology（合肥工业大学） ； Monash University（墨尔本大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出CEDAR基准，通过文化诱发的差异情感反应评估LLMs，揭示语言一致性和文化契合度之间的脱节，展示文化根植的情感理解仍是模型的重大挑战。

Comments ACL 2026 SAC Highlight

Pain in 3D: Generating Controllable Synthetic Faces for Automated Pain Assessment

3D 中的疼痛：生成用于自动疼痛评估的可控合成面部

Xin Lei Lin, Soroush Mehraban, Abhishek Moturu, Babak Taati

机构 * Vector Institute（向量研究所） ； KITE Research Institute（KITE研究机构） ； University Health Network（大学健康网络） ； Department of Computer Science, University of Toronto（多伦多大学计算机科学系） ； Department of Medical Imaging, University of Toronto（多伦多大学医学成像系） ； Institute of Biomedical Engineering, University of Toronto（多伦多大学生物医学工程研究所） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究针对面部表情自动疼痛评估面临的数据稀缺等问题，提出3DPain数据集及三阶段框架合成多视图面部，还引入ViTPain框架，为可推广的自动疼痛评估建立了可控、多样且基于临床的基础。

Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models

阅读还是忽略？视觉语言模型中排版攻击鲁棒性和文本识别的统一基准

Futa Waseda, Shojiro Yamabe, Daiki Shiono, Kento Sasaki, Tsubasa Takahashi

机构 * Turing Inc.（Turing公司） ； The University of Tokyo（东京大学） ； Institute of Science Tokyo（东京科学研究院） ； Tohoku University（东北大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 研究大型视觉语言模型排版攻击鲁棒性和文本识别问题，引入RIO-VQA任务及RIO-Bench基准，发现目标中心防御的权衡，提出数据驱动防御基线，提升模型在两方面的性能，凸显现有鲁棒性范围与现实需求的错位。

Comments Accepted at ECCV 2026. The project page is available at: https://turingmotors.github.io/rio-vqa/

MAGE: Human-Like Macro Placement via Agentic Multimodal Reasoning

MAGE：通过智能多模态推理实现类人宏布局

Andrew B. Kahng, Sayak Kundu, Bodhisatta Pramanik

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对工业物理设计流程中宏布局需大量人工优化的问题，提出MAGE框架。该框架通过多模态多智能体实现宏布局优化，结合多种规则与检查，引入量化类人性指标。实验表明其相比商业工具及基线有显著提升，且能转移到新布局设置。

Comments 16 pages

Mi-Memory: A Lifecycle Memory Framework for Personal AI

Mi-Memory：一种用于个人人工智能的生命周期内存框架

Xule Liu, Hanlin Teng, Chao Li, Yanan Ni, Shuo Lu, Audrey Wang, Yijun Liu, Yunfei Wang, Xiaofeng Li, Xian Yi, Yuanfa Li, Kang Zhao, Jian Liang, Yuxuan Chen, Jinyuan Chen, Heng Qu, Kun Shao, Jian Luan

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 研究针对个人人工智能从聊天交互拓展至多设备持续服务的需求，提出Mi-Memory生命周期内存框架，围绕四个角色构建，通过共享审计合约及相关工件家族实现，经实例化角色在评估中取得一定成果，迈向可审计等特性的内存系统。

Comments Project page: https://darwin-agent.github.io/Mi-Memory/

Guide, Think, Act: Interactive Embodied Reasoning in Vision-Language-Action Models

引导、思考、行动：面向视觉-语言-动作模型的交互式具身推理

Yiran Ling, Qing Lian, Jinghang Li, Qing Jiang, Tianming Zhang, Xiaoke Jiang, Chuanxiu Liu, Jie Liu, Lei Zhang

机构 * Futian Laboratory（福田实验室） ； Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院） ； International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA）） ； School of Robotics, Hunan University（湖南大学机器人学院） ； South China University of Technology（华南理工大学） ； Visincept（Visincept公司） ； National Key Laboratory of Smart Farm Technologies and Systems（智能农业技术与系统国家重点实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出GTA-VLA框架，通过允许用户用显式视觉提示引导机器人策略，实现空间可调节的具身推理。该框架整合了外部指导与内部任务规划，提升了在视觉歧义和错误恢复中的表现。

FormGym: Doing Paperwork with Agents

FormGym：用智能体完成文书工作

Matthew Toles, Rattandeep Singh, Isaac Song, Zhou Yu

机构 * Columbia University（哥伦比亚大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 FormGym提出一个表格填写基准测试，通过FieldFinder工具提升智能体在表格定位和填写任务中的性能

Learning to Assess Danger from Movies for Cooperative Escape Planning in Hazardous Environments

学习从电影中评估危险以进行合作逃离规划在危险环境中

Vikram Shree, Sarah Allen, Beatriz Asfora, Jacopo Banfi, Mark Campbell

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出利用电影数据训练机器人评估危险，结合多模态信息提升人机合作逃离效率。

Comments 8 pages, 8 figures Accepted for publication at 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

Evaluating Uncertainty and Quality of Visual Language Action-enabled Robots

评估具有视觉语言动作能力的机器人的不确定性和质量

Pablo Valle, Chengjie Lu, Shaukat Ali, Aitor Arrieta

机构 * Mondragon University（蒙dragon大学） ； Simula Research Laboratory（Simula研究实验室） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 研究针对具有视觉语言动作能力的机器人，采用八个不确定性指标和五个质量指标，通过大规模实证研究评估其有效性，发现部分指标与人类评估有相关性且能区分任务执行质量，挑战了仅依赖成功率的评估做法。

VENOMREC: Cross-Modal Interactive Poisoning for Targeted Promotion in Multimodal LLM Recommender Systems

VENOMREC: 多模态交互性污染用于多模态大语言模型推荐系统中的定向推广

Guowei Guan, Yurong Hao, Jiaming Zhang, Tiantong Wu, Fuyao Zhang, Tianxiang Chen, Longtao Huang, Cyril Leung, Wei Yang Bryan Lim

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)

AI总结 VENOMREC通过跨模态交互性污染技术，在多模态大语言模型推荐系统中实现定向推广，有效提升推荐性能。

Advancing Multimodal Fusion on Heterogeneous Medical Data with Hybrid Geometry Attention

利用混合几何注意力推进异构医学数据上的多模态融合

Joy Dhar, Manish Kumar Pandey, Nayyar Zaidi, Chen Chen, Maryam Haghighat, Ferdous Sohel, Puneet Goyal

机构 * Indian Institute of Technology Ropar（印度理工学院罗帕尔分校） ； RoentGen Health（伦琴健康公司） ； Deakin University（迪肯大学） ； University of Central Florida（中佛罗里达大学） ； Queensland University of Technology（昆士兰科技大学） ； Murdoch University（莫道克大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对异构医学数据多模态融合难题，提出CURE框架，通过HyFuse层及相关模块逐步整合模态，有效捕捉跨模态交互，降低计算成本，在多数据集上评估显示其性能显著提升，优于领先方法。

Comments ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

EmoEUS: Uncertainty Supervision for Multimodal Emotion Recognition in Conversation

EmoEUS：对话中多模态情感识别的不确定性监督

Zilong Huang, Kong Aik Lee, Junjie Li, Zhe Li, Man-Wai Mak

机构 * Dept. of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电子与电气工程系） ； Speech, Language, and Cognition Laboratory, The University of Hong Kong（香港大学语音、语言与认知实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

AI总结 研究对话中多模态情感识别，提出EmoEUS框架，通过动态加权模态执行不确定性感知多模态融合，并引入显式监督损失，实验证明该框架优于现有方法。

Comments Accept by Interspeech 2026

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

LP-SFT：通过多模态熵结构进行局部保持监督微调

Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

机构 * School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究监督微调中存在的问题，利用香农和雷尼熵分析揭示预训练模型的多模态熵结构，提出LP-SFT目标，在多领域实验中提升性能，平衡准确率和k准确率。

Comments 20 pages, 3 figures. Code is available at https://github.com/Wakaka161/LP-SFT

Thinking Fast, Thinking Slow: Adaptive Multimodal Transformer-based Sensor Fusion for Depth Estimation on Ultra-low-power MCUs

快速思考，慢速思考：基于自适应多模态Transformer的超低功耗MCU深度估计传感器融合

Luca Crupi, Lorenzo Lamberti, Giovanni Badaracco, Daniele Allegri, Alessandro Giusti, Daniele Palossi

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 研究针对超低功耗MCU深度估计问题，提出结合多模态传感器融合与轻量级基于循环Transformer架构的自适应方法，通过令牌传播和增量传感器利用机制平衡能耗与精度，实验证明该方法节能且精度提升显著。

Comments 16 pages, 9 figures, 6 tables. This paper has been accepted for publication in the IEEE Sensors Journal Copyright 2026 IEEE

Brewing Stronger Features: Dual-Teacher Distillation for Multispectral Earth Observation

酿造更强的特征：多光谱地球观测的双教师蒸馏

Filip Wolf, Blaž Rolih, Luka Čehovin Zajc

机构 * University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅纳大学计算机与信息科学学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出双教师对比蒸馏框架，用于多光谱地球观测，通过结合多光谱和光学教师，实现跨模态表示学习，提升多光谱和光学数据的性能。

Comments Accepted to CVPR 2026 as Highlight

Subject-Conditioned Glucose Forecasting in Type-1 Diabetes

1型糖尿病中基于个体条件的血糖预测

Giorgia Rigamonti, Mirko Paolo Barbato, Davide Marelli, Paolo Napoletano

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 研究针对1型糖尿病血糖预测问题，提出多模态深度学习架构SCGP，基于观测数据和个体表征预测血糖，通过分离特征与建模避免早期融合，实验证明其能提高预测性能，利于个性化糖尿病管理。

Comments Accepted at the IEEE EMBC 2026 Conference

AInimation: Animating from Prompt to AI-Generated Responses

动画：从提示到人工智能生成的响应的动画制作

Jiaqi Wu, Damien Masson

专题命中 其他多模态 ：multimodal(abstract)

AI总结 研究探索提示与AI生成响应间的动画过渡，通过审查800个示例设计分类法，提出多种动画形式。实验表明添加动画过渡有助于用户审查响应，在定位元素、识别变化及验证提示解释方面表现更佳，适用于集成AI的软件，慢动画更优。

MSC-CMA-ES: Structure-Aware Restarts for CMA-ES via Cyclic Nearest-Better Basin Discovery

MSC-CMA-ES：通过循环最近更好盆地发现实现CMA-ES的结构感知重启

Dimitar Nedanovski, Svetoslav Nenov, Dimitar Pilev

专题命中 其他多模态 ：multimodal(abstract)

AI总结 提出MSC-CMA-ES，通过循环最近更好聚类划分盆地、逐盆地重启并排除冗余访问，在组合函数上达到BIPOP-CMA-ES的2.7倍固定预算目标覆盖率。

Comments 13 pages, 5 figures, 4 tables. Code and full results: https://github.com/snenovgmailcom/cma_es_project

Differential Physiological Responses to Proxemic and Facial Threats in Virtual Avatar Interactions

近距离威胁和面部威胁在虚拟化身交互中的生理差异

Birgit Nierula, Mustafa Tevfik Lafci, Anna Melnik, Mert Akgül, Farelle Toumaleu Siewe, Sebastian Bosse

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 研究探讨了虚拟交互中近距离威胁与面部威胁对生理反应的影响，发现SCR反映空间边界侵犯，HRV响应面部威胁线索。

Journal ref 2025 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), Daejeon, Korea, Republic of, 2025, pp. 162-167