多模态大模型

Dictionary-Aligned Concept Control for Safeguarding Multimodal LLMs

字典对齐的概念控制用于保护多模态大语言模型

Jinqi Luo, Jinyu Yang, Tal Neiman, Lei Fan, Bing Yin, Son Tran, Mubarak Shah, René Vidal

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Amazon（亚马逊） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出字典对齐的概念控制框架，通过定制概念字典和稀疏自编码器实现对多模态大语言模型激活的精细控制，提升安全性的同时保持通用能力。

Comments Accepted in CVPR 2026. Project page: https://peterljq.github.io/project/daco

Investigating Multimodal Large Language Models to Support Usability Evaluation

探究多模态大语言模型以支持可用性评估

Sebastian Lubos, Alexander Felfernig, Damian Garber, Gerhard Leitner, Julian Schwazer, Manuel Henrich

机构 * Graz University of Technology（格拉茨技术大学） ； University of Klagenfurt（克拉根福大学） ； UNiQUARE Software Development GmbH（UNiQUARE软件开发有限公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文探讨了多模态大语言模型在可用性评估中的应用，通过优先级问题框架识别并排名可用性问题，比较了MLLM与专家评估结果，展示了交互可视化工具，并提出整合MLLM评估到实际开发流程的概念。

Comments To appear in the Proceedings of IEA/AIE 2026, Springer LNAI

HM-Bench: A Comprehensive Benchmark for Multimodal Large Language Models in Hyperspectral Remote Sensing

HM-Bench：多模态大语言模型在高光谱遥感中的综合基准

Xinyu Zhang, Zurong Mai, Qingmei Li, Zjin Liao, Yibin Wen, Yuhang Chen, Xiaoya Fan, Chan Tsz Ho, Bi Tianyuan, Haoyuan Liang, Ruifeng Su, Zihao Qian, Juepeng Zheng, Jianxi Huang, Yutong Lu, Haohuan Fu

机构 * Sun Yat-sen University（中山大学） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； China Agricultural University（中国农业大学） ； Southwest Jiaotong University（西南交通大学） ； Southwest University（西南大学） ； National Supercomputing Center in Shenzhen（国家超级计算深圳中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HM-Bench，首个用于评估多模态大语言模型在高光谱图像理解中的基准，通过构建19337对问题-答案对，探索模型在处理高维高光谱数据中的挑战，揭示视觉输入在空间-光谱推理中的优势。

Detection of Hate and Threat in Digital Forensics: A Case-Driven Multimodal Approach

数字取证中的仇恨与威胁检测：基于案例的多模态方法

Ponkoj Chandra Shill

机构 * University of Nevada, Reno（内华达大学雷诺分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种基于案例的多模态方法，用于数字取证中的仇恨与威胁检测，通过区分文本证据、关联上下文文本和图像证据，提升取证的可追溯性和准确性。

Comments 8 pages, 4 figures

GeoMMBench and GeoMMAgent: Toward Expert-Level Multimodal Intelligence in Geoscience and Remote Sensing

GeoMMBench 和 GeoMMAgent：迈向地质科学和遥感领域的专家级多模态智能

Aoran Xiao, Shihao Cheng, Yonghao Xu, Yexian Ren, Hongruixuan Chen, Naoto Yokoya

机构 * RIKEN AIP（日本理化学研究所革新智能研究中心） ； Wuhan University（武汉大学） ； Linköping University（林雪平大学） ； University of Tokyo（东京大学） ； Nanjing University of Information Science and Technology（南京信息工程大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出 GeoMMBench 和 GeoMMAgent，通过综合多模态问答基准和多智能体框架，解决地质科学和遥感领域知识广、传感器异构、任务碎片化等挑战，提升专家级空间解释能力。

Comments CVPR 2026 Highlight paper

BEDTime: A Unified Benchmark for Automatically Describing Time Series

BEDTime：一个统一的基准测试用于自动描述时间序列

Medhasweta Sen, Zachary Gottesman, Jiaxing Qiu, C. Bayan Bruss, Nam Nguyen, Tom Hartvigsen

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 本文提出BEDTime基准测试，评估模型对时间序列结构属性的描述能力，发现专为时间序列语言设计的模型表现欠佳，而视觉语言模型表现优异，且所有方法在现实鲁棒性测试中均表现脆弱。

Neural networks for Text-to-Speech evaluation

用于文本到语音评估的神经网络

Ilya Trofimenko, David Kocharyan, Aleksandr Zaitsev, Pavel Repnikov, Mark Levin, Nikita Shevtsov

机构 * HSE University（高等经济学院） ； Institute for System Programming, Russian Academy of Sciences（俄罗斯科学院系统编程研究所） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 本文提出NeuralSBS和改进的MOSNet及WhisperBert，通过神经网络模型在相对和绝对评估中实现高精度，优于人类评估基准。

MARINER: A 3E-Driven Benchmark for Fine-Grained Perception and Complex Reasoning in Open-Water Environments

MARINER：一种基于3E驱动的基准，用于开放水域环境中的细粒度感知与复杂推理

Xingming Liao, Ning Chen, Muying Shu, Yunpeng Yin, Peijian Zeng, Zhuowei Wang, Nankai Lin, Lianglun Cheng

机构 * Guangdong University of Technology（广东工业大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MARINER基准，通过3E框架评估开放水域环境中的细粒度感知与复杂推理，揭示先进模型在复杂海洋场景中的局限性。

RIRF: Reasoning Image Restoration Framework

RIRF：图像修复推理框架

Wending Yan, Rongkai Zhang, Kaihua Tang, Yu Cheng, Qiankun Liu

机构 * Southwest Jiaotong University（西南交通大学） ； Nanyang Technological University（南洋理工大学） ； Tongji University（同济大学） ； National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出RIRF框架，通过整合结构化推理流程提升图像修复的可解释性与修复质量，结合推理与修复任务实现统一框架。

Towards Knowledgeable Deep Research: Framework and Benchmark

走向知识导向的深度研究：框架与基准

Wenxuan Liu, Zixuan Li, Long Bai, Chunmao Zhang, Fenghui Zhang, Zhuo Chen, Wei Li, Yuxin Zuo, Fei Wang, Bingbing Xu, Xuhui Jiang, Jin Zhang, Xiaolong Jin, Jiafeng Guo, Tat-Seng Chua, Xueqi Cheng

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所人工智能安全国家重点实验室） ； National University of Singapore（新加坡国立大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出知识导向深度研究（KDR）任务，设计混合知识分析框架（HKA）并构建KDR-Bench基准，通过结构化与非结构化知识生成多模态报告，实验表明HKA在通用和知识导向指标上优于现有方法，且在视觉增强指标上超越Gemini DR代理。

SessionIntentBench: A Multi-task Inter-session Intention-shift Modeling Benchmark for E-commerce Customer Behavior Understanding

SessionIntentBench: 一个用于电子商务客户行为理解的多任务跨会话意图转移建模基准

Yuqi Yang, Weiqi Wang, Baixuan Xu, Wei Fan, Qing Zong, Chunkit Chan, Zheye Deng, Xin Liu, Yifan Gao, Changlong Yu, Chen Luo, Yang Li, Zheng Li, Qingyu Yin, Bing Yin, Yangqiu Song

机构 * Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程系） ； Amazon.com Inc（亚马逊公司） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出SessionIntentBench基准，通过意图树概念和数据集构建流程，评估大语言模型在跨会话意图转移中的能力，发现现有模型在复杂会话中难以捕捉意图，注入意图可提升性能。

Comments Findings of ACL 2026