Nanjing University（南京大学）

HumDial-EIBench: A Human-Recorded Multi-Turn Emotional Intelligence Benchmark for Audio Language Models

HumDial-EIBench: 一个用于音频语言模型的情感智能基准测试

Shuiyuan Wang, Zhixian Zhao, Hongfei Xue, Chengyou Wang, Shuai Wang, Hui Bu, Xin Xu, Lei Xie

机构 * Nanjing University, China（南京大学，中国） ； AISHELL, China（AISHELL，中国） 纠错

AI总结 本文提出HumDial-EIBench，通过真实人类对话评估音频语言模型的情感智能，采用多选题和对抗性干扰项减少主观评分偏差，发现大多数模型在多轮情感跟踪和隐含因果推理上表现不佳。

V-MAGE: A Game Evaluation Framework for Assessing Vision-Centric Capabilities in Multimodal Large Language Models

V-MAGE：一种用于评估多模态大语言模型视觉能力的游戏评估框架

Xiangxi Zheng, Linjie Li, Zhengyuan Yang, Ping Yu, Alex Jinpeng Wang, Rui Yan, Yuan Yao, Lijuan Wang

机构 * Nanjing University（南京大学） ； Microsoft Research（微软研究院） ； Central South University（中南大学） ； Nanjing University of Science and Technology（南京理工大学） 纠错

AI总结 V-MAGE通过游戏化评估框架系统评估多模态大语言模型在动态交互环境中的视觉推理能力，揭示其在复杂场景中的性能局限，为提升模型视觉与推理能力提供改进方向。