视觉大模型 / VLM

WebRISE: Requirement-Induced State Evaluation for MLLM-Generated Web Artifacts

WebRISE: 面向MLLM生成Web工件的需求诱导状态评估

Yuxin Meng, Yuhan Suo, Junjie Wang, Yuhan Sun, Yiyao Yu, Ruixu Zhang, Ruining Hu, Yubin Wang, Shouwei Ruan, Bin Wang, Yuxiang Zhang, Yujiu Yang

机构 * Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； East China Normal University（华东师范大学） ； Tongji University（同济大学） ； Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） 纠错

专题命中 其他VLM ：MLLM(title,title_cn)；分类 cs.AI

AI总结 提出WebRISE框架，通过交互契约图（ICG）将任务需求转化为可观察状态、用户意图转换和DOM/视觉断言，以评估MLLM生成的Web工件的功能正确性，实验表明ICG评分检测状态错误率是检查点评估的2-16倍。

Benchmarking Visual State Tracking in Multimodal Video Understanding

多模态视频理解中的视觉状态追踪基准测试

Sihyun Yu, Nanye Ma, Pinzhi Huang, Hyunseok Lee, Shusheng Yang, June Suk Choi, Ellis Brown, Oscar Michel, Boyang Zheng, Jinwoo Shin, Saining Xie

机构 * New York University（纽约大学） ； KAIST（韩国科学技术院） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 提出VSTAT基准，通过需要连续感知和整合整个视频流的问题评估多模态大语言模型的视觉状态追踪能力，发现当前模型远低于人类表现，失败主要源于视觉感知而非文本推理。

Comments Website: https://vision-x-nyu.github.io/vstat-site/

Social Caption: Evaluating Social Understanding in Multimodal Models

Social Caption: 评估多模态模型的社会理解能力

Leena Mathur, Bhaavanaa Thumu, Youssouf Kebe, Louis-Philippe Morency

机构 * School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院） 纠错

专题命中 其他VLM ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.LG

AI总结 提出基于交互理论的SOCIAL CAPTION框架，从社会推理、整体社会分析和定向社会分析三个维度评估多模态大语言模型的社会理解能力，并分析影响性能的因素。

Comments 25 pages, 10 figures

Beyond Compression: Quantifying Spectral Accessibility in Vision Representations

超越压缩：量化视觉表示中的频谱可访问性

Akayou A. Kitessa, Yijun Zhao

机构 * Fordham University（福特汉姆大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 通过残差频谱损失（RSL）测量线性可恢复的带限傅里叶能量，研究视觉语言模型中投影层对表示频谱结构的影响，发现CLIP和DINOv2中频谱可访问性随深度非单调变化，中间层峰值后下降，且CLIP的投影是频谱中性的，而DINOv2的[CLS]池化导致频谱结构损失。