语言大模型 / LLM

AI Research Preference Models

AI研究偏好模型

Thomas Simon Foster, Bassel Al Omari, Tingchen Fu, Thomas Mann, Carl Domond, Lucia Cipolina-Kun, Bhavul Gauri, Muna Aghamelu, Alexander D. Goldie, Eryk Helenowski, Jean-Christophe Gagnon-Audet, Alberto Pepe, Saba Nazir, Daniel Izcovich, Noam Levi, Rishi Hazra, Karen Hambardzumyan, Nicolas Baldwin, Xian Li, Martin Josifoski, Paris Giampouras, Masoud Jalili Sabet, Anya Sims, Hela Momand, Tatiana Shavrina, Despoina Magka, Jason Weston, Yulin Wang, Anirudh Goyal, João Henriques, Yoram Bachrach, Emily McMilin, Jakob Nicolaus Foerster

机构 * FAIR at Meta ； University of Oxford（牛津大学） ； University College London（伦敦大学学院） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 该研究针对AI研究智能体的候选方案评估成本过高问题，提出AI研究偏好模型，将其集成到AIRA-dojo智能体后提升了基准任务性能，且达到目标性能的时间更短、预算更少。

Comments 34 pages, 17 figures, 6 tables

Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation

生成无奖励的评判标准以减少智能体评估中的过度打分

Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

机构 * Trinity College Dublin（都柏林三一学院） ； University College Dublin（都柏林大学学院） ； Dublin City University（都柏林城市大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 该研究提出 RubricForge 方法，从带标签轨迹生成无奖励的智能体评判标准，可减少智能体评估中的过度打分，在 tau-bench 和 WebShop 上的表现优于通用 G-Eval 评判器。

Where You Measure Decides What You Measure: Position Selection in Ablation-Based SAE Evaluation

测量位置决定测量内容：基于消融的SAE评估中的位置选择

Valentin Noël

机构 * Devoteam（德孚替） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.LG

AI总结 研究发现基于消融的SAE评估中，测量位置的选择会影响结果，提出需统一测量位置的评估协议，修正方法仅需一行代码，且随语料库规模扩大问题更严重。

Comments 19 pages, 3 figures. Code and data: https://github.com/vcnoel/sae-artifact

Beyond Simulated Benchmarks: Evaluating Motion Representations for Fall Detection Under Real-World Data Scarcity

超越模拟基准：真实世界数据稀缺下跌倒检测的运动表示评估

Timilehin B. Aderinola, Ilaria D'Ascanio, Luca Palmerini, Lorenzo Chiari, Jochen Klenk, Clemens Becker, Brian Caulfield, Georgiana Ifrim

机构 * University College Dublin (UCD)（都柏林大学学院） ； University of Bologna（博洛尼亚大学） ； Robert Bosch Hospital（罗伯特博世医院） ； Heidelberg University Hospital（海德堡大学医院） 纠错

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.LG

AI总结 本文针对真实世界数据稀缺下的跌倒检测，系统评估了不同运动表示的性能，发现高参数模型在模拟数据表现好但泛化差，增强的符号表示泛化能力最优，为可部署跌倒检测提供了关键参考。

ViTOED: A Dataset for Target-Oriented Emotion Detection on Vietnamese Social Media Texts

ViTOED：面向越南社交媒体文本的定向情感检测数据集

Chanh Vo, Son T. Luu, Ngan Luu-Thuy Nguyen

机构 * Faculty of Information Science and Engineering, University of Information Technology（信息科学与工程学院，信息科技大学） ； Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 该研究构建了越南社交媒体定向情感检测数据集ViTOED，提出基于结构化情感图的基线方法并评估相关预训练模型，揭示了该任务的挑战及模型改进空间。

Comments Accepted for publication at 2026 International Conference on Multimedia Analysis and Pattern Recognition (MAPR 2026)

Assessment Design in the GenAI Era: The X1-X2-X3 Assessment Pattern for Testing Students' AI Literacy, Learning Outcomes, and Reflection

生成式人工智能（GenAI）时代的评估设计：用于测试学生AI素养、学习成果与反思的X1-X2-X3评估模式

Riasat Islam, Thomas Roelleke

专题命中 评测与基准 ：prompting(abstract)；分类 cs.AI

AI总结 本文针对GenAI对在线评估的挑战，提出可复用的X1-X2-X3评估模式，用于测试学生AI素养等，为教师适配GenAI时代评估提供实践指导。

Comments 30 pages, 1 figure, 11 tables. Submitted to the following journal: Assessment & Evaluation in Higher Education (Taylor & Francis)

Look What the Probes Dragged In! Real-World Chest X-ray Shortcuts in MedCLIP

看看探针发现了什么！MedCLIP中的真实世界胸部X光捷径

Nikolette Pedersen, Regitze Sydendal, Veronika Cheplygina, Théo Sourget

机构 * Pattern Recognition Revisited Lab (PURRlab)（模式识别重访实验室（PURRlab）） ； IT University of Copenhagen（哥本哈根信息技术大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.LG

AI总结 该研究探究MedCLIP模型中不同层的真实世界胸部X光捷径，发现局部捷径出现在较后层、弥散捷径出现在较早层，且两个数据集存在数据质量问题，凸显高质量数据集的必要性。

Comments 11 pages, 3 figure, poster presentation at the joint FAIMI, BRIDGE, and EPIMI workshop at MICCAI 2026 (Strasbourg, France) conference

Do You See What You Draw? A Semantic Closed-Loop Framework for Holistic Evaluation of Unified Multimodal Models

你能看到你所绘制的内容吗？面向统一多模态模型整体评估的语义闭环框架

Hao Zhang, Jiaxin Qi, Zhijiang Tang, Jianqiang Huang

机构 * Hangzhou Institute for Advanced Study（杭州高等研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Computer Network Information Center（计算机网络信息中心） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 本研究针对统一多模态模型的系统级评估缺口，提出无标注的SGU语义闭环框架，通过感知-生成-推理流程评估模型综合能力，发现高性能模型存在自生成上下文推理局限，为下一代模型开发提供基准基础。

Comments 21 pages, 8 figures, 12 tables

Causal Structure is Inducible but Functionally Decoupled: The Routing/Readout Boundary of a Typed Mechanism Library

因果结构可诱导但功能解耦：类型化机制库的路由/读出边界

Xining Xun

机构 * Tsingjiao Information Science (Beijing) Co., Ltd.（清教信息科学（北京）有限公司） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 该研究在两种规模的语言模型中发现，类型化机制库的因果结构可由监督诱导，其路由功能与答案读出解耦，且无额外开销、可审计恢复，为因果知识组织机制提供了新见解。

Comments 17 pages, 9 figures, 9 tables

Learning from Multimodal Pseudo-Labels for Robust Open-Vocabulary Instance and Panoptic Segmentation

学习多模态伪标签以实现鲁棒的开放词汇实例和全景分割

Duy Tran Thanh, Yeejin Lee, Byeongkeun Kang

机构 * Seoul National University of Science and Technology（首尔科技大学） ； Chung-Ang University（中央大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 该研究针对开放词汇实例分割与开放集全景分割的痛点，提出多模态框架，结合预训练视觉语言模型生成伪标签并优化训练目标，在COCO数据集上取得优于现有SOTA的性能。

Comments 14 pages

Journal ref Neurocomputing, 2026

Robustness of AI-Art Detectors under Generator Shift

生成器偏移下AI生成艺术检测器的鲁棒性

Shivank Singh Thakur, Meien Li, Mark Stamp

机构 * San Jose State University（圣何塞州立大学） 纠错

专题命中 评测与基准 ：prompting(abstract)；分类 cs.LG

AI总结 该研究针对生成器偏移问题，在SD3.5m数据集上评估了五个AI艺术检测器的鲁棒性，发现模型在跨生成器场景下泛化能力不足，CLIP ViT-L/14表现最优，为分层防御检测器的开发提供了依据。

Comments To appear as a chapter in the book "Artificial Intelligence for Cyber Defense in Emerging Threats", to be published by Springer by early 2027

Gaze Target Estimation Anywhere with Concepts

基于概念的任意场景注视目标估计

Xu Cao, Houze Yang, Vipin Gunda, Zhongyi Zhou, Tianyu Xu, Adarsh Kowdle, Inki Kim, James M. Rehg

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google（谷歌公司） 纠错

专题命中 评测与基准 ：prompting(abstract)；分类 cs.AI

AI总结 针对现有注视估计方法依赖中间阶段、缺乏灵活性的局限，提出PGE任务，构建Gaze-Co数据集，开发GazeAnywhere模型，实现端到端的概念驱动注视目标估计并达到最优性能。

Comments CVPR 2026 Code and Benchmark are aviliable at https://github.com/IrohXu/GazeAnywhere and https://huggingface.co/datasets/IrohXu/Gaze-Co-Benchmark

Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence

Apodex Discovery：用于评估和构建发现式人工智能的现实基准与环境

Brian Wang, Bin Feng, Xiaoman Pan, Chenyang An, Felix Liu, Tangqi Fang, Gongbo Sun, Lingfeng Shen, Ning Wang, Handuo Zhang, Feng Chen, Fuchao Yang, Xiang Wang, Jiacheng Lin, Siting Li, Zixuan Liu, Chi Han, Zhenhailong Wang, Kunlun Zhu, Lawrence Zhao, Yueqi Guo, Kailong Wen, Feng Xing, Yiling Guo, Lidong Bing, David Tan, Bo An, Heng Ji, Sheng Wang

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.AI

AI总结 Apodex Discovery是评估和构建发现式AI的框架，含三个核心组件，在AAV衣壳设计等任务中较现有方法取得性能提升，推动AI评估向可验证的真正发现研究发展。

Comments 85 pages, 9 figures, 38 tables

AgonAlpha: Autonomous Alpha Discovery via Prompt Economy and Scalable Agentic Search

AgonAlpha：通过提示经济与可扩展智能体搜索实现自主阿尔法发现

Weicheng Ye, Youran Sun, Xingyu Ren, Shunyao Yu, Chugang Yi, Haizhao Yang

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of Maryland（马里兰大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 AgonAlpha是首个结合经验证构件搜索、对抗审核器与并行预算分配的阿尔法挖掘系统，在WorldQuant BRAIN部署后产出SPECTACULAR级阿尔法，为交易因子自主研究提供了完整证据轨迹。

Seeds Before Objectives: Rethinking Evaluation for Low-Resource Garhwali ASR

目标之前的种子：重新审视低资源加尔瓦利语自动语音识别（ASR）的评估

Karamvir Singh Batra, Prathamjyot Singh, Ashima Sood, Jasmeet Singh, Sahil Sharma

机构 * Thapar Institute of Engineering and Technology（塔帕尔工程技术学院） ； Ulster University（阿尔斯特大学） 纠错

专题命中 评测与基准 ：pretraining(abstract)；分类 cs.CL

AI总结 针对低资源加尔瓦利语ASR评估，构建首个可复现多种子基准，发现多种子评估可区分真实增益与种子噪声，且w2v-BERT 2.0搭配标准CTC表现最优。

Comments 19 pages, 3 figures. Accepted for oral presentation at ICNLSP 2026, Trento, Italy, September 2026

SeFaR: Semantic Feature-aware Robustness Testing of Deep Neural Networks

SeFaR：面向深度神经网络的语义特征感知鲁棒性测试

Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

机构 * University of Virginia（弗吉尼亚大学） ； KBR Inc.（KBR公司） ； NASA Ames（美国国家航空航天局艾姆斯研究中心） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.LG

AI总结 SeFaR是一个以语义特征为核心的视觉模型鲁棒性测试框架，可在保留需求满足性的前提下，生成测试输入以识别影响模型决策的特征，进而发现故障并关联相关特征。

More Accurate, Less Human: Gestalt Grouping in Vision Models

更准确，更少人工：视觉模型中的格式塔分组

Sudhanva Manjunath Athreya, Sai Phani Kumar Malladi

机构 * University of Utah（犹他大学） ； Siemens AG（西门子公司） 纠错

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.LG

AI总结 该研究引入行为测试套件，对比45个不同类型视觉模型与人类在四项分组任务上的表现，发现部分封闭模型的感知组织对齐度低于基准准确率，为可视化研究提供了审核模型的可复用标准。

Comments 9 pages, 7 figures, 5 tables. Conditionally accepted to VISxVision 2026, a workshop at IEEE VIS 2026. Includes appendix with per-task stimuli, metric derivations, and full per-model results

Navigation Alone Is Not Enough: Evaluating Explanatory Assistive UI Agents

仅导航是不够的：评估解释性辅助UI智能体

Santosh Patapati

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.AI

AI总结 该研究推出辅助UI智能体基准NeXUI，评估其导航、解释及用户控制能力，实验发现Gemini-3.5-Flash在该基准中表现不佳，为相关研发提供基础。

SafeSceneReason: A Multimodal Reasoning Benchmark Connecting Industrial Hazards with Accident Knowledge

SafeSceneReason：连接工业危害与事故知识的多模态推理基准

Yuanchi Zhu, Kang An, Tengyue Wang, Zhongyu Yang, Chenxu Du, Xinqi Yang, Hebao Zhu, Bokai Zhao, Tianyu Liang, Ziliang Wang, Faqiang Qian, Yunli Yang, Weiyang Shi, Qibing Ren

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 SafeSceneReason是关联工业危害与事故知识的多模态推理基准，含两类问答对，评估发现现有视觉-语言模型在工业安全推理上存显著弱点。

Twin Rollouts: Noise-Coupled Counterfactual Branching in Interactive Video World Models

双回滚：交互式视频世界模型中的噪声耦合反事实分支

Yu Ma, Hongli Shi, Xinran Xu

专题命中 评测与基准 ：post-training(abstract)；分类 cs.LG

AI总结 本研究提出噪声耦合双回滚框架，解决交互式视频世界模型的反事实生成问题，规避近似逆问题，定义时空局部性度量，待开展实验验证。

When Skills Meet Safety: Benchmarking and Characterizing the Adaptive Jailbreak Robustness of Skill-Merged LLMs

当技能与安全相遇：对技能合并大语言模型的自适应越狱鲁棒性进行基准测试与表征

Yu Ma, Hongli Shi, Jing Li, Xinran Xu, Weiwei Hou

机构 * Google（谷歌公司） ； University of New South Wales（新南威尔士大学） ； University of Technology Sydney（悉尼科技大学） ； Zhejiang University（浙江大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.LG

AI总结 本研究针对技能合并大语言模型，构建SkillSafe-Bench基准，发现静态安全无法预测其自适应越狱鲁棒性，提出SubSafe-Merge方法可在保留能力的同时消除安全侵蚀。

SkillsMetric: Mapping the Detection Boundary of Static Analysis for Malicious Agent Skills

SkillsMetric：映射恶意智能体技能静态分析的检测边界

Xinze Chen, Chi Zhang, Ping Ji, Yimin Liu

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 本研究提出五阶段静态分析框架SkillsMetric，构建含2266个技能的对抗性数据集，发现静态分析对部分攻击检测不足，需结合静态预筛选与语义审查的纵深防御架构。

Comments 6 pages, 3 figures, 3 tables

Illusion of Alignment: Detecting Hidden Disagreement in Collaborative Dialogue

对齐的错觉：检测协同对话中的隐藏分歧

Kaiming Liu, Fuwen Luo, Ziyue Wang, Jinrui Ju, Yuxuan Liu, Xuanyu Lei, Yunghwei Lai, Peng Li, Yang Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Institute for AI, Tsinghua University（清华大学人工智能研究院） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 本研究针对协同对话中存在的对齐的错觉（IoA）问题，构建IoA-Suite数据集，训练IoA-Prober-8B模型检测隐藏分歧，该模型可揭示真人会议中未表达的分歧，还能提升多智能体协作的下游任务性能。

TSDS-Toolbox: A Toolbox for Measuring Time-Series Dataset Similarity

TSDS-Toolbox：用于测量时间序列数据集相似度的工具箱

Yen-Ku Liu, Hongjie Chen, Ryan A. Rossi, Franck Dernoncourt

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； Dolby Laboratories（杜比实验室） ； Adobe Research（奥多比研究院） 纠错

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.LG

AI总结 该研究针对现有时间序列数据集相似度基准实现零散难扩展的问题，提出TSDS-Toolbox工具箱，支持系统比较、灵活扩展与一致评估，经实验验证有效且公开可用。

Lingjing: A Simulation Testbed for Multi-Agent Embodied Tasks in Open-Ended Cities

Lingjing：面向开放城市多智能体具身任务的仿真测试平台

Xiaohe Li, Yiru Wang, Junhao Fan, Mingyuan Liu, Jie Huang, Kaixin Zhang, Jiahao Li, Chen Qian, Zide Fan

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 Lingjing 是一款面向开放城市异构多智能体具身任务的仿真测试平台，支持城市多智能体协同的可复现评估与故障诊断，通过评估视觉语言模型等揭示了环境感知等瓶颈。

TelemetrySuffBench: Is Agent Telemetry Sufficient for Failure-Origin Diagnosis?

TelemetrySuffBench：智能体遥测是否足以用于故障起源诊断？

Yuxuan Zhu, Peng Pu

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 该研究推出TelemetrySuffBench基准，评估五个前沿语言模型的故障起源诊断能力，发现检测与定位存在差距，安全弃权（不执行）具强模型依赖性，需决策-来源链接与弃权保障。

Comments 10 pages, 3 figures, 4 tables

Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation

Jako Tako 还是 Fluent？推出 PoVisLE：波兰语视觉-语言评估基准

Anna Kołos, Grzegorz Statkiewicz, Karolina Seweryn, Katarzyna Kowol, Karolina Piosek, Wojciech Kusa

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 针对现有英语中心视觉-语言模型在文化理解上的不足，推出波兰语单文化视觉-语言基准 PoVisLE，含1117张图像与2366对标注VQA样本，可评估深层文化多模态理解。

Comments 28 pages. Preprint under review

MirrorWorld: Taming Video Diffusion Models for Mirror Reflection Generation

MirrorWorld：利用视频扩散模型生成镜像反射

Youjun Zhao, Alex Warren, Gary K. L. Tam, Rynson W. H. Lau

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.LG

AI总结 MirrorWorld是一种反射感知视频修复框架，通过语义关系蒸馏和几何变换对齐建模场景与镜像的关系，在视频镜像反射重建任务上优于现有方法。

Comments Project Page: https://youjunzhao.github.io/MirrorWorld/

Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier

答案保留型攻击下的模型置信度：信息性-可操纵性前沿

Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind, Mohammad M. Ghassemi

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 该研究针对答案保留型攻击，发现视觉-语言系统的置信度信号不具备固有鲁棒性，四类防御均无效，协调攻击可大幅降低置信度门控下的接受准确率。

Reading Between the Frames: Interpreting Implicit and Non-literal Meaning in Social Media Videos

帧间解读：社交媒体视频中隐含与非字面意义的理解

Yang Wang, Yanan Ma, Yiqi Liu, Zi Yan Chang, Chi-Li Chen, Chia-Yi Hsiao, Tyler Loakman, Aline Villavicencio, Chenghao Xiao, Chenghua Lin

机构 * University of Manchester（曼彻斯特大学） ； Durham University（杜伦大学） ； University of Sheffield（谢菲尔德大学） ； University of Exeter（埃克塞特大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 本文提出DrivelHub+基准，评估视频-语言模型推断社交媒体视频隐含意义的能力，从解释和表征两方面开展实验，衡量模型多模态感知与语用理解的差距。