AI Agent

AutoWorldModel-Bench: A State-Centric Benchmark for Automated World-Model Research

AutoWorldModel-Bench：面向自动化世界模型研究的以状态为中心的基准

Marjan Moodi, Xuankang Zhu, Fernando De Mesentier Silva, Harold Chaput, Mohammad Reza Taesiri

机构 * Electronic Arts（美国艺电公司） ； Simon Fraser University（西蒙菲莎大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 AutoWorldModel-Bench是面向AI编码智能体的闭环基准，涵盖8个游戏环境，采用结构化状态表征，64次会话中多数智能体通过研究式修改改进了世界模型，可评估智能体的开放式研究能力。

Comments Project page: https://electronicarts.github.io/AutoWorldModelBench/

A Forced-Structure Reduction and Verifiable Bounds for Conway's 99-Graph

康威99-图的强制结构约简与可验证边界

Aalok Thakkar

机构 * Ashoka University（阿育王大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究通过自主AI智能体对康威99-图问题展开系统性可复现研究，完成强制结构约简、可验证边界等贡献，获最佳验证成果69.43%。

Comments This paper is accepted to the first Conference For AI Scientists (CAISc)

SkillZip: Evaluation-Free Skill Compression for Self-Evolving Agents by Discovering Reusable Structure

SkillZip：通过发现可重用结构实现自进化智能体的免评估技能压缩

Xiaofan Bai, Hongqiang Lin, Chao Liu, Yantao Zhang, Xuan Jin, Xipeng Cao, Yuhong Li

机构 * Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） ； Duke University（杜克大学） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI

AI总结 SkillZip 是一种免评估的自进化智能体技能压缩方法，通过提炼重复规则与动作序列实现高效压缩，在性能、泛化性及成本上优于评估引导压缩。

DashArena: Benchmarking LLMs on Interactive Analytic Dashboard Generation

DashArena：面向交互式分析仪表板生成的大语言模型基准测试

Xiaotong Wang, Dazhen Deng

专题命中 Agent评测 ：workflow(abstract)；分类 cs.AI

AI总结 研究人员推出首个交互式分析仪表板生成基准DashArena，含轨迹回放与VLM评判，提炼出DashJudge-8B，发现前沿模型仍存多类缺陷，交互评估可捕捉遗漏问题。

RLMOpt: Adaptive Prompt Optimization via Recursive Language Models

RLMOpt：基于递归语言模型的自适应提示优化器

Subhash Bangalore Satheesha, Nirvik Pande, Deepthi Duddempudi, Bharath Dandala

机构 * Autonomize AI ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究提出基于递归语言模型（RLM）的自适应提示优化器RLMOpt，在四个基准上相比GEPA表现更优，效率更高且提示更小。

Toward a Theory of Value in AI Alignment

迈向AI对齐中的价值理论

Andrew Smart, Shazeda Ahmed, Jackie Kay, Jimmy Tobin, Kris Shrishak, Abeba Birhane

专题命中 Agent评测 ：AI agent(abstract)；分类 cs.AI

AI总结 本研究通过标注94篇AI价值对齐论文，发现多数未明确定义人类价值，转而依赖偏好，且采用合成数据等自动方法可能关闭价值践行路径，旨在明确该领域哲学承诺以丰富相关辩论。

Comments 15 pages, 2 figures

The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom

评估协议决定结果：在TwoRoom上独立复现LeWorldModel

Joyjeet Singh

专题命中 Agent评测 ：planning(abstract)；分类 cs.LG

AI总结 本研究独立复现LeWorldModel在TwoRoom上的结果，发现评估协议（如目标偏移量）会显著影响性能，还揭示单步预测准确率无法预测长程规划成功、批量归一化层会夸大验证损失等关键结论。

Comments Independent reproduction of arXiv:2603.19312 - https://github.com/joyjeet-singh/tinylab

OpenPM: Auditable Point-in-Time Evaluation for LLM Portfolio-Management Agents

OpenPM：面向LLM投资组合管理智能体的可审计时点评估框架

Xinying Cai, Minghao Guo, Jiahe Liu, Jiaojiao Han, Bangwei Guo, Yitao Long, Yuxuan Chen, Bohan Wu, Dimitris N. Metaxas, Raymond Li

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 OpenPM是面向LLM投资组合管理智能体的可审计时点评估框架，构建了分层分配器参考智能体，发现分析师质量比构造器选择更重要，换手率是主要成本驱动因素。

Comments 14 pages, 1 figure

DSLE: A Learning Environment for Dark Souls Boss Encounters

DSLE：《黑暗之魂》Boss 遭遇战的学习环境

Derin Gezgin, Jim O'Connor, Tanner Goodwin, Gary B. Parker

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究推出 DSLE 平台，将《黑暗之魂》22 场 Boss 战作为智能体基准，定义 DSLE-5 子集并评估多种智能体，发现多数方法难以击败多数 Boss，仅少数早期 Boss 可被击败。

Comments AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment, 2026

ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents

ActBench：协作智能体行为安全的自演进基准

Hongwei Yao, Yiming Liu, Meihui Chen, Jieling Chen, Zikun Chen, Yiling He, Wangze Ni, Cong Wang, Kui Ren

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究提出自演进行为安全基准ActBench，结合奖励引导束搜索与双证据验证机制，评估协作智能体风险，在24000条轨迹上测试15个LLM和6个开源智能体，发现模型间攻击成功率差异更大。

Comments Benchmark and Code is available https://github.com/zjuicsr/ActBench

LLM-Guided Heuristic Design from Simulation Traces: A Case Study in Dynamic Production and AGV Scheduling

基于模拟轨迹的大语言模型引导式启发式设计：动态生产与自动导引车调度的案例研究

Jinbo Li, Chuanhao Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究提出LLM引导的启发式设计框架，通过模拟轨迹诊断优化AGV与生产调度策略，在多组实验中优于多种基线方法，证实模拟轨迹可指导代码层面的策略改进。

Comments 33 pages, 8 figures

From Relevance to Execution Utility: Reward-Aware Dynamic Execution Gating for Skill-Based LLM Agents

从相关性到执行效用：面向基于技能的大语言模型智能体的奖励感知动态执行门控

Liang He, Jingbo Wen, Hongyu Gu, Hao Li, Haoyu Wang, Yixiong Chen, Kangning Cui, Xilu Wang

机构 * Tongji University（同济大学） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） ； Nankai University（南开大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； City University of Hong Kong（香港城市大学） ； University of Surrey（萨里大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对基于技能的LLM智能体执行决策难题，提出RADEG轻量型决策层，通过学习代理模型预测执行效用，在288个rollout的评估中减少不必要执行并优于基线方法

ELICITED: EHR-grounded Longitudinal Interactive Conversations for Information-seeking Triage Evaluation and Decision-making

ELICITED：基于电子健康记录（EHR）的纵向交互式对话，用于信息获取类分诊评估与决策

Haohao Zhu, Xiaolin Shi, Jiayu Zhou

专题命中 Agent评测 ：agentic(abstract)；分类 cs.CL

AI总结 该研究针对现有ED分诊基准未捕捉交互式证据引出过程的问题，提出基于MIMIC-IV-ED的EHR2Dial-Triage智能对话框架与基准，支持对信息引出等任务的受控评估，为对话式分诊研究提供结构化环境。

Same Question, Different Answer? Measuring and Mitigating Prompt Privilege for Equitable AI Access

相同问题，不同答案？衡量与缓解提示特权以实现公平的AI访问

Lier Jin, Lan Hu, Binqi Shen, Hanyu Cai, Yuting Xin

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 该研究提出统一框架，引入PES指标与PET智能体，在MedQA基准上验证了提示特权的存在，PET可消除该差异，提升AI访问公平性。

Task-to-Model Optimization for Enterprise LLM Coding Assistants: A Data-Driven Framework for Cost-Optimal Routing

面向企业大语言模型代码助手的任务到模型优化：一种成本最优路由的数据驱动框架

Srinivasan Manoharan, Junhua Zhao, Fangbo Tu, Haifeng Wu, Jian Wan, Maliah Rajan M, Ashwin Hegde, Mithun Sasidharan, Kalyan Chakravarthi Podamekala

机构 * PayPal（贝宝（PayPal）） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.LG

AI总结 本研究针对企业LLM代码助手的推理成本问题，提出T2MO数据驱动框架，通过任务分级与两级路由机制实现成本最优，可降低端到端成本并支持从静态策略到智能路由器的过渡。

Comments 11 pages, 1 figure, 2 tables

Back to the Future: A workbook time machine for spread sheet creation benchmarks

回到未来：用于电子表格创建基准测试的工作簿时光机

Mansi Uniyal, Agamdeep Singh, Ananya Singha, Priyanshu Gupta, Mukul Singh, Gust Verbruggen, Vu Le, Sumit Gulwani

机构 * Microsoft（微软公司） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究提出workbook time machine流水线，构建了含150个任务的电子表格创建评估基准wtmbench，揭示了查询特异性等因素对大语言模型Excel任务性能的关键影响。

Comments COLM 2026

From Benchmark Performance to Tool Deployment: Human-in-the-Loop Anomaly Detection

从基准性能到工具部署：人机协同的异常检测

Mike Szklarzewski, CJ George, Gavin Smithson, Christopher Stokes, Dakota Fulp, William M. Jones, Benjamin Wynn, Alexander Ur, Agit Yesiloz, Clint Kallenbach, Mark Swartz, Nathan DeBardeleben, Sharmistha Chakrabarti

机构 * Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） ； Triad National Security, LLC（Triad国家安全有限责任公司） 纠错

专题命中 Agent评测 ：workflow(abstract)；分类 cs.LG

AI总结 本研究通过评估19种无监督异常检测模型在BowTie制造数据集上的表现，揭示了基准性能与工业部署的差距，开发并部署了人机协同的制造部件检测框架。

Comments 8 pages, 8 figures, 6 tables. Accepted as a regular paper at the 25th International Conference on Machine Learning and Applications (ICMLA 2026)

Cross-Model Humor Preference Modeling with Cards Against Humanity

基于《反人类牌》的跨模型幽默偏好建模

Victor Winter, Farhan Lakhany

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究以《反人类牌》风格任务开展实验，发现大语言模型可通过裁判的先前选择及理由，提升近似另一模型幽默偏好的准确率，为跨模型偏好建模提供操作层面的证据。

Comments 11 pages, 2 figures, 1 table

Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing

Fisher-R1：训练用于可靠假设检验的大语言模型智能体

Jiacheng Miao, Jin Mu, Guanhua Chen, James Zou

机构 * Stanford University（斯坦福大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究构建了含425项多领域假设检验任务的P-Bench基准，训练出Fisher-R1智能体，其在P-Bench上较DeepSeek-V4-Pro单试验成功率平均提升21%，证明强化学习可提升LLM的统计推理可靠性。

SkillAligner: Treating Retrieved Skills as Adaptable Drafts at Execution Time

SkillAligner：在执行时将检索到的技能视为可调整的草稿

Qinfeng Li, Dalin He, Yuntai Bao, Ying Yang, Ruoxi Chen, Xinyan Yu, Lizhou Liang, Ge Su, Wenqi Zhang, Xuhong Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.LG

AI总结 SkillAligner是无训练的执行时技能适配框架，将检索技能视为可调整草稿，经联合适配整合为执行指南，在多基准实验中提升任务性能、降低退化与推理成本。

Comments 21 pages, 5 figures

An Exploratory Evaluation of LLM-Assisted Rewriting of Moderate-Complexity Financial Sentences for DisCoCat-Based Sentiment Analysis

基于DisCoCat的情感分析中，大语言模型辅助改写中等复杂度金融句子的探索性评估

Brian Llinas, Nikos Chrisochoides

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 本研究提出LLM辅助的预处理工作流，通过改写优化中等复杂度金融句子以适配DisCoCat情感分析，经对比实验验证其可降低电路资源消耗并提升准确率，为可扩展QNLP金融情感分析提供探索性依据。

FinEvo-Bench: A Longitudinal Benchmark for Self-Evolving Agents in Professional Financial Workflows

FinEvo-Bench：面向专业金融工作流中自进化智能体的纵向基准

Bo Deng, Kang Zhou, Lifan Guo, Chongyang Tao, Xuanren Chen, Chenggang Xie, Renzhao Liang, Feng Chen, Chi Zhang

机构 * Alibaba Cloud Computing（阿里云） 纠错

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究推出面向金融工作流的FinEvo-Bench基准，对比4种自进化智能体框架，发现进化可提升性能、减少合规问题，且评分规则反馈效果优于参考答案反馈。

Comments 22 pages, 4 figures; includes appendices

EpiBench: Can LLMs Understand Epitopes for Antibody Drug Discovery?

EpiBench：大型语言模型能否为抗体药物发现表位？

Zirui Wang, Jiaqi Wang, Qinghan Wang, Yuzhi Xu, Gang Du, Tingjun Hou, Odin Zhang

专题命中 Agent评测 ：workflow(abstract)；分类 cs.CL

AI总结 本研究提出用于评估大型语言模型表位推理能力的基准EpiBench，发现现有通用LLMs在抗体药物发现相关表位推理上仍存局限，为改进序列感知型生物医学LLMs提供了测试平台。

HERALD: Counterfactual Audits and Minimal Repairs for Proof-of-Retrieval Rewards

HERALD：检索证明奖励的反事实审计与最小修复

Zhuowen Liu, Bohan Cui, YinShang Guo, Yuting Wang, Hao Li

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 HERALD是一种离线审计方法，可对搜索智能体的检索证明奖励进行反事实审计与最小修复，能有效抵御引用清洗攻击，提升引用精度等指标并分离稳健评分与策略迁移。

Comments 9 pages, 3 figures, and 4 tables

Search2Skill: Skill Distillation Beyond Knowledge Boundaries Via Rubric-Based Reinforcement Learning

Search2Skill：基于 rubric 强化学习的、突破知识边界的技能蒸馏

Muyang Ye, Tian Lan, Feihu Jiang, Yongshi Ye, Wuyunsiqin, Bin Zhu, Qianghuai Jia, Zhao Xu, Weihua Luo, Ye Wang, Jinyang Zhang, Longyue Wang, Lingfeng Bao

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 该研究针对现有技能构建受限于模型已有知识的问题，提出Search2Skill框架，通过基于rubric的强化学习实现外部证据蒸馏为可复用技能，在多领域实验中优于基线且技能可跨模型规模迁移。

When Shared Rollouts Fail in Defensive Driving Evaluation: A NAVSIM Score Basis Audit

防御性驾驶评估中共享回退的失效：NAVSIM评分依据审计

Ziang Wei, Minjun Yu, Zheyuan Lai, Mingjie Pang, Wei Li

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 本研究审计NAVSIM v2.2评分中共享回退的失效风险，发现数值不稳定性会使参考条件式容错传播参考失败，贡献含多环节的审计协议以规范防御性驾驶评分使用。

Comments 17 pages, 1 figure

Towards a satellite image manipulation and deepfake localization benchmark dataset

面向卫星图像篡改与深度伪造定位的基准数据集

Jacob Arndt, Debvrat Varshney, Philipe Dias, Nivedita Nukavarapu

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 Agent评测 ：planning(abstract)；分类 cs.AI

AI总结 针对遥感领域缺乏合适卫星图像篡改定位基准数据集的问题，构建含60张图像的原型数据集，支持像素级定位等分析，以推动相关研究。

Comments Accepted at IEEE IGARSS 2026

SONAR: Task-Aware Code Summary Evaluation for LLM Consumers Without References

SONAR：面向LLM使用者的任务感知型代码摘要评估框架（无需参考摘要）

Simantika Bhattacharjee Dristi, Matthew B. Dwyer

专题命中 Agent评测 ：agent(abstract)；分类 cs.SE

AI总结 该研究提出无需参考摘要的SONAR框架，从四个维度评估代码摘要，发现正确性、抽象性对LLM性能影响显著，简洁性、流畅性影响微弱，还明确了不同LLM在各维度的优劣。

AgentAntibody: An Adaptive Immune System for Defending LLM Agents against Prompt Injection

AgentAntibody：一种用于防御大语言模型（LLM）智能体提示注入的自适应免疫系统

Shihao Weng, Yang Feng, Xiaofei Xie, Jiongchi Yu

专题命中 Agent评测 ：agent(abstract)；分类 cs.AI

AI总结 针对LLM智能体的提示注入威胁，受自适应免疫启发提出AgentAntibody，通过持久抗体库识别威胁并进化增强防御，实验显示其在防有害行为同时保留合法任务完成上优于现有防御。

Comments 7 pages

When Agents Learn to Be You: Benchmarking Privacy Leakage, Impersonation Risk, and Defenses in Persona Skills

当智能体学会成为你：对角色技能中的隐私泄露、冒充风险及防御措施进行基准测试

Yongli Xiang, Zhifang Zhang, Bojun Yang, Ziming Hong, Lei Feng, Miao Xu, Tongliang Liu

专题命中 Agent评测 ：agent(abstract)；分类 cs.CL

AI总结 该研究推出AntiSkillBench基准，评估角色技能流程的隐私泄露、冒充风险及防御，发现风险持续存在，现有防御效果有限，为相关技能开发提供基准。

Comments Project page: https://yonglixiang.github.io/AntiSkillBench