Scalable agent alignment via reward modeling: a research direction
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
AI 大模型
AI Agent
智能体、工具调用、规划、工作流、多智能体和自主任务执行。
1. Agent评测 15662 篇
A novel agent-based simulation framework for sensing in complex adaptive environments
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE
Comments 8 pages
Journal ref IEEE Sensors Journal 11.2 (2011): 404-412
Agent-Agnostic Human-in-the-Loop Reinforcement Learning
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
Comments Presented at the NIPS Workshop on the Future of Interactive Learning Machines, 2016
Design of an Agent for Answering Back in Smart Phones
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
Comments This paper has been withdrawn by the author due to a crucial sign erro
Towards a Self-Organized Agent-Based Simulation Model for Exploration of Human Synaptic Connections
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.LG
Comments 4 pages, 1 figure, 2nd Computer Science Student Workshop
On the Design of Agent-Based Systems using UML and Extensions
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI、cs.SE
How Many Tasks Are Enough for Agent Benchmark Decisions? A Replay Analysis of Public LLM Agent Benchmarks
多少任务足以做出智能体基准决策？对公共大语言模型智能体基准的重放分析
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI；agentic(comments)
AI总结 研究智能体基准测试中多少任务足以做决策，通过重放公共任务级记录，提出部分预算需满足支持完整基准决策、覆盖任务组及控制未解决比较比例等条件，还指出部分评估报告应包含的内容。
Comments KDD 2026 Workshop Agentic AI Evaluation and Trustworthiness
RouteRec: Strict Evaluation of Recommender-Agent Selection and Aggregation
RouteRec：推荐代理选择与聚合的严格评估
机构 * University of Birmingham（伯明翰大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL；AI agent(comments)
AI总结 研究在推荐系统异构代理选择中，RouteRec框架在成本约束下比较请求级硬选与项目级学习聚合，发现在MovieLens-1M数据集上，请求级选择粗糙，项目级聚合更有前景，不同聚合方式有不同效果。
Comments 8 pages, 7 figures. Accepted at AgentSearch 2026 (The First Workshop on Indexing, Retrieval, and Ranking of AI Agents), co-located with SIGIR 2026
DEMM-Bench: A Cross-Regime Benchmark for Agent-Runtime Governance-Evidence Sufficiency
DEMM-Bench：面向智能体运行时治理证据充分性的跨机制基准
机构 * Independent Researcher (Global)（全球独立研究员）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI
AI总结 提出DEMM-Bench，基于决策证据成熟度模型（DEMM），通过8个证据机制和8个退化条件，衡量智能体运行时记录能否重构决策级属性，解决现有方法过度声称问题。
Comments 41 pages, 8 tables, no figures. Benchmark and dataset paper. Dataset (CC-BY-4.0) and code (Apache-2.0): Zenodo doi:10.5281/zenodo.20426092 and Hugging Face https://huggingface.co/datasets/dev404ai/DEMM-Bench; code at https://github.com/agent-runtime-evidence/decision-evidence-benchmark
What Twelve LLM Agent Benchmark Papers Disclose About Themselves: A Pilot Audit and an Open Scoring Schema
十二篇LLM代理基准测试论文披露了什么：一项初步审计和开放评分方案
机构 * Research Division, BrightMind AI（BrightMind AI研究部） ； Texas Tech University（德克萨斯理工大学） ； University of Texas at Arlington（德克萨斯大学阿灵顿分校）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG
AI总结 本文通过分析十二篇知名LLM代理基准测试论文，揭示了这些论文在评估方法披露方面的不足，设计了一种开放评分方案以提高透明度和可重复性。
Comments Pilot audit of 12 LLM agent benchmark papers; schema, codebook, and per-paper scoring sheet released. Submission to IEEE Big Data 2026
Toward User Comprehension Supports for LLM Agent Skill Specifications
向LLM代理技能规范提供用户理解支持
机构 * University of Washington, Tacoma School of Engineering \& Technology Tacoma, Washington, USA ； University of Washington, Tacoma School of Engineering \& Technology
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI
AI总结 研究探讨了技能规范是否有助于用户形成对技能消耗、产生和覆盖范围的有限预期，并通过分析878个网络安全技能的文本线索，发现仅少数规范包含必要的提示，强调应将规范视为面向用户的能劾示范而非仅执行指令的容器。
Comments To appear at ACM CAIS Workshop Agent Skill 2026
CPEMH: An Agentic Framework for Prompt-Driven Behavior Evaluation and Assurance in Foundation-Model Systems for Mental Health Screening
CPEMH：一种用于基础模型系统中基于提示的行为评估与保证的代理框架
机构 * University of Waterloo（滑铁卢大学）
专题命中 Agent评测 ：agentic(title,abstract)；分类 cs.AI；agent(comments)
AI总结 本文提出CPEMH框架，用于评估基础模型系统在基于转录数据的心理健康筛查中的提示驱动行为，通过模块化代理设计实现行为保证，案例研究展示了其在对话和临床敏感领域稳定性和审计能力。
Comments 4 pages, 2 figures. Accepted at the AGENT 2026 Workshop (ICSE 2026)
Talk, Evaluate, Diagnose: User-aware Agent Evaluation with Automated Error Analysis
谈话、评估、诊断：基于用户意识的代理评估与自动错误分析
机构 * SAP ； Stanford University（斯坦福大学）
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI
AI总结 本文提出TED框架，通过用户角色模板、自动评分和错误分析，提升代理评估的全面性与效率，实验显示在模型和用户水平上取得8-10%的性能提升。
Comments Accepted as a conference paper at ICLR 2026. Code and dataset are available in the repository https://github.com/SAP-samples/agent-quality-inspect
Large Language Model Agent: A Survey on Methodology, Applications and Challenges
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL
Comments 329 papers surveyed, resources are at https://github.com/luo-junyu/Awesome-Agent-Papers
Towards Uncertainty-Aware Language Agent
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.CL
Comments Our code and data are at https://uala-agent.github.io. (accepted to ACL 2024 Findings). arXiv admin note: text overlap with arXiv:2310.05915
Calibrating Agent-based Models to Microdata with Graph Neural Networks
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.LG
Comments Accepted for a Spotlight presentation at the ICML 2022 Artificial Intelligence for Agent-based Modelling (AI4ABM) Workshop
Automatic Calibration Framework of Agent-Based Models for Dynamic and Heterogeneous Parameters
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI；autonomous agent(comments)
Comments 3 pages, 6 figures, Autonomous Agents and Multiagent Systems (AAMAS 2022)
Learning Causal Models of Autonomous Agents using Interventions
专题命中 Agent评测 ：autonomous agent(title)；agent(abstract)；分类 cs.AI；planning(comments)
Comments IJCAI 2021 Workshop on Generalization in Planning
An Agent Based Classification Model
专题命中 Agent评测 ：agent(title,abstract)；分类 cs.AI
Comments 4 pages, 2 figures, 9th European Agent Systems Summer School, Durham, UK
Sighted by Default: Addressing Implicit Vision Assumptions in Real-Time VLM Assistance for BLV Users
默认以视觉为中心：解决面向盲人和低视力（BLV）用户的实时视觉语言模型（VLM）辅助中的隐含视觉假设问题
专题命中 Agent评测 ：agent(summary_cn,abstract)
AI总结 针对现有面向BLV用户的实时VLM辅助工具存在的以视觉为中心的默认偏见问题，提出VIA-Agent模型，其在保持与Doubao相当成功率的同时，缩短了任务时间并减少了对话轮次，提升了用户信任度。
Comments Accepted to UIST 2026
Using AI-Generated Feedback to Improve Critical Thinking and Writing Proficiency
利用AI生成的反馈提升批判性思维与写作能力
专题命中 Agent评测 ：agent(summary_cn,abstract)
AI总结 本研究开发了WISE Agent智能体，通过对260名六年级学生的三个月干预，证实其作为认知支架可促进不同水平学生批判性思维的差异化发展，为AI辅助培养批判性思维提供了可行路径。
HunyuanOCR-1.5: Making Lightweight OCR VLMs Faster and Better
浑元OCR-1.5：让轻量级OCR视觉语言模型更快更好
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Large Language Model Department, Tencent（腾讯大语言模型部） ； Nankai University（南开大学）
专题命中 Agent评测 ：agentic(summary_cn,abstract)；agent(abstract)
AI总结 研究改进轻量级端到端OCR视觉语言模型。基于HunyuanOCR-1.0架构，用DFlash提升效率，提出Agentic Data Flow增强能力，在多任务表现出色，还将发布模型权重和代码。
AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities
AVE-Compass：迈向音频-视频编辑能力的整体评估
专题命中 Agent评测 ：agent(summary_cn,abstract)
AI总结 研究针对现有视频编辑基准未充分考虑视听耦合问题，提出AVE-Compass基准及AVE-Agent框架，通过多种评估方式评估编辑能力，能分解复杂指令迭代改进结果，提升了跨模态编辑等方面表现及感知质量。
Jailbreak Foundry: From Papers to Runnable Attacks for Reproducible Benchmarking
Jailbreak Foundry: 从论文到可运行攻击的可重复基准测试
机构 * Shanghai Qi Zhi Institute（上海启智研究院） ； Tsinghua University（清华大学） ； University of Melbourne（墨尔本大学）
专题命中 Agent评测 ：agent(abstract)；workflow(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 JAILBREAK FOUNDRY通过多代理工作流将论文转换为可执行模块，实现可重复基准测试的标准化评估和自动化。
Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety
脚手架下的安全性：评估条件如何影响测量的安全性
机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院）
专题命中 Agent评测 ：agent(abstract)；agentic(abstract)；multi-agent(abstract)；分类 cs.AI、cs.CL、cs.LG
AI总结 本研究通过62,808次盲法预注册评估，测试了六种前沿模型在四种部署配置下的安全性，发现脚手架架构对安全性影响较小，而格式转换（如选择题与开放式问题）可导致5-20个百分点的测量差异，且模型-脚手架间存在显著异质性，质疑了单一综合安全性分数的实用性。
Comments 74 pages including appendices. 6 frontier models, 62,808 primary observations (~89k total). Pre-registered: OSF DOI 10.17605/OSF.IO/CJW92. Code and data: https://github.com/davidgringras/safety-under-scaffolding
Residential income segregation: A behavioral model of the housing market
住宅收入隔离：住房市场的行为模型
专题命中 Agent评测 ：agent(summary_cn,abstract)
AI总结 本文提出一个基于Agent的模型，研究收入隔离、收入不平等和房价之间的关系，通过分析买家和卖家的行为及价格形成机制，揭示收入分布不均对房价和隔离程度的影响。
Asynchronous opinion dynamics on the $k$-nearest-neighbors graph
异步意见动力学在k-最近邻图上
专题命中 Agent评测 ：agent(summary_cn,abstract)
AI总结 研究异步意见更新机制下的k-最近邻图意见动力学，发现其与传统模型有显著差异，证明当agent数量小于2k时动力学趋于共识。
Comments 17 pages, 4 figures, (to be) presented at the 57th IEEE Conference on Decision and Control, 2018
The role of consumer networks in firms' multi-characteristics competition and market-share inequality
消费者网络在企业多特征竞争和市场份额不平等中的作用
专题命中 Agent评测 ：agent(summary_cn,abstract)
AI总结 本文通过多特征空间中的位置分析模型，研究消费者网络对企业竞争和市场份额不平等的影响，采用动态 agent-based 分析，揭示多维产品差异化竞争中的适应性学习机制。
Comments 33 pages, 5 figures
Strategic Growth with Recursive Preferences: Decreasing Marginal Impatience
具有递归偏好战略增长：边际不耐受递减
专题命中 Agent评测 ：agent(summary_cn,abstract)
AI总结 本文研究了资本积累两 agent 模型中策略、异质性和增长的相互作用，采用递归效用函数表示递减边际不耐受偏好，分析两种信息结构下的稳态均衡，探讨均衡的存在性和稳定性。
Comments 55 pages, 14 figures, 2 tables
On symmetric continuum opinion dynamics
关于对称连续意见动力学
专题命中 Agent评测 ：agent(summary_cn,abstract)
AI总结 本文研究了连续agent群体中常见意见动态模型的渐近行为，证明对称交互下意见分布收敛，并探讨更强意义上的收敛性。
Comments 28 pages, 2 figures, 3 files
