代码大模型 / AI 编程

1GC-7RC: One Graphic Card -- Seven Research Challenges! How Good Are AI Agents at Doing Your Job?

1GC-7RC：一张图形卡——七个研究挑战！AI代理在做你的工作方面有多好？

Robin-Nico Kampa, Fabian Deuser, Anna Bößendörfer, Konrad Habel, Norbert Oswald

专题命中 代码评测 ：coding agent(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出1GC-7RC基准测试，通过七个跨领域机器学习任务评估AI代理在从头设计、实现和训练模型的能力，揭示了不同代理在隐式机器学习知识、规划能力和时间预算管理方面的差异。

PRISM: A Benchmark for Programmatic Spatial-Temporal Reasoning

PRISM：一个程序化空间-时间推理的基准测试

Qiran Zhang, Yuheng Wang, Runde Yang, Lin Wu, Jingru Fan, Shu Yao, Jie Zhang, Tianle Zhou, Huatao Li, Ruijie Shi, Yihan Li, Chen Qian

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 本文提出PRISM基准测试，通过大规模人类校准的指令-代码对（共10,372个，比之前基准大20倍），评估语言模型生成空间正确动画输出的能力，并揭示执行成功率与空间正确率之间的显著差距。

SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors

SLEIGHT-Bench: 一种针对代理监控的对抗攻击基准

Elle Najt, Colin Toft, Tyler Tracy, Fabien Roger, Joe Benton

机构 * Anthropic Fellows Program（Anthropic Fellow计划） ； University of Waterloo（多伦多大学） ； Redwood Research（Redwood研究） ； Anthropic 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 本文提出SLEIGHT-Bench基准，用于评估代理监控对多种攻击策略的防御能力，发现20种攻击在Opus 4.6监控下未被检测到，同时识别了多种规避策略并展示了监控性能的提升。

HSCO-Bench: An Agent-Driven End-to-End Hardware-Software Co-design Benchmark for Systems-on-Chip

HSCO-Bench: 一种由智能体驱动的端到端硬件软件协同设计基准，用于片上系统

Pei-Huan Tsai, Kuan-Lin Chiu, William Baisi, Pin-Yu Chen, Luca P. Carloni

专题命中 代码评测 ：repository(abstract)

AI总结 本文提出HSCO-Bench，一个用于评估大型语言模型在端到端硬件软件协同设计能力的基准，通过评估LLM在资源约束下生成高效SoC原型的能力，揭示了当前模型在硬件加速方面的不足。

RoboJailBench: Benchmarking Adversarial Attacks and Defenses in Embodied Robotic Agents

RoboJailBench: 对具身体验机器人代理中对抗攻击和防御的基准测试

Doguhuan Yeke, Yanming Zhou, Leo Y. Lin, Hongyu Cai, Antonio Bianchi, Z. Berkay Celik

机构 * Purdue University（普渡大学） 纠错

专题命中 代码评测 ：repository(abstract)

AI总结 本文提出RoboJailBench，通过建立安全分类学、引入意图对比数据集管道以及提供一个演进的存储库，为具身体验人工智能中的对抗攻击和防御提供了标准化评估框架，同时构建了一个新的分类平衡数据集并增强了五个现有数据集。