Princeton University（普林斯顿大学）

CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs

CODA：将Transformer块重写为GEMM-epilogue程序

Han Guo, Jack Zhang, Arjun Menon, Driss Guessous, Vijay Thakkar, Yoon Kim, Tri Dao

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Princeton University（普林斯顿大学） ； Together AI ； Meta 纠错

AI总结 本文提出CODA，一种将Transformer中的非注意力计算重写为GEMM-epilogue程序的GPU内核抽象，以提高训练效率和硬件利用效率。

MemGym: a Long-Horizon Memory Environment for LLM Agents

MemGym: 一种长时间跨度的记忆环境用于LLM智能体

Wujiang Xu, Yu Wang, Kai Mei, Kaiqu Liang, Zhenting Wang, Mingyu Jin, Han Zhang, Shi-Xiong Zhang, Wenyue Hua, Sambit Sahu, Dimitris N. Metaxas

机构 * Rutgers University（罗杰斯大学） ； Capital One ； Princeton University（普林斯顿大学） ； Microsoft Research（微软研究院） 纠错

AI总结 本文提出MemGym，一种用于评估LLM智能体记忆能力的基准测试环境，通过统一现有智能体 gym 和内部记忆基础管道，提供一个记忆推理接口。MemGym 包含五个评估赛道，涵盖四个智能体领域，能够独立评估记忆性能，排除推理、检索和工具使用能力的干扰。

Open-World Evaluations for Measuring Frontier AI Capabilities

面向前沿AI能力的开放世界评估

Sayash Kapoor, Peter Kirgis, Andrew Schwartz, Stephan Rabanser, J. J. Allaire, Rishi Bommasani, Harry Coppock, Magda Dubois, Gillian K Hadfield, Andrew B. Hall, Sara Hooker, Seth Lazar, Steve Newman, Dimitris Papailiopoulos, Shoshannah Tekofsky, Helen Toner, Cozmin Ududec, Arvind Narayanan

机构 * Princeton University（普林斯顿大学） ； Cornflower Labs（Cornflower实验室） ； Meridian Labs（Meridian实验室） ； Stanford University（斯坦福大学） ； UK AI Security Institute（英国人工智能安全研究所） ； Johns Hopkins University（约翰霍普金斯大学） ； Adaption Labs（Adaption实验室） ； Australian National University（澳大利亚国立大学） ； Golden Gate Institute for AI（金门人工智能研究所） ； UW Madison（威斯康星大学麦迪逊分校） ； Microsoft Research（微软研究院） ； AI Digest（AI摘要） ； Georgetown University (CSET)（乔治城大学（CSET）） 纠错

AI总结 本文提出开放世界评估作为一种补充方法，通过小样本定性分析来评估长期、复杂、现实世界任务，以更准确地衡量AI能力，并介绍了CRUX项目作为定期进行此类评估的尝试。