Snowflake

PPT-Eval: A Benchmark for Computer-Use Agents on PowerPoint Tasks

PPT-Eval: 面向PowerPoint任务的计算机使用智能体基准

Apurva Gandhi, Vishwas Suryanarayanan, Raja Hasnain Anwar, Firoz Shaik, Shubhang Desai, Thong Q. Nguyen, Muhammad Taqi Raza, Vishal Chowdhary, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft（微软） ； UMass Amherst（马萨诸塞大学阿默斯特分校） ； Google（谷歌） ； Snowflake 纠错

AI总结 提出PPT-Eval基准，包含120个PowerPoint任务，并设计基于评分标准的评估框架，通过部分评分和自然语言反馈衡量智能体表现，发现现有最强模型仅达45%成功率。

Comments Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

Quantization Inflates Reasoning: Token Inflation as a Hidden Cost of Low-Bit Reasoning Models

量化膨胀推理：低比特推理模型的隐藏成本——令牌膨胀

Xinyu Lian, Walid Krichene, Beichen Huang, Masahiro Tanaka, Olatunji Ruwase, Li Zhang, Minjia Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft（微软） ； Anyscale ； Snowflake 纠错

AI总结 研究发现低比特后训练量化虽保持推理准确性，但会显著增加推理令牌使用量，导致端到端服务性能下降，并提出了CoT令牌膨胀比来量化该效应。