Together AI

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

每瓦智能：衡量本地AI的智能效率

Jon Saad-Falcon, Avanika Narayan, Hakki Orhun Akengin, J. Wes Griffin, Herumb Shandilya, Adrian Gamarra Lafuente, Medhya Goel, Rebecca Joseph, Shlok Natarajan, Etash Kumar Guha, Shang Zhu, Ben Athiwaratkun, John Hennessy, Azalia Mirhoseini, Christopher Ré

机构 * Stanford University（斯坦福大学） ； Together AI 纠错

AI总结 本文研究了本地AI在能源效率和性能上的表现，提出了一种统一的衡量指标IPW，展示了本地推理在重新分配需求方面的能力，并揭示了本地加速器的优化潜力。

Shrinking the Generation-Verification Gap with Weak Verifiers

缩小生成-验证差距的弱验证器

Jon Saad-Falcon, E. Kelly Buchanan, Mayee F. Chen, Tzu-Heng Huang, Brendan McLaughlin, Tanvir Bhathal, Shang Zhu, Ben Athiwaratkun, Frederic Sala, Scott Linderman, Azalia Mirhoseini, Christopher Ré

机构 * Stanford University（斯坦福大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Together AI 纠错

AI总结 Weaver通过结合多个弱验证器，有效缩小生成-验证差距，提升验证性能至接近理想验证器水平。

Comments Annual Conference on Neural Information Processing Systems (NeurIPS) 2025

Rethinking Inference-Time Scaling: Efficiency Limits and Linguistic Signals

重新思考推理时缩放：效率极限与语言信号

Junlin Wang, Shang Zhu, Jon Saad-Falcon, Ben Athiwaratkun, Qingyang Wu, Jue Wang, Shuaiwen Leon Song, Ce Zhang, Bhuwan Dhingra, James Zou

机构 * Duke University（杜克大学） ； Together AI ； University of Chicago（芝加哥大学） ； Stanford University（斯坦福大学） 纠错

AI总结 本研究分析推理时缩放的效率极限，发现非推理模型存在无法突破的推理底线，多数投票优于复杂框架，还识别出正确性的语言信号，为高效推理智能体提供了新路径。

Comments update figures, writings

Untied Ulysses: Memory-Efficient Context Parallelism via Headwise Chunking

解耦乌lysses：通过头级分块实现内存高效的上下文并行

Ravi Ghadia, Maksim Abraham, Sergei Vorobyov, Max Ryabinin

机构 * Together AI 纠错

AI总结 UPipe通过头级分块实现内存高效的上下文并行，显著减少激活内存使用，支持更长的上下文长度。

Comments 14 pages, 6 figures