University of Michigan（密歇根大学安娜堡分校）

Sparsity Moves Computation: How FFN Architecture Reshapes Attention in Small Transformers

稀疏性推动计算：FFN架构如何重塑小规模Transformer中的注意力

Gabriel Smithline, Chris Mascioli

机构 * University of Michigan（密歇根大学） 纠错

AI总结 研究通过单层Transformer在数字加法、模运算和直方图计数中发现，稀疏MoE路由将计算从FFN转移到注意力，且GLU门控旋转任务相关傅里叶结构至分布式子空间。

Comments Preprint

CryptoBench: A Dynamic Benchmark for Expert-Level Evaluation of LLM Agents in Cryptocurrency

CryptoBench: 一种动态基准，用于评估LLM代理在加密货币领域的专家级能力

Jiacheng Guo, Suozhi Huang, Zixin Yao, Yifan Zhang, Yifu Lu, Jiashuo Liu, Zihao Li, Nicholas Deng, Qixin Xiao, Jia Tian, Kanghong Zhan, Tianyi Li, Xiaochen Liu, Jason Ge, Chaoyang He, Kaixuan Huang, Lin Yang, Wenhao Huang, Mengdi Wang

机构 * Princeton University（普林斯顿大学） ； Zenith Lab（Zenith实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of California, Berkeley（加州大学伯克利分校） ； University of Michigan（密歇根大学） 纠错

AI总结 本文提出CryptoBench，首个专家 curated 的动态基准，用于严格评估LLM在加密货币领域的真实能力。通过50题/月的动态任务，细分子类评估数据获取与预测能力，揭示LLM在检索与预测上的不平衡问题。

VSPO: Vector-Steered Policy Optimization for Behavioral Control

VSPO：用于行为控制的向量引导策略优化

Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

机构 * University of Michigan（密歇根大学） 纠错

AI总结 VSPO通过引入与目标行为关联的引导向量，控制生成轨迹的行为强度，解决多目标优化中的稀疏奖励问题，提升策略优化效率。

AstraFlow: Dataflow-Oriented Reinforcement Learning for Agentic LLMs

AstraFlow：面向代理大语言模型的数据流强化学习

Haizhong Zheng, Yizhuo Di, Jiahui Wang, Shuowei Jin, Xueshen Liu, Yongji Wu, Z. Morley Mao, Ion Stoica, Jiawei Zhao, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Michigan（密歇根大学） ； UC Berkeley（加州大学伯克利分校） ； Meta 纠错

AI总结 AstraFlow通过数据流导向的强化学习系统，实现复杂多策略协作训练和高效利用异构计算资源，提升代理LLM的推理与工具使用能力。