Harvard University（哈佛大学）

Sequential Correlations Change In-Context Learning: Effective Context Length and Architectural Mismatch

序列相关性改变上下文学习：有效上下文长度与架构失配

Mary Letey, Yue M. Lu, Cengiz Pehlevan, Jacob Zavatone-Veth

机构 * John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学院） ； Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学自然与人工智能研究所） ； Society of Fellows and Center for Brain Science, Harvard University（哈佛大学 fellows 会与脑科学中心） 纠错

AI总结 针对现有ICL理论多聚焦独立样本提示的局限，研究序列关联数据下的ICL特性，基于线性注意力构建可解模型，发现关联提示会改变ICL有效样本量及最优适配注意力架构。

TREK: Distill to Explore, Reinforce to Refine

TREK：蒸馏以探索，强化以优化

Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard

机构 * LinkedIn Corporation（领英公司） ； Harvard University（哈佛大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

AI总结 针对GRPO在学生策略覆盖外的难提示样本上失效问题，提出TREK方法，通过蒸馏扩展探索空间再结合GRPO优化，在多推理与智能体任务上大幅提升模型性能。

Comments 18 pages, 3 figures, 6 tables

Formal Disco: Scalable Open-Ended Generation of Formally Verified Programs

形式化迪斯科：可扩展的形式化验证程序的开放式生成

Gabriel Poesia, Simon Henniger, Tzu-Han Hsu, Yilun Du, Nada Amin

机构 * Kempner Institute, Harvard University（坎普纳研究所，哈佛大学） ； School of Engineering and Applied Sciences, Harvard University（工程与应用科学学院，哈佛大学） 纠错

AI总结 针对生成程序质量保证落后及形式验证数据稀缺问题，提出Formal Disco分布式系统，协调三类工人，记录痕迹用于改进，提出最大熵原则，发布数据集并微调模型，为形式推理领域大规模创建合成数据。

Comments Code: https://github.com/metareflection/formal-disco Datasets: https://huggingface.co/collections/metareflection/formal-disco

DynaVieW: Schema-Guided World Modeling for Understanding Hierarchical Visual Dynamics

DynaVieW：用于理解分层视觉动态的模式引导世界建模

Silin Gao, Hao Zhao, Zeming Chen, Sepideh Mamooler, Antara Raaghavi Bhattacharya, Qiyu Wu, Hiromi Wakaki, Yuki Mitsufuji, Li Mi, Syrielle Montariol, Antoine Bosselut

机构 * EPFL, Switzerland（瑞士联邦理工学院） ； Harvard University（哈佛大学） ； Sony Group Corporation（索尼集团） ； ETH Zurich, Switzerland（瑞士苏黎世联邦理工学院） 纠错

AI总结 针对多模态语言模型难以系统建模视频视觉场景时间演变的问题，提出DynaVieW模型，通过学习交错状态转换序列理解视觉动态，在多架构下联合建模，提升下游视觉叙事创作等任务表现。

Comments ICML 2026

Reading Between the Dots: Decoding Hidden Computation across Filler Tokens

解读点之间的信息：解码跨填充令牌的隐藏计算

Kaley Brauer, Claudio Mayrink Verdun, Samuel Marks

机构 * Harvard University（哈佛大学） ； Cambridge Boston Alignment Initiative（剑桥波士顿对齐计划） ； Massachusetts Institute of Technology（麻省理工学院） ； Anthropic 纠错

AI总结 研究前沿语言模型对无内容填充令牌的隐藏计算，通过分析两个前沿模型在四个任务家族中的表现，介绍无监督解码管道，能从隐藏状态恢复中间值，证明隐藏计算可从残差流读取。

Comments Accepted to ICML 2026 Mech Interp Workshop, 10 main paper pages, 20 appendix pages

MLSYSIM: First-Principles Infrastructure Modeling for Machine Learning Systems

MLSYSIM：用于机器学习系统的第一性原理基础设施建模

Vijay Janapa Reddi

机构 * Harvard University（哈佛大学） 纠错

AI总结 研究机器学习系统基础设施建模问题，提出MLSYSIM框架，基于供需抽象，通过可组合模型和求解器，实现亚秒级设计空间探索，确定约束并合成硬件规格。

The Hidden Water Geography of U.S. Hyperscale Data Centers in the AI Era

人工智能时代美国超大规模数据中心隐藏的水地理情况

Gianluca Guidi, Francesca Dominici

机构 * Harvard University（哈佛大学） 纠错

AI总结 研究美国超大规模数据中心用水路径，通过关联设施位置与电力区域等数据绘制472个设施的两种用水路径图，明确不同路径热点地理分布及占比，指出决策重点。

Interpreting Brain Responses to Language with Sparse Features from Language Models

用语言模型稀疏特征解释大脑对语言的响应

Michael A. Lepori, Kendrick Kay, Greta Tuckute

机构 * Brown University（布朗大学） ； University of Minnesota（明尼苏达大学） ； Harvard University（哈佛大学） 纠错

AI总结 提出增强稀疏编码模型，用分层稀疏自编码器特征替代密集LM隐状态，并加入惊奇度预测器，解释大脑语言皮层响应，发现前颞叶语言网络由共同特征预测，且大脑响应与LM中最通用的特征对应。