Harvard University（哈佛大学）

Structuring Sparsity: Block-Sparse Featurizers Capture Visual Concept Manifolds

结构化稀疏：块稀疏特征化器捕获视觉概念流形

Thomas Fel, Matthew Kowal, Mozes Jacobs, Dron Hazra, Usha Bhalla, Lee Sharkey, Lucius Bushnaq, Satchel Grant, Tal Haklay, Thomas Icard, Can Rager, Michael Pearce, Daniel Wurgaft, Aiden Swann, Fenil Doshi, Siddharth Boppana, Curt Tigges, Nick Cammarata, Thomas Serre, Vasudev Shyam, Owen Lewis, Thomas McGrath, Jack Merullo, Ekdeep Singh Lubana, Atticus Geiger

机构 * Goodfire ； Harvard University（哈佛大学） ； Stanford University（斯坦福大学） ； Brown University（布朗大学） 纠错

AI总结 提出块稀疏特征化器（BSF）来建模视觉概念流形，通过最小描述长度分析证明其比方向基特征化器更紧凑，并应用于解释曲线检测、发现新流形及控制图像生成。

Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining

自然去突现：不对称控制哪些规则在预训练中幸存

Juliana Li, Diya Sreedhar

机构 * Harvard University（哈佛大学） 纠错

AI总结 发现语言模型在预训练中学习规则后会自动遗忘，规则存亡由训练数据中支持频率决定，且遗忘不可逆。

Comments Foundations of Deep Generative Models (FoGen) Workshop at ICML 2026. 23 pages (5-page main text plus appendices), 5 figures. Code: https://github.com/lijuliana/Natural-Ungrokking