Georgia Institute of Technology（佐治亚理工学院）

On-Policy Self-Distillation without Any Supervision

无任何监督的在线策略自蒸馏

Yijiang Li, Bingyang Wang, Yijun Liang, Yunjie Tian, Di Fu, Nuno Vasconcelos

机构 * UC San Diego（加州大学圣迭戈分校） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Maryland, College Park（马里兰大学帕克分校） ； ByteDance（字节跳动） 纠错

AI总结 本研究提出无监督在线策略自蒸馏（U-OPSD），仅用模型自身生成结果实现在线策略自蒸馏，在多数学基准上优于基础模型，部分场景超越OPSD、GRPO等监督方法。

Comments Project page at https://williamium3000.github.io/u-opsd/ and code at https://github.com/williamium3000/u-opsd

Capability Provenance in Language Models: A Case Study in Social Reasoning

社会推理从何而来？语言模型中的能力来源

Glenn Matlin, Chandreyi Chakraborty, Saehee Eom, Mika Okamoto, Rayan Castilla, Louis Jaburi, Alvin Deng, Taywon Min, Lucia Quirke, Stella Biderman, Mark Riedl

机构 * Georgia Institute of Technology, College of Computing（佐治亚理工学院计算学院） ； MATS Program（MATS项目） ； EleutherAI ； KAIST AI（韩国科学技术院人工智能学院） ； Georgia Tech AI Safety Initiative（佐治亚理工学院人工智能安全倡议） 纠错

AI总结 通过训练数据归因方法，发现OLMo3-7B中社会推理和STEM推理依赖于不同的预训练语料区域，且推理层面的差异比知识层面更显著。

Comments 120 pages. Published as a conference paper at COLM 2026

Interpreting Video Representations with Spatio-Temporal Sparse Autoencoders

通过时空稀疏自编码器解释视频表示

Atahan Dokme, Sriram Vishwanath

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

AI总结 本文系统研究了稀疏自编码器在视频表示中的应用，提出时空对比目标和Matryoshka分组方法，提升时间一致性并改进动作分类和文本-视频检索性能。

Comments 9 pages, 3 figures. Camera-ready version, ACM Multimedia 2026 (MM '26)

Journal ref Proceedings of the 34th ACM International Conference on Multimedia (MM '26), 2026

Attn-QAT: 4-Bit Attention With Quantization-Aware Training

Attn-QAT：4位注意力与量化感知训练

Peiyuan Zhang, Matthew Noto, Wenxuan Tan, Chengquan Jiang, Will Lin, Wei Zhou, Hao Zhang

机构 * Stanford University（斯坦福大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

AI总结 Attn-QAT通过稳定4位量化感知训练实现高效的注意力计算，提升模型推理速度并保持性能。

LineGraph2Road: Structural Graph Reasoning on Line Graphs for Road Network Extraction

LineGraph2Road：基于线路图的结构图推理用于道路网络提取

Zhengyang Wei, Renzhi Jing, Yiyi He, Jenny Suckale

机构 * Stanford University（斯坦福大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

AI总结 LineGraph2Road通过构建全局稀疏欧几里得图并应用图变换器，提升道路网络提取的连通性预测，解决长距离依赖和复杂拓扑问题，实现高精度道路提取。

Topographic Constraints Shape Brain-Like Component Structure in Auditory Models

地形约束塑造听觉模型中类脑的组件结构

Haider Al-Tahan, Mayukh Deb, Jenelle Feather, N. Apurva Ratan Murty

机构 * Cognition and Brain Science, School of Psychology, Georgia Tech（认知与脑科学系，心理学学院，佐治亚理工学院） ； Computational Cognition, Georgia Tech（计算认知学，佐治亚理工学院） ； Neuroscience Institute and Department of Psychology, Carnegie Mellon University（神经科学研究所和心理学系，卡内基梅隆大学） 纠错

AI总结 该研究探究地形约束对听觉神经网络模型的影响，提出TopoAudio模型，发现其性能与标准模型相当且内部表示更紧凑、组件与人类ECoG记录对齐更紧密，为人工神经网络生成生物对齐表示提供了机制证据。