Nanjing University（南京大学）

Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning

并非所有 token 都应获得同等权重：面向长思维链（Long-CoT）推理的反事实敏感性权重重分配

Qiangqiang He, Zhongheng Wu, ZiJian Wang

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室） ； Institute of Wireless Communications Technology, Shanghai Jiao Tong University（上海交通大学无线通信技术研究所） 纠错

AI总结 针对长思维链推理中均匀分配 token 权重的缺陷，提出反事实敏感性权重重分配方法，在数学推理基准上优于 GRPO，验证了特权诱导方向不可靠的诊断。

Comments 20 pages, 6 figures, 11 tables

Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers

文本模板令牌是扩散Transformer中的隐式语义寄存器

Maohua Li, Qirui Li, Yanke Zhou, Yiduo Li, Zhaosheng Chi, Chao Xu, Cuifeng Shen, Yixuan Xu, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang

机构 * Nanjing University（南京大学） ； Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） 纠错

AI总结 研究文本到图像扩散Transformer中内部计算，引入因果可解释性框架，发现结构模板令牌充当隐式语义寄存器，据此设计剪枝规则，还揭示其生成计算组织方式，提供了DiTs内部机制的因果视图。

Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation

密集监督，稀疏更新：论策略蒸馏的稀疏性与几何结构

Guo Yu, Wenlin Liu, Yulan Hu, Hao-Xuan Ma, Jun-Peng Jiang, Han-Jia Ye

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； Amap, Alibaba Group（阿里巴巴集团高德地图） 纠错

AI总结 本文分析策略蒸馏（OPD）中参数更新的稀疏性和几何特性，发现更新稀疏且集中于小权重坐标，并验证了稀疏子网络的有效性。

Comments Code is available at https://github.com/SydCS/OPD-Param-Analysis