Technion - Israel Institute of Technology（以色列理工学院）

Differentiable Faithfulness Alignment for Cross-Model Circuit Transfer

可微的忠实对齐用于跨模型电路转移

Shun Shao, Binxu Wang, Shay B. Cohen, Anna Korhonen, Yonatan Belinkov

机构 * University of Cambridge（剑桥大学） ； Kempner Institute, Harvard University（哈佛大学凯普勒研究所） ； University of Edinburgh（爱丁堡大学） ； Technion（技术学院） 纠错

AI总结 本文提出DFA框架，通过学习可微对齐将小模型的电路信息转移到大模型，实验证明在事实检索、多选推理和算术任务中，DFA在Llama-3 1B→3B任务中表现优异，且在某些情况下恢复的电路忠实度不低于直接归因。

Comments 10 pages, 5 figures

Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

被共识掩盖：在LLM正确性中解构特权知识

Tomer Ashuach, Shai Gretz, Yoav Katz, Yonatan Belinkov, Liat Ein-Dor

机构 * Technion – Israel Institute of Technology（技术学院–以色列理工学院） ； IBM Research（IBM研究院） ； Kempner Institute, Harvard University（哈弗大学凯普纳研究所） 纠错

AI总结 研究探讨大语言模型是否具备类似人类的内部状态评估正确性知识，通过自代表和外部模型对比发现，在分歧子集上，自代表在事实任务中表现更优，但数学推理中无优势。

Comments Accepted to ACL 2026 (Main Conference). 8 pages, 16 figures, 2 tables

CRISP: Persistent Concept Unlearning via Sparse Autoencoders

CRISP：通过稀疏自编码器实现持久性概念卸载

Tomer Ashuach, Dana Arad, Aaron Mueller, Martin Tutek, Yonatan Belinkov

机构 * Technion – Israel Institute of Technology（技术ion-以色列理工学院） ； Boston University（波士顿大学） ； University of Zagreb, FER（Zagreb大学，FER） ； Kempner Institute, Harvard University（哈佛大学 Kempner研究所） 纠错

AI总结 CRISP利用稀疏自编码器实现持久性概念卸载，通过自动识别多层显著SAE特征并抑制其激活，优于现有方法，在WMDP基准的安全关键卸载任务中有效移除有害知识并保持通用能力。

Comments Accepted to ACL 2026

Approximating Uniform Random Rotations by Two-Block Structured Hadamard Rotations in High Dimensions

通过双块结构化的Hadamard旋转近似均匀随机旋转

Tomer Zilca, Gal Mendelson

机构 * Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology（数据与决策科学学院，技术学院 – 以色列理工学院） ； Edward P. Fitts Department of Industrial and Systems Engineering, North Carolina State University（埃德华·P·菲茨工业与系统工程系，北卡罗来纳州立大学） 纠错

AI总结 研究双块结构化Hadamard旋转在高维空间中的近似效果，证明其在单维坐标上收敛性，但整体分布存在偏差，揭示了其在某些算法中的有效性与局限性。