University of Edinburgh（爱丁堡大学）

Differentiable Faithfulness Alignment for Cross-Model Circuit Transfer

可微的忠实对齐用于跨模型电路转移

Shun Shao, Binxu Wang, Shay B. Cohen, Anna Korhonen, Yonatan Belinkov

机构 * University of Cambridge（剑桥大学） ； Kempner Institute, Harvard University（哈佛大学凯普勒研究所） ； University of Edinburgh（爱丁堡大学） ； Technion（技术学院） 纠错

AI总结 本文提出DFA框架，通过学习可微对齐将小模型的电路信息转移到大模型，实验证明在事实检索、多选推理和算术任务中，DFA在Llama-3 1B→3B任务中表现优异，且在某些情况下恢复的电路忠实度不低于直接归因。

Comments 10 pages, 5 figures

When Chain-of-Thought Fails, the Solution Hides in the Hidden States

当链式推理失败时，解决方案隐藏在隐藏状态中

Houman Mehrafarin, Amit Parekh, Ioannis Konstas

机构 * Heriot-Watt University（赫瑞斯泰大学） ； University of Edinburgh（爱丁堡大学） 纠错

AI总结 研究通过激活补丁分析发现，链式推理（CoT）中的隐藏状态包含任务相关信息，即使原始推理轨迹错误，也能通过补丁提升准确率，揭示CoT中某些token能编码足够的信息恢复正确答案。

CODA: Coordination via On-Policy Diffusion for Multi-Agent Offline Reinforcement Learning

CODA：通过在线扩散实现多智能体离线强化学习中的协调

Marcel Hedman, Kale-ab Abebe Tessera, Juan Claude Formanek, Anya Sims, Riccardo Zamboni, Trevor McInroe, John Torr, Elliot Fosong

机构 * Inephany Ltd（Inephany有限公司） ； Department of Statistics, University of Oxford（牛津大学统计系） ； University of Cape Town Cape Town, South Africa（南非开普敦大学） ； The University of Edinburgh（爱丁堡大学） 纠错

AI总结 CODA通过在线扩散生成合成经验，解决多智能体离线强化学习中的协调问题，提升联合行为适应性。

Self Knowledge Re-expression: A Fully Local Method for Adapting LLMs to Tasks Using Intrinsic Knowledge

自知重述：一种完全局部的方法，用于通过内在知识适应LLM到任务

Mengyu Wang, Xiaoying Zhi, Zhiyi Li, Robin Schmucker, Shay B. Cohen, Tiejun Ma, Fran Silavong

机构 * The University of Edinburgh（爱丁堡大学） 纠错

AI总结 本文提出SKR方法，通过将LLM的输出从通用token生成转变为高效任务特定表达，提升非生成任务性能，实验显示在信息检索、目标检测和异常检测任务中取得显著提升。