Augmenting Attention with Exponentially Decaying Memory Improves Query-Aware KV Sparsity
用指数衰减记忆增强注意力提升查询感知的KV稀疏性
机构 * EPFL(苏黎世联邦理工学院) ; CLAIRE(人工智能实验室)
AI总结 本文通过引入指数衰减记忆模块增强注意力机制,在稀疏注意力推理中显著提升查询感知方法的准确性,并在多个任务上验证了其有效性。
高校专区
用指数衰减记忆增强注意力提升查询感知的KV稀疏性
机构 * EPFL(苏黎世联邦理工学院) ; CLAIRE(人工智能实验室)
AI总结 本文通过引入指数衰减记忆模块增强注意力机制,在稀疏注意力推理中显著提升查询感知方法的准确性,并在多个任务上验证了其有效性。
LACUNA: 作为递归程序空洞的安全智能体
机构 * EPFL(苏黎世联邦理工学院)
AI总结 提出LACUNA编程模型,通过类型化调用和编译时检查,让LLM智能体以递归程序空洞的方式安全地编写代码,实现表达性与安全性的统一。
可变形高斯占据:通过分解蒸馏解耦刚性与非刚性运动
机构 * École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑校区)
AI总结 提出DeGO框架,通过解耦高斯变形和分解式4D基础模型蒸馏,在弱监督下实现动态场景中刚性与非刚性运动的分离,显著提升人体实例占据预测性能。
Comments CVPR 2026
从论文到基准测试:基于智能体和框架的机器健康智能中欠规范方法复现
机构 * EPFL(苏黎世联邦理工学院)
AI总结 提出一种基于智能体和共享框架的方法,通过槽绑定接口将论文转化为可执行、可比较的基准测试实现,解决工业预测与健康管理中方法复现的困难。
Picid: 一种跨任务和领域的可复现PHM模块化评估基础设施
机构 * EPFL(苏黎世联邦理工学院)
AI总结 提出模块化评估基础设施Picid,通过标准化数据契约和评估边界,实现跨任务、跨数据集的故障检测、诊断和预测的可复现与公平比较。
Proprio: 用于物理合理视频生成的潜在自评分与推理时精炼
机构 * École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院) ; Télécom Paris(巴黎电信学院)
AI总结 提出Proprio,一种无需训练框架,通过分析模型在潜在扰动下的流残差作为自评分信号,结合最佳N搜索和梯度自精炼,提升冻结视频生成器输出的物理合理性。
从自身潜在表示而非token学习:样本复杂度理论
机构 * Institute of Physics(物理研究所) ; University of Cambridge(剑桥大学) ; Johns Hopkins University(约翰霍普金斯大学) ; EPFL(苏黎世联邦理工学院)
AI总结 本文通过概率上下文无关语法数据,证明潜在预测方法在样本复杂度上相比token级SSL具有指数级优势,并分析了多尺度层次结构的必要性。
Comments 10 pages, 5 figures in main. 28 pages, 14 figures, 1 table in all
事实的未来:追踪事实生成-验证差距
机构 * EPFL(苏黎世联邦理工学院)
AI总结 本文通过训练阶段分析,发现语言模型在事实知识上存在生成-验证差距,验证能力先于生成能力习得且更稳健,事实更新可能导致模型处于“多宇宙”状态。
Comments Code for this project is available at https://github.com/anjasurina/factgap , blog post at https://www.trdavidson.com/fact-gap