EPFL（洛桑联邦理工学院）

Demystifying Variance in Circuit Discovery of LLMs

揭示LLM电路发现中的方差

Frank Zhengqing Wu, Francesco Tonin, Volkan Cevher

机构 * Laboratory for Information and Inference Systems (LIONS), École Polytechnique Fédérale de Lausanne (EPFL), Lausanne, Switzerland（信息与推理系统实验室（LIONS），洛桑联邦理工学院（EPFL），瑞士洛桑） 纠错

AI总结 本文研究LLM电路发现中的重采样、重述和样本方差，提出CEAP方法减少重采样方差，并分析重述方差源于不同模板激活不同电路，样本方差主要由不忠定义导致。

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

循环绑定——混合专家语言模型中的专家层绑定

Martin Jaggi

机构 * EPFL（瑞士联邦理工学院洛桑） 纠错

AI总结 提出专家绑定方法，通过共享连续Transformer层的专家参数，在保持独立路由和注意力的同时，将MoE模型内存占用降低近2倍，且不损失困惑度或下游性能。

Comments Code available at https://github.com/epfml/looped-moe

Incentives and Evidence in Learned Service Orchestration

学习型服务编排中的激励与证据

Syed Izhan Khilji, Alireza Furutanpey, Schahram Dustdar

机构 * EPFL（苏黎世联邦理工学院） ； University of Waterloo（多伦多大学） 纠错

AI总结 本文通过预注册实验检验三个有影响力的基于强化学习的服务编排系统，发现大多数性能反转未发生，并指出发表和评审激励偏向基准增益而非部署性能，提出需要生产级比较器和可复现操作证据。

Comments To be presented at the IEEE 2026 International Congress on Intelligent and Service Oriented Systems Engineering (CISOSE 2026)

Stochastic trace estimation with tensor train random vectors

基于张量列随机向量的随机迹估计

Zvonimir Bujanović, Daniel Kressner, Hrvoje Olić

机构 * University of Zagreb, Faculty of Science, Department of Mathematics（Zagreb大学科学学院数学系） ； Institute of Mathematics, EPFL（EPFL数学研究所） 纠错

AI总结 研究使用高斯随机张量列向量进行随机迹估计，证明适当秩下可恢复维度无关保证，并应用于Nyström++框架。

MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization

MosaicQuant: 基于内点-离点分离的统一4位LLM量化

Yangjia Hu, Haodong Wang, Zicong Hong, Qianli Liu, Quanxin Shou, Jian Lin, Song Guo, Xiaowei Shen, Xiangjun Huang, Dian Wang, Jian Yang

机构 * HKUST（香港科技大学） ； EPFL（瑞士联邦理工学院洛桑） ； MetaX Integrated Circuits Co., Ltd（MetaX集成电路有限公司） 纠错

AI总结 提出MosaicQuant，通过将权重矩阵量化为密集4位基分量和稀疏4位残差分量，结合ZipperEngine融合稀疏块计算，实现统一4位推理，在LLaMA3和Qwen3上保持近FP16精度并加速1.24倍。

Comments 17 pages

Fast LLM-Based Semantic Filtering: From a Unified Framework to an Adaptive Two-Phase Method

基于LLM的快速语义过滤：从统一框架到自适应两阶段方法

Kyoungmin Kim, Martin Catheland, Anastasia Ailamaki

机构 * EPFL（瑞士联邦理工学院） 纠错

AI总结 提出自适应两阶段语义过滤框架，结合无模型聚类与在线代理，利用LLM的置信度作为软标签训练代理，并通过稀疏感知校准降低级联成本，在90%准确率目标下速度提升1.6-2.0倍。