arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

EPFL(洛桑联邦理工学院)

2026-06-16 至 2026-06-16 共收录 10
2606.16920 2026-06-16 cs.LG cs.AI 新提交

Demystifying Variance in Circuit Discovery of LLMs

揭示LLM电路发现中的方差

Frank Zhengqing Wu, Francesco Tonin, Volkan Cevher

机构 * Laboratory for Information and Inference Systems (LIONS), École Polytechnique Fédérale de Lausanne (EPFL), Lausanne, Switzerland(信息与推理系统实验室(LIONS),洛桑联邦理工学院(EPFL),瑞士洛桑)

AI总结 本文研究LLM电路发现中的重采样、重述和样本方差,提出CEAP方法减少重采样方差,并分析重述方差源于不同模板激活不同电路,样本方差主要由不忠定义导致。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16825 2026-06-16 cs.CL cs.AI cs.LG 新提交

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

循环绑定——混合专家语言模型中的专家层绑定

Martin Jaggi

机构 * EPFL(瑞士联邦理工学院洛桑)

AI总结 提出专家绑定方法,通过共享连续Transformer层的专家参数,在保持独立路由和注意力的同时,将MoE模型内存占用降低近2倍,且不损失困惑度或下游性能。

Comments Code available at https://github.com/epfml/looped-moe

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16555 2026-06-16 cs.DC cs.LG 新提交

Incentives and Evidence in Learned Service Orchestration

学习型服务编排中的激励与证据

Syed Izhan Khilji, Alireza Furutanpey, Schahram Dustdar

机构 * EPFL(苏黎世联邦理工学院) University of Waterloo(多伦多大学)

AI总结 本文通过预注册实验检验三个有影响力的基于强化学习的服务编排系统,发现大多数性能反转未发生,并指出发表和评审激励偏向基准增益而非部署性能,提出需要生产级比较器和可复现操作证据。

Comments To be presented at the IEEE 2026 International Congress on Intelligent and Service Oriented Systems Engineering (CISOSE 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15679 2026-06-16 stat.ML cs.LG cs.NA math.NA 新提交

Stochastic trace estimation with tensor train random vectors

基于张量列随机向量的随机迹估计

Zvonimir Bujanović, Daniel Kressner, Hrvoje Olić

机构 * University of Zagreb, Faculty of Science, Department of Mathematics(Zagreb大学科学学院数学系) Institute of Mathematics, EPFL(EPFL数学研究所)

AI总结 研究使用高斯随机张量列向量进行随机迹估计,证明适当秩下可恢复维度无关保证,并应用于Nyström++框架。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15652 2026-06-16 cs.LG cs.CL 新提交

MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization

MosaicQuant: 基于内点-离点分离的统一4位LLM量化

Yangjia Hu, Haodong Wang, Zicong Hong, Qianli Liu, Quanxin Shou, Jian Lin, Song Guo, Xiaowei Shen, Xiangjun Huang, Dian Wang, Jian Yang

机构 * HKUST(香港科技大学) EPFL(瑞士联邦理工学院洛桑) MetaX Integrated Circuits Co., Ltd(MetaX集成电路有限公司)

AI总结 提出MosaicQuant,通过将权重矩阵量化为密集4位基分量和稀疏4位残差分量,结合ZipperEngine融合稀疏块计算,实现统一4位推理,在LLaMA3和Qwen3上保持近FP16精度并加速1.24倍。

Comments 17 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08090 2026-06-16 cs.DB cs.AI 新提交

Fast LLM-Based Semantic Filtering: From a Unified Framework to an Adaptive Two-Phase Method

基于LLM的快速语义过滤:从统一框架到自适应两阶段方法

Kyoungmin Kim, Martin Catheland, Anastasia Ailamaki

机构 * EPFL(瑞士联邦理工学院)

AI总结 提出自适应两阶段语义过滤框架,结合无模型聚类与在线代理,利用LLM的置信度作为软标签训练代理,并通过稀疏感知校准降低级联成本,在90%准确率目标下速度提升1.6-2.0倍。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.04678 2026-06-16 cs.LG 版本更新

Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers

基于深度条件循环Transformer的ASR测试时计算缩放

Yacouba Kaloga, Shashi Kumar, Shakeel A. Sheikh, Driss Khalil, Petr Motlicek, Ina Kodrasi

机构 * Idiap Research Institute(Idiap研究 institute) EPFL(瑞士联邦理工学院) BUT(布拉格技术大学) Novartis Institute of Biomedical Research(诺华生物医学研究 institute)

AI总结 提出LARM模型,通过深度条件循环Transformer将循环编码器深度变为可控的测试时计算轴,结合稀疏CTC检查点、监督时钟嵌入、FiLM深度条件和延迟软后验反馈,在LibriSpeech上随推理循环次数增加提升WER,实现测试时计算缩放从自回归语言模型推理扩展到连续非自回归语音识别。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.00768 2026-06-16 cs.RO cs.HC 版本更新

An Ergonomic, Customizable Soft Robotic Glove toward Personalized Hand Rehabilitation

一种符合人体工程学、可定制的软体机器人手套,用于个性化手部康复

Rui Chen, Firman Isma Serdana, Domenico Chiaradia, Xianlong Mai, Elena Losanno, Gabriele Righi, Claudia De Santis, Federica Serra, Vincent Mendez, Cristian Camardella, Daniele Leonardis, Giulio Del Popolo, Silvestro Micera, Antonio Frisoli

机构 * The Biorobotics Inst. and Dept. of Excellence in Robotics and AI, Scuola Superiore Sant’Anna, Pisa, Italy(生物机器人研究所和机器人与人工智能卓越部门,圣安娜高等学院,比萨,意大利) Institute of Mechanical Intelligence and Department of Excellence in Robotics and AI, Scuola Superiore Sant’Anna (SSSA), 56127, Pisa, Italy(机械智能研究所和机器人与人工智能卓越部门,圣安娜高等学院(SSSA),56127,比萨,意大利) CAS Key Laboratory of Mechanical Behavior and Design of Materials, Institute of Humanoid Robots, School of Engineering Sciences, University of Science and Technology of China, Hefei, China(中国科学技术大学材料机械行为与设计国家重点实验室,人形机器人研究所,工程科学学院,合肥,中国) Modular Implantable Neuroprostheses (MINE) Laboratory, Università Vita-Salute San Raffaele & Sant’Anna School of Advanced Studies, Milan, Italy(可植入神经假体(MINE)实验室,维塔-桑瑞法大学及圣安娜高级研究学院,米兰,意大利) Careggi University Hospital, 50134 Florence, Italy(Careggi大学医院,50134,佛罗伦萨,意大利) Bertarelli Fndn. Chair in Translational Neuroengineering, Neuro X Institute, École Polytechnique Fédérale de Lausanne (EPFL), Laussane, Switzerland(伯特拉里基金会转化神经工程主席,Neuro X研究所,洛桑联邦理工学院(EPFL),洛桑,瑞士)

AI总结 针对手部康复需求,提出一种基于织物的可定制软体机器人手套,采用数控热封技术制造双腔致动器,通过个性化指关节适配和凹形外表面设计提升舒适度与抓握力,实验验证其能降低前臂肌肉活动并改善脊髓损伤患者的抓握模式。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.10031 2026-06-16 cs.LG 版本更新

Graph Learning Should Move Beyond Restrictive Views of Spectral and Message-Passing GNNs

图学习应超越对谱图神经网络和消息传递图神经网络的狭隘观点

Antonis Vasileiou, Juan Cervino, Pascal Frossard, Charilaos I. Kanatsoulis, Christopher Morris, Michael T. Schaub, Pierre Vandergheynst, Zhiyang Wang, Guy Wolf, Ron Levie

机构 * RWTH Aachen University(亚琛工业大学) Massachusetts Institute of Technology(麻省理工学院) École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院) Stanford University(斯坦福大学) University of California San Diego(加州大学圣地亚哥分校) Univ. de Montréal(蒙特利尔大学) Mila(Mila人工智能研究所) Technion – Israel Institute of Technology(技术学院–以色列理工学院)

AI总结 本文澄清了谱图神经网络与消息传递图神经网络的异同,提出基于特征基对称性的谱GNN精确定义,并倡导统一理论框架以推动图学习发展。

Comments 44 pages, 1 figure

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.02819 2026-06-16 cs.LG stat.ML 版本更新

Causal Evaluation of Membership Inference Attacks

成员推断攻击的因果评估

Mathieu Even, Clément Berenfeld, Linus Bleistein, Tudor Cebere, Julie Josse, Aurélien Bellet

机构 * Inria(法国国家科学研究中心) PreMeDICaL, Inserm, Montpellier, France(PreMeDICaL、法国国家医学研究院、蒙彼利埃,法国) School of Computer and Communication Science (EPFL)(信息与通信科学学院(EPFL)) School of Life Sciences (EPFL)(生命科学学院(EPFL)) Lausanne, Switzerland(瑞士洛桑)

AI总结 将成员推断攻击评估视为因果推断问题,定义记忆化为包含数据点的因果效应,提出多轮、单轮和零轮设置下的实用估计器并验证其有效性。

Comments Fixed ref label problems

详情

展开后加载摘要…

URL PDF HTML 收藏