arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

EPFL(洛桑联邦理工学院)

共收录 857
2605.23384 2026-05-25 cs.CL cs.AI

Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals

元认知作为奖励:通过知识和调节信号强化LLM推理

Sirui Chen, Lei Xu, Yuying Zhao, Yutian Chen, Yu Wang, Beier Zhu, Hanwang Zhang, Shengjie Zhao, Chaochao Lu

机构 * Tongji University(同济大学) Shanghai AI Laboratory(上海人工智能实验室) Nanyang Technological University(南洋理工大学) University of Science and Technology of China(中国科学技术大学) EPFL(苏黎世联邦理工学院) Wuhan University(武汉大学)

AI总结 提出元认知奖励(MaR)框架,利用元认知知识和调节信号作为过程奖励,提升LLM推理质量,在22个基准上平均提升7.7%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22853 2026-05-25 eess.SP cs.LG q-bio.QM

Topological Signal Processing: An Application-Oriented Tutorial

拓扑信号处理:面向应用的教程

Flavia Petruso, Maria Giulia Preti, Dimitri Van De Ville

机构 * Neuro-X Institute, École Polytechnique Fédérale de Lausanne (EPFL), Geneva, Switzerland(神经-X研究所,瑞士洛桑联邦理工学院(EPFL),日内瓦) Department of Radiology and Medical Informatics, University of Geneva, Geneva, Switzerland(放射学与医学信息学系,日内瓦大学,日内瓦,瑞士)

AI总结 本文提出拓扑信号处理(TSP)作为图信号处理(GSP)的推广,通过组合Hodge Laplacian将信号处理扩展到单纯复形上的高阶交互,并以脑成像数据案例展示其应用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22359 2026-05-22 cs.CV

GazePrior: Zero-Shot AR/VR Eye Tracking via Learned 3D Gaze Reconstruction

GazePrior: 通过学习的3D注视重建实现零样本AR/VR注视跟踪

Corentin Dumery, David Colmenares, Alexander Fix, Pascal Fua, Ali Behrooz, Jogendra Kundu

机构 * Meta Reality Labs(Meta现实实验室) EPFL(苏黎世联邦理工学院)

AI总结 本文提出GazePrior,一种数据驱动的3D注视先验模型,用于在无需额外数据收集的情况下实现高质量的AR/VR注视跟踪,通过合成数据提高模型的准确性和鲁棒性。

Comments Project page: https://corentindumery.github.io/projects/gazeprior.html

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.18141 2026-05-22 cs.LG

Geometry-Induced Diffusion on Graphs: A Learnable Weighted Laplacian for Spectral GNNs

图诱导扩散:用于谱GNNs的可学习加权拉普拉斯算子

Mia Zosso, Ali Hariri, Victor Kawasaki-Borruat, Pierre-Gabriel Berlureau, Pierre Vandergheynst

机构 * École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院(EPFL)) École Normale Supérieure – PSL(巴黎高等师范学院–PSL)

AI总结 本文提出了一种简单的谱GNN架构mu-ChebNet,通过学习节点级权重函数mu来修改图拉普拉斯算子,从而改变传播几何而不改变图拓扑,从而促进信息传播的优选路径,帮助长距离信号避免高收缩瓶颈,无需重复层堆叠。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.06141 2026-05-22 cs.LG cs.MA math.OC

High-Probability Convergence Guarantees of Decentralized SGD

去中心化SGD的高概率收敛保证

Aleksandar Armacki, Ali H. Sayed

机构 * STI, EPFL, Lausanne, Switzerland(瑞士洛桑联邦理工学院(EPFL)信息与通信系统研究所(STI))

AI总结 本文研究了在轻尾噪声下去中心化SGD的高概率收敛性,证明了在与MSE收敛相同的成本条件下,去中心化SGD能够实现高概率收敛,同时提供了非凸和强凸成本的最优速率,以及用户数量的线性加速效果。

Comments 43 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21680 2026-05-22 cs.RO

Flying Together: Human-Guided Immersive Shared Control for Aerial Robot Teams in Unknown Environments

Flying Together: Human-Guided Immersive Shared Control for Aerial Robot Teams in Unknown Environments

Lou De Bel-Air, Luca Morando, Ruitao Chen, Keru Wang, Benjamin Jarvis, Charbel Toumieh, Yang Zhou, Ken Perlin, Dario Floreano, Giuseppe Loianno

机构 * New York University(纽约大学) Ecole Polytechnique Federale de Lausanne(洛桑联邦理工学院) University of California Berkeley(加州大学伯克利分校)

AI总结 本文提出了一种基于虚拟现实的共享控制框架,用于在约束和未知环境中操作无人机团队,通过实时用户引导探索,提升在无结构环境中的自主导航能力。核心方法是一种基于用户引导的运动原语规划器,结合阻抗控制器,使操作员能够灵活影响团队行为并引导无人机前往自主规划器可能忽略的感兴趣区域。

Comments Accepted at IEEE International Conference in Robotics and Automation, Vienna 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07213 2026-05-21 cs.LG math.PR

Diffusion Processes on Implicit Manifolds

隐式流形上的扩散过程

Victor Kawasaki-Borruat, Clara Grotehans, Pierre Vandergheynst, Adam Gosztolai

机构 * Signal Processing Laboratory 2(信号处理实验室2) Institute of Artificial Intelligence(人工智能研究所) EPFL(瑞士联邦理工学院) Medical University of Vienna(维也纳医学大学)

AI总结 本文研究如何仅使用点云样本在数据流形上构建扩散过程,提出隐式流形估值扩散(IMDs)方法,通过近似扩散过程的无穷小生成元和carré-du-champ来定义高维空间中的随机微分方程,实现流形内在过程的外推,并通过实验验证其在数据流形上的约束性和探索性。

Comments Comments are more than welcome!

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20311 2026-05-21 cs.LG

WaveGraphNet: Physics-Consistent Guided-Wave Damage Localization through Coupled Inverse-Forward Graph Learning

WaveGraphNet: 通过耦合逆向-前向图学习实现物理一致的引导波损伤定位

Vinay Sharma, Aditya Bharade, Olga Fink

机构 * EPFL, Intelligent Maintenance and Operations Systems(瑞士联邦理工学院智能维护与运营系统) EPFL, Intelligent Maintenance(瑞士联邦理工学院智能维护)

AI总结 本文提出WaveGraphNet,一种用于碳纤维增强聚合物板引导波损伤定位的耦合逆向-前向图学习框架,通过图结构建模传感布局,利用图连接性表示测量传播路径,结合逆向分支和前向分支实现损伤定位的鲁棒性提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20040 2026-05-20 cs.LG

Active Context Selection Improves Simple Regret in Contextual Bandits

主动上下文选择提升上下文老虎机中的简单遗憾

Mohammad Shahverdikondori, Jalal Etesami, Negar Kiyavash

机构 * College of Management of Technology, EPFL(EPFL技术管理学院) Department of Computer Science, TU Munich(慕尼黑工业大学计算机科学系)

AI总结 本文研究了具有有限上下文空间的上下文多臂老虎机问题,通过主动选择上下文样本来优化简单遗憾,提出了一种在已知和未知上下文分布时均能有效提升性能的算法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19377 2026-05-20 cs.LG cs.AI

The Evaluation Game: Beyond Static LLM Benchmarking

评估游戏:超越静态LLM基准测试

Paul Wang, Jade Garcia-Bourrée, Anne-Marie Kermarrec, Vincent Corruble

机构 * Sorbonne Université, CNRS, LIP6(索邦大学,国家科学研究中心,LIP6实验室) École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)

AI总结 本文提出了一种基于博弈论的框架,用于评估大型语言模型的安全性,通过数据增强的群作用结构分析评估者与训练者之间的互动,揭示了对抗性测试中局部泛化和记忆补丁的区别。

Comments 36 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19141 2026-05-20 cs.LG cs.AI cs.CL cs.CY cs.HC

GRASP: Deterministic argument ranking in interaction graphs

GRASP:交互图中的确定性论证排名

Diganta Misra, Antonio Orvieto, Rediet Abebe, Volkan Cevher

机构 * MPI-IS Tübingen(图宾根MPI研究所) Tübingen AI Center(图宾根人工智能中心) ELLIS Institute Tübingen(图宾根ELLIS研究所) Eberhard Karls Universität Tübingen(图宾根埃伯哈德·卡尔斯大学) LIONS, EPFL(EPFL的LIONS实验室)

AI总结 本文提出GRASP框架,通过聚合稳定的局部交互判断生成全局排名,以解决大语言模型作为裁判时整体评判不一致的问题,强调结构充分性而非说服力或修辞吸引力。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.18191 2026-05-20 eess.SP cs.AI cs.LG cs.PF

Quantifying the Generalization Gap in Seizure Detection: A Large-Scale Empirical Benchmark via the SzCORE Challenge

量化癫痫检测中的泛化差距:通过SzCORE挑战进行大规模经验基准测试

Jonathan Dan, Amirhossein Shahbazinia, Christodoulos Kechris, David Atienza

机构 * Embedded Systems Laboratory, EPFL, Lausanne, Switzerland(瑞士洛桑联邦理工学院嵌入式系统实验室)

AI总结 本文通过SzCORE挑战的大规模经验研究,量化了癫痫检测中模型泛化能力的差距,评估了28种最先进的算法架构,揭示了当前模型在不同患者群体中表现不一致的问题,并提出了标准化评估的必要性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18557 2026-05-19 cs.LG cs.NE q-bio.NC

Self-supervised local learning rules learn the hidden hierarchical structure of high-dimensional data

自监督局部学习规则学习高维数据的隐藏层次结构

Ariane Delrocq, Wu S. Zihan, Guillaume Bellec, Wulfram Gerstner

机构 * School of Life Science and School of Computer and Communications Sciences, EPFL(生命科学学院和计算机与通信科学学院,瑞士联邦理工学院) Machine Learning Research Unit, TU Wien(机器学习研究单位,维也纳技术大学)

AI总结 本文研究了自监督局部学习规则在随机层次模型上的表现,发现第一类规则因输入特定的非线性(masking)失效,而第二类规则能有效学习层次结构并具备数据效率和生物合理性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.13339 2026-05-19 cs.CL cs.AI

Probing Persona-Dependent Preferences in Language Models

探测语言模型中依赖人格的偏好

Oscar Gilg, Pierre Beckmann, Daniel Paleka, Patrick Butlin

机构 * MATS EPFL(瑞士联邦理工学院) ETH Zürich(苏黎世联邦理工学院) Eleos AI Research(Eleos AI研究)

AI总结 本文通过训练线性探针来探测语言模型中不同人格下的偏好表示,发现偏好向量在不同人格间具有共享特性,并能通过调整偏好向量来影响模型的输出选择。

Comments 41 pages, 45 figures. Code: https://github.com/oscar-gilg/Preferences. Earlier write-up on LessWrong: https://www.lesswrong.com/posts/pxC2RAeoBrvK8ivMf/models-have-linear-representations-of-what-tasks-they-like-1

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.12000 2026-05-19 cs.LG

Split the Differences, Pool the Rest: Provably Efficient Multi-Objective Imitation

拆分差异,融合其余:可证明高效的多目标模仿

Ziyad Sheebaelhamd, Luca Viano, Volkan Cevher, Claire Vernade

机构 * University of Tübingen(图宾根大学) EPFL(苏黎世联邦理工学院) University of Technology Nuremberg(纽伦堡技术大学)

AI总结 本文研究了多目标模仿学习问题,即在多目标马尔可夫决策过程(MOMDP)中,根据多个帕累托最优专家的演示数据恢复位于帕累托前沿的策略。传统模仿方法无法应对这一场景,因为简单地聚合冲突的专家轨迹可能导致被支配的策略。为此,我们引入了多输出增强行为克隆(MA-BC)算法,该算法系统地划分分歧的专家数据,同时融合无行为冲突的状态-动作对。理论上,我们证明MA-BC以比单独考虑每个专家数据集的学习器更快的统计速率收敛到帕累托最优策略。此外,我们建立了多目标模仿学习的新下界,证明MA-BC是最小最大最优的。最后,我们在多样化的离散环境和连续线性二次调节器(LQR)控制任务中经验验证了我们的算法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.26450 2026-05-19 cs.RO

Reactive Motion Generation via Phase-varying Neural Potential Functions

通过相变神经势函数实现反应性运动生成

Ahmet Tekden, Dimitrios Kanoulas, Aude Billard, Yasemin Bekiroglu

机构 * Chalmers AI Research Center (CHAIR)(查尔姆斯人工智能研究中心(CHAIR)) Chalmers Gender Initiative for Excellence (Genie)(查尔姆斯卓越性别倡议(Genie)) Wallenberg AI, Autonomous Systems and Software Program (WASP)(瓦兰贝格人工智能、自主系统和软件计划(WASP)) University College London(伦敦大学学院) Ecole Polytechnique Federale de Lausanne (EPFL)(瑞士联邦理工学院(EPFL))

AI总结 本文提出了一种基于相变神经势函数(PNPF)的运动生成框架,通过直接从状态进展估计相变量来条件势函数,从而在点到点、周期性和全6D运动任务中实现更有效的泛化,并在有交点轨迹和外部干扰下表现出更强的鲁棒性。

Comments Accepted by IEEE Robotics and Automation Letters (RAL)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18063 2026-05-19 cs.CV cs.LG

The MixCount Dataset: Bridging the Data Gap for Open-Vocabulary Object Counting

MixCount数据集:弥合开放词汇物体计数的数据缺口

Corentin Dumery, Niki Amini-Naieni, Shervin Naini, Pascal Fua

机构 * EPFL(苏黎世联邦理工学院) University of Oxford(牛津大学) Northwestern University(西北大学)

AI总结 本文提出MixCount数据集,通过自动生成管道解决开放词汇物体计数中混合物体场景下的数据不足问题,展示了在真实世界基准上的显著提升。

Comments Co-first authors. Dataset and project page https://corentindumery.github.io/projects/mixcount.html

详情

展开后加载摘要…

URL PDF HTML 收藏
2307.09575 2026-05-19 cs.SI cs.LG cs.MA eess.SP

Causal Influences over Social Learning Networks

社交学习网络中的因果影响

Mert Kayaalp, Ali H. Sayed

机构 * Dalle Molle Institute for Artificial Intelligence (IDSIA USI-SUPSI)(达勒莫勒人工智能研究所(IDSIA USI-SUPSI)) École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))

AI总结 本文研究了由社交图连接的智能体之间的时间动态因果影响,分析了社交学习模型和分布式决策协议的动力学,并推导出揭示智能体对之间因果关系的表达式,解释了网络中的影响流动。结果依赖于图拓扑和每个智能体对推理问题的信息水平。基于这些结论,本文提出了一种算法来对智能体的整体影响进行排名,以发现具有高度影响力的智能体,并提供了一种从原始观测数据中学习必要模型参数的方法。结果和所提算法通过考虑合成数据和真实社交媒体数据进行了示例说明。

Comments Accepted to the Journal of Machine Learning Research

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.17084 2026-05-19 cs.LG cs.CL

Scale Determines Whether Language Models Organize Representation Geometry for Prediction

尺度决定语言模型是否为预测组织表示几何

Weilun Xu

机构 * School of Computer and Communication Sciences(计算机与通信科学学院) École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)

AI总结 研究探讨了语言模型中表示几何是否为预测组织,通过Subspace PGA指标发现,模型规模影响表示几何的组织程度,小模型在训练后期逐渐失去这种组织,而大模型则保持稳定。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.21185 2026-05-19 cs.LG

The Diffusion Duality, Chapter II: $Ψ$-Samplers

扩散对偶性,第二章:Ψ-采样器

Justin Deschenaux, Caglar Gulcehre, Subham Sekhar Sahoo

机构 * EPFL, Lausanne, Switzerland(苏黎世联邦理工学院,洛桑分校) Microsoft AI(微软人工智能) Cornell Tech, NY(康奈尔科技)

AI总结 本文提出了一种通用的预测-校正采样器,用于离散扩散模型,提升了语言和图像建模的生成质量,并展示了其在训练效率上的优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.16421 2026-05-19 cs.LO cs.AI

Orthologic for SAT Solving

正交逻辑用于SAT求解

Vladislas de Haldat, Simon Guilloud, Viktor Kunčak

机构 * EPFL(苏黎世联邦理工学院)

AI总结 本文提出一种新的正交逻辑公式蕴含判定算法,避免了先前方法的高成本预处理阶段,同时保持相同的最坏复杂度。通过合成SAT基准测试,展示了正交逻辑归一化在某些难题中的提升效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.06239 2026-05-18 cs.LG

Provably avoiding over-optimization in Direct Preference Optimization without knowing the data distribution

可证明地避免在不了解数据分布的情况下直接偏好优化中的过度优化

Adam Barla, Emanuele Nevali, Luca Viano, Volkan Cevher

机构 * EPFL(苏黎世联邦理工学院)

AI总结 PEPO通过训练不同数据子集的偏好优化策略并聚合最坏情况,避免了过度优化问题,其样本复杂度仅依赖单策略集中性系数,保持了DPO的简洁性和实用性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15650 2026-05-18 cs.RO

MyoChallenge 2025: A New Benchmark for Human Athletic Intelligence

MyoChallenge 2025: 人类运动智能的新基准

Cheryl Wang, Chun Kwang Tan, Balint K. Hodossy, Eric Lyu, Jun Guo, Wentao Zhao, Huaping Liu, Chengkun Li, Merkourios Simos, Bianca Ziliotto, Alexander Mathis, Siyuan Liu, Jiahao Chen, Shanlin Zhong, Bo Jiang, Ci Song, Yaoye Zhu, Chenhui Zuo, Yanan Sui, Mohamed Irfan Refai, Massimo Sartori, Guillaume Durandau, Vikash Kumar, Vittorio Caggiano

机构 * McGill University(麦吉尔大学) National University of Singapore(国立新加坡大学) Imperial College London(伦敦帝国理工学院) King’s College London(伦敦国王学院) Tsinghua University(清华大学) EPFL(苏黎世联邦理工学院) CASIA(中国科学院自动化所) University of Twente(代尔夫特理工大学) MyoLab

AI总结 本文提出MyoChallenge 2025基准,通过高保真骨骼肌模型与机器学习算法结合,推动运动控制智能研究,包含乒乓球和足球点球两个任务,促进多学科交叉研究。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15430 2026-05-18 cs.RO cs.CV

Where to Perch in a Tree: Vision-Guidance for Tree-Grasping Drones

在树上何处栖息:用于树抓取无人机的视觉引导

Alex Dunnett, Leonie Bottomley, Mirko Kovac, Basaran Bahadir Kocer

机构 * Department of Civil, Aerospace and Design Engineering, University of Bristol(布里斯托大学土木、航空航天与设计工程系) Laboratory of Sustainability Robotics at Swiss Federal Laboratories for Materials Science and Technology (EMPA)(瑞士材料科学与技术联邦实验室可持续机器人实验室) Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)

AI总结 本文提出一种视觉引导方法,用于确定树上理想的栖息点,通过图像处理算法评估树的形状和结构,基于枝条宽度、坡度和曲率选择适宜栖息的枝条。

Comments Work in progress version accepted to the Recent Advances in Robotic Perception for Forestry

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15424 2026-05-18 cs.CV

Social-Mamba: Socially-Aware Trajectory Forecasting with State-Space Models

Social-Mamba:基于状态空间模型的社会感知轨迹预测

Po-Chien Luan, Wuyang Li, Yang Gao, Alexandre Alahi

机构 * EPFL, Switzerland(瑞士联邦理工学院)

AI总结 本文提出Social-Mamba,通过将社会互动视为结构化序列过程,结合循环Mamba模块和社交三元组分解,实现高效准确的轨迹预测,实验表明其在多个基准上表现优异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15353 2026-05-18 cs.LG cs.AI q-bio.MN q-bio.QM

PACER: Acyclic Causal Discovery from Large-Scale Interventional Data

PACER:从大规模干预数据中进行无环因果发现

Ramon Viñas Torné, Sílvia Fàbregas Salazar, Soyon Park, Ivo Alexander Ban, Artyom Gadetsky, Nikita Doikov, Maria Brbić

机构 * Swiss Federal Technology Institute of Lausanne (EPFL), Switzerland(瑞士联邦理工学院洛桑分校) Cornell University, USA(康奈尔大学) ETH Zurich, Zurich, Switzerland(苏黎世联邦理工学院)

AI总结 PACER通过构建无环性保证的因果发现框架,在大规模高维干预数据中实现高效且准确的因果结构推断,优于现有方法。

Comments Accepted at the 43rd International Conference on Machine Learning (2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15042 2026-05-15 cs.CV cs.AI

EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

EverAnimate:通过潜在流恢复实现分钟级人类动画

Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

机构 * EPFL(瑞士联邦理工学院)

AI总结 EverAnimate通过潜在流恢复技术,在保持视觉质量和角色身份的同时,高效生成长时域动画视频,解决了动态人类动作与静态环境之间的生成漂移问题。

Comments Project Page: https://everanimate.github.io/homepage/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14984 2026-05-15 cs.CV cs.AI

Sat3DGen: Comprehensive Street-Level 3D Scene Generation from Single Satellite Image

Sat3DGen:从单张卫星图像生成全面的街景3D场景

Ming Qian, Zimin Xia, Changkun Liu, Shuailei Ma, Wen Wang, Zeran Ke, Bin Tan, Hang Zhang, Gui-Song Xia

机构 * LIESMARS & School of Artificial Intelligence, Wuhan University(珞珈实验室与武汉大学人工智能学院) EPFL(苏黎世联邦理工学院) HKUST(香港科技大学) Northeastern University(东北大学) Zhejiang University(浙江大学) Ant Group(蚂蚁集团) Amap, Alibaba Group(高德地图,阿里巴巴集团)

AI总结 本文提出Sat3DGen,通过几何优先方法提升从单张卫星图像生成高精度3D场景的性能,改进几何精度和真实感,并在新基准上验证其效果。

Comments ICLR 2026; code: https://github.com/qianmingduowan/Sat3DGen demo: https://huggingface.co/spaces/qian43/Sat3DGen project page: https://qianmingduowan.github.io/Sat3DGen_project_page/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14694 2026-05-15 cs.LG

The Rate-Distortion-Polysemanticity Tradeoff in SAEs

SAEs中速率-失真-多义性权衡

Tommaso Mencattini, Francesco Montagna, Francesco Locatello

机构 * EPFL(瑞士联邦理工学院) Institute of Science and Technology Austria(奥地利科学技术研究所)

AI总结 本文研究了SAEs中准确重建输入、高效编码和可解释性之间的矛盾,发现限制SAEs为单义性必然导致速率和失真增加,且多义性由训练数据分布决定。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14567 2026-05-15 stat.ML cs.LG math.PR math.ST stat.TH

Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model

从序列特征恢复中推导缩放定律:一个可解的分层模型

Arie Wortsman-Zurich, Hugo Tabanelli, Yatin Dandi, Florent Krzakala, Bruno Loureiro

机构 * Département d’Informatique, Ecole Normale Supérieure, PSL & CNRS(信息学院,巴黎高等师范学院,PSL & CNRS) Information Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(信息学习与物理实验室,瑞士洛桑联邦理工学院(EPFL)) Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(计算统计物理实验室,瑞士洛桑联邦理工学院(EPFL))

AI总结 本文提出了一种机制,说明多层网络中的特征学习如何产生缩放定律。通过研究高维分层目标,展示了逐层谱算法在恢复潜在方向时的改进效果,并证明了预测误差的幂律衰减。

详情

展开后加载摘要…

URL PDF HTML 收藏