arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

EPFL(洛桑联邦理工学院)

共收录 856
2406.07884 2026-06-24 quant-ph cs.LG 版本更新

Reinforcement Learning to Disentangle Multiqubit Quantum States from Partial Observations

基于部分观测的多量子比特态纠缠消除的强化学习

Pavel Tashev, Stefan Petrov, Matthew T. Diaz, Friederike Metz, Alaina M. Green, Norbert M. Linke, Marin Bukov

机构 * Department of Mathematics and Informatics(数学与信息学系) St. Kliment Ohridski University of Sofia(索菲亚圣克莱门特·欧赫里迪斯大学) Joint Quantum Institute(联合量子研究所) Department of Physics(物理系) University of Maryland(马里兰大学) National Quantum Laboratory (QLab)(国家量子实验室(QLab)) Institute of Physics(物理研究所) École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL)) Center for Quantum Science and Engineering(量子科学与工程中心) Quantum Systems Unit(量子系统单元) OIST Graduate University(OIST研究生大学) Duke Quantum Center(杜克量子中心) Max Planck Institute for the Physics of Complex Systems(复杂系统物理研究所)

AI总结 提出使用演员-评论家深度强化学习算法,仅基于两量子比特约化密度矩阵,为最多16量子比特态构建短纠缠消除电路,并在离子阱量子计算机上实验验证。

Comments The source code as well as a demo in the form of an interactive Jupyter notebook are available on Github: https://github.com/mgbukov/RL_disentangle

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23591 2026-06-23 cs.LG 新提交

Quantifying the Agreement Between Data-Influence and Data-Similarity to Understand LLM Behavior

量化数据影响与数据相似性之间的一致性以理解LLM行为

Christopher J. Anders, Henrique Da Silva Gameiro, Nico Daheim, Mohammad Emtiyaz Khan

机构 * RIKEN Center for Advanced Intelligence Project, Tokyo, Japan(日本东京理化学研究所先进智能项目中心) Section of Computer Science, EPFL Lausanne, Switzerland(瑞士洛桑联邦理工学院计算机科学系) Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt(达姆施塔特工业大学计算机科学系泛在知识处理实验室) National Research Center for Applied Cybersecurity ATHENE, Germany(德国国家应用网络安全研究中心ATHENE) TU Darmstadt & Hessian Center for AI (hessian.AI), Darmstadt, Germany(达姆施塔特工业大学与黑森州人工智能中心)

AI总结 通过排序重叠量化数据相似性与数据影响在输出追踪中的一致性和不对称性,并利用不对称性实现成本-精度权衡。

Comments 37 pages, 35 figures, preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23436 2026-06-23 cs.CV cs.AI cs.LG 新提交

Rethinking Object-Centric Representations for Video Dynamics Modeling

重新思考面向对象的视频动态建模表示

Amaury Wei, Ismail Nejjar, Olga Fink

机构 * Intelligent Maintenance and Operation Systems (IMOS) École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院智能维护与操作系统实验室(IMOS))

AI总结 提出STAITUS框架,通过解耦每个槽为外观和几何位姿,在运动、遮挡等场景下实现更清晰的分割和更稳定的身份保持。

Comments 17 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23101 2026-06-23 cs.CV 新提交

Scene-agnostic ALS boresight self-calibration

场景无关的ALS视准轴自标定

Aurélien Brun, Jan Skaloud

机构 * EPFL ENAC ESO, Bâtiment GC - Station 18, 1015 Lausanne, Switzerland(瑞士洛桑联邦理工学院环境、建筑与土木工程学院地理信息与遥感实验室)

AI总结 提出两种基于点对点对应关系的ALS视准轴自标定方法,无需平面约束,可在常规测绘任务中实现标定。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22143 2026-06-23 cs.RO cs.GT cs.LG 新提交

Physics-Informed Eikonal Caging for Whole-Arm Manipulation Planning

基于物理信息的Eikonal笼形约束的全臂操作规划

Yan Zhang, Yiming Li, Yifei Dong, Florian T. Pokorny, Sylvain Calinon

机构 * Idiap Research Institute(Idiap 研究所) École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院) KTH Royal Institute of Technology(瑞典皇家理工学院)

AI总结 提出将笼形约束重新表述为最小时间逃逸问题,利用物理信息神经网络近似满足Eikonal方程的逃逸时间场,实现全臂操作规划中的鲁棒性提升。

Comments Under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21309 2026-06-23 cs.CV 新提交

WildBox: A Dataset and Benchmark for Aerial Monocular 3D Detection of African Savanna Wildlife

WildBox: 非洲稀树草原野生动物航拍单目3D检测数据集与基准

Vandita Shukla, Kilian Meier, Lucie Laporte-Devylder, Camille Rondeau Saint-Jean, Jenna M. Kline, Blair R. Costelloe, Devis Tuia, Fabio Remondino, Benjamin Risse

机构 * D Optical Metrology Unit, Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会3D光学计量部) Computer Vision and Machine Learning Systems group, Institute for Geoinformatics, University of Muenster(明斯特大学地理信息学研究所计算机视觉与机器学习系统组) School of Civil, Aerospace and Design Engineering, University of Bristol(布里斯托大学土木、航空航天与设计工程学院) Department of Biology, University of Southern Denmark(南丹麦大学生物学系) The Ohio State University(俄亥俄州立大学) Department of Collective Behavior, Max Planck Institute of Animal Behavior(马克斯·普朗克动物行为研究所集体行为系) University of Konstanz(康斯坦茨大学) Centre for the Advanced Study of Collective Behaviour, University of Konstanz(康斯坦茨大学集体行为高级研究中心) Department of Biology, University of Konstanz(康斯坦茨大学生物学系) Environmental Computational Science and Earth Observation Laboratory, EPFL(瑞士联邦理工学院环境计算科学与地球观测实验室)

AI总结 提出WildBox数据集,含23.7万3D框标注,评估两种开放词汇单目3D架构,发现零样本3D检测失败,微调后恢复性能,深度估计是主要瓶颈。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21297 2026-06-23 cs.LG cs.AI 新提交

NASDAQ: Normalized Observation Space Dynamics-Augmented Q-Learning

NASDAQ:归一化观测空间动力学增强Q学习

Xinwei Liu, Junyuan Liang, Zicong Hong, Jianting Zhang, Wuhui Chen

机构 * Sun Yat-sen University(中山大学) EPFL(瑞士联邦理工学院洛桑分校) Purdue University(普渡大学)

AI总结 针对观测预测强化学习中低维观测维度不平衡导致性能下降的问题,提出归一化方法平衡损失和梯度,并构建NASDAQ框架,结合价值学习与两个辅助任务,在多个领域取得领先性能且训练时间更短。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.13020 2026-06-23 cs.AI 新提交

SciR: A Controllable Benchmark for Scientific Reasoning in LLMs

SciR: 面向LLM科学推理的可控基准

Pierre Beckmann, Marco Valentino, Andre Freitas

机构 * Idiap Research Institute(Idiap研究 institute) EPFL(瑞士联邦理工学院) School of Computer Science, University of Sheffield(谢菲尔德大学计算机科学学院) University of Manchester(曼彻斯特大学) National Biomarker Centre, CRUK Manchester Institute(国家生物标志物中心,CRUK曼彻斯特研究所)

AI总结 提出SciR基准,通过形式对象生成可验证的多范式科学推理任务,并控制信息提取和推理难度两个维度,揭示LLM在科学推理中的弱点。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.09794 2026-06-23 cs.CV cs.GR 新提交

Beyond Spherical Harmonics: Rethinking Appearance Models for Radiance Reconstruction

超越球谐函数:重新思考辐射重建的外观模型

Ewa Miazga, Jorge Condor, Piotr Didyk

机构 * École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院) Università della Svizzera Italiana(意大利语区瑞士大学)

AI总结 本文系统评估多种球面函数,提出归一化各向异性球面Gabor函数,以紧凑表示高效建模高频外观效果,在辐射场重建中实现五倍内存节省和更优质量。

Comments 19 pages, 11 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25859 2026-06-23 math.ST cs.LG stat.TH 版本更新

Minimax Limits of k-Fold Cross-Validation via Majority

k折交叉验证的极小极大极限:多数投票算法

Ido Nachum, Rüdiger Urbanke, Thomas Weinberger

机构 * University of Haifa(海法大学) EPFL(苏黎世联邦理工学院)

AI总结 本文通过分析二元分类中多数投票算法的交叉验证均方误差,揭示了k折交叉验证的极小极大极限,证明当折数k随样本数n增长时,任何经验风险最小化算法的均方误差下界为Ω(√k/n)。

Comments arXiv admin note: substantial text overlap with arXiv:2511.03554

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.11248 2026-06-23 cs.NE cs.AI cs.MA 版本更新

Evolving Many Worlds: Towards Open-Ended Discovery in Petri Dish NCA via Population-Based Training

演化多重世界:通过基于种群的训练在 Petri 培养皿 NCA 中实现开放式发现

Uljad Berdica, Jakob Foerster, Frank Hutter, Arber Zela

机构 * FLAIR, University of Oxford(奥克斯大学FLAIR实验室) ELLIS Institute Tübingen(图宾根ELLIS研究所) University of Freiburg(弗赖堡大学) Prior Labs(Prior实验室) EPFL(瑞士联邦理工学院洛桑分校)

AI总结 提出 PBT-NCA 元进化算法,通过复合目标(历史行为新颖性与当代视觉多样性)演化 Petri 培养皿神经细胞自动机种群,自发产生持续涌现的生命现象,实现开放式演化。

Comments 10 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.17655 2026-06-23 cs.CL 版本更新

What Language is This? Ask Your Tokenizer

这是什么语言?问你的分词器

Clara Meister, Ahmetcan Yavuz, Pietro Lesci, Tiago Pimentel

机构 * EPFL(苏黎世联邦理工学院) University of Cambridge(剑桥大学)

AI总结 提出基于UnigramLM分词算法的UniLID方法,通过比较字符串在各语言单字分布下的似然进行语言识别,在低资源和细粒度方言场景下显著提升样本效率。

Comments In Proceedings of ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.19756 2026-06-23 cs.LG stat.ML 版本更新

Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining

随机层次模型与层次化浅到深链的可证明学习

Yunwei Ren, Yatin Dandi, Florent Krzakala, Jason D. Lee

机构 * Princeton University(普林斯顿大学) École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑分校) University of California, Berkeley(加州大学伯克利分校)

AI总结 针对深度网络能否高效利用层次结构的问题,证明在温和条件下深度卷积网络可高效学习随机层次模型,并提出逐层训练策略。

Comments COLT 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.19309 2026-06-23 cs.LG eess.SP

Time-Vertex Machine Learning for Optimal Sensor Placement in Temporal Graph Signals: Applications in Structural Health Monitoring

时间顶点机器学习用于时间图信号中的最优传感器布置:在结构健康监测中的应用

Keivan Faghih Niresi, Jun Qing, Mengjie Zhao, Olga Fink

机构 * Intelligent Maintenance and Operations Systems Lab., EPFL, Lausanne, Switzerland(智能维护与运营系统实验室,瑞士联邦理工学院,洛桑)

AI总结 本文提出时间顶点机器学习框架,结合图信号处理、时域分析和机器学习,实现可解释且高效的传感器布置,通过识别代表性节点减少冗余并保留关键信息。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.00918 2026-06-23 cs.AI 版本更新

Sparse Neuron Ablation Triggers Catastrophic Collapse of the Language Core in Large Vision-Language Models

稀疏神经元消融引发大型视觉-语言模型中语言核心的灾难性崩溃

Cen Lu, Yung-Chen Tang, Andrea Cavallaro

机构 * École Polytechnique Fédérale de Lausanne (EPFL)(瑞士洛桑联邦理工学院) Idiap Research Institute(日内瓦研究所)

AI总结 提出渐进式神经元消融方法CAN,发现消融极少量(如LLaVA-1.5-7b中仅4个)位于语言模型下投影层的神经元即可导致LVLM灾难性崩溃,揭示功能依赖语言骨干中的稀疏神经元子集。

Comments Accepted to ICML 2026 Mechanistic Interpretability Workshop

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.17396 2026-06-23 cs.LG eess.SP stat.ML

RINS-T: Robust Implicit Neural Solvers for Time Series Linear Inverse Problems

RINS-T:用于时间序列线性逆问题的鲁棒隐式神经求解器

Keivan Faghih Niresi, Zepeng Zhang, Olga Fink

机构 * Intelligent Maintenance and Operations Systems Laboratory, EPFL(智能维护与运营系统实验室,瑞士联邦理工学院)

AI总结 本文提出RINS-T,一种无需预训练的深度先验框架,通过隐式先验和鲁棒优化技术提升时间序列数据的鲁棒性和稳定性,解决逆问题中的噪声和异常检测挑战。

Comments Accepted to IEEE Transactions on Instrumentation and Measurement

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.06917 2026-06-23 cs.LG eess.SP

Efficient Unsupervised Domain Adaptation Regression for Spatial-Temporal Sensor Fusion

高效无监督领域适应回归用于空间-时间传感器融合

Keivan Faghih Niresi, Ismail Nejjar, Olga Fink

机构 * Intelligent Maintenance and Operations Systems Laboratory, EPFL(智能维护与操作系统实验室,瑞士联邦理工学院)

AI总结 本文提出一种针对回归任务的高效无监督领域适应方法,通过整合空间-时间图神经网络和源目标域扰动逆Gram矩阵对齐,实现无标注数据下的可扩展领域适应,验证于空气质量监测和EEG信号重建任务,取得最佳性能。

Comments Accepted to IEEE Internet of Things Journal

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.10178 2026-06-23 cs.LG cs.AI cs.IT math.IT 版本更新

From Markov to Laplace: How Mamba In-Context Learns Markov Chains

从马尔可夫到拉普拉斯:Mamba如何通过上下文学习马尔可夫链

Marco Bondaschi, Nived Rajaraman, Xiuying Wei, Kannan Ramchandran, Razvan Pascanu, Caglar Gulcehre, Michael Gastpar, Ashok Vardhan Makkuva

机构 * EPFL(苏黎世联邦理工学院) UC Berkeley(加州大学伯克利分校) Google DeepMind(谷歌DeepMind) Télécom Paris(巴黎电信学院)

AI总结 本文研究Mamba在马尔可夫链上的上下文学习能力,发现单层Mamba能高效学习最优的拉普拉斯平滑估计器,并理论上揭示了卷积在其中的关键作用。

Comments Oral presentation at ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.08086 2026-06-23 cs.AI cs.SC 版本更新

A Neural Operator-Based Approach to Symbolic Discovery of PDEs

基于神经算子的偏微分方程符号发现方法

Sergei Garmaev, Olga Fink

机构 * Intelligent Maintenance and Operations Systems Laboratory, EPFL(智能维护与操作系统实验室,瑞士联邦理工学院)

AI总结 提出NOMTO框架,通过将预训练神经算子作为符号网络节点,扩展了Equation Learner架构,能够从数据中发现包含非局部算子、辅助场耦合或记忆效应的偏微分方程。

详情

展开后加载摘要…

URL PDF HTML 收藏
2404.08061 2026-06-23 cs.LG cs.AI eess.SP

Physics-Enhanced Graph Neural Networks For Soft Sensing in Industrial Internet of Things

基于物理的图神经网络用于工业物联网中的软传感

Keivan Faghih Niresi, Hugo Bissig, Henri Baumann, Olga Fink

机构 * Intelligent Maintenance and Operations Systems (IMOS) Lab, EPFL(智能维护与运营系统实验室,EPFL) Swiss Federal Institute of Metrology (METAS)(瑞士联邦计量研究院)

AI总结 本文提出基于物理的图神经网络,通过整合物理原理提升传感器数据建模的准确性,尤其在存在噪声和参数误差时表现更优。

Comments 14 pages, 10 figures. Accepted to IEEE Internet of Things Journal

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19889 2026-06-19 cs.CV 新提交

SurgVista: Long-Horizon Surgical World Modeling with Plausible Instrument-Tissue Dynamics

SurgVista:具有合理器械-组织动力学的长程手术世界建模

Wentao Pan, Wuyang Li, Shengyuan Liu, Xinyu Liu, Hengyu Liu, Yixuan Yuan

机构 * The Chinese University of Hong Kong(香港中文大学) EPFL(瑞士联邦理工学院洛桑) Imperial College London(伦敦帝国学院)

AI总结 提出SurgVista手术世界模型,通过变形一致性正则化和漂移适应训练,解决空间交互不连贯和时间保真度崩溃问题,在长程预测中显著优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08892 2026-06-19 cs.LG 新提交

Diffuse AI Control on Fuzzy Tasks

模糊任务上的扩散AI控制

Mikhail Terekhov, Caglar Gulcehre, Vivek Hebbar, Joe Benton

机构 * Anthropic Fellows Program (via MATS)(Anthropic 研究员计划(通过 MATS)) EPFL(洛桑联邦理工学院) Redwood Research(红木研究) Anthropic

AI总结 针对AI在模糊任务上的长期扩散威胁,提出蓝队与红队对抗框架,通过弱模型评分训练强模型,并发现红队可利用多目标进化提示优化找到评分高但性能差的子版本行为,蓝队则通过对抗优化提升鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09689 2026-06-19 cs.LG 版本更新

Model soups need only one ingredient

模型汤只需一种成分

Alireza Abdollahpoorrostam, Nikolaos Dimitriadis, Adam Hazimeh, Pascal Frossard

机构 * EPFL(瑞士联邦理工学院) EPFL LTS4(瑞士联邦理工学院 LTS4)

AI总结 提出MonoSoup方法,利用SVD分解单检查点的层更新,通过熵有效秩自动重加权成分,实现强分布内-分布外平衡,无需多检查点。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19152 2026-06-18 cond-mat.mtrl-sci cs.AI 新提交

AdsMind: A Physics-Grounded Multi-Agent System for Self-Correcting Discovery of Adsorption Configurations on Heterogeneous Catalyst Surfaces

AdsMind: 一种基于物理的多智能体系统,用于异质催化剂表面吸附构型的自校正发现

Zongmin Zhang, Yuyang Lou, Bowen Zhang, Junwu Chen, Ryo Kuroki, Xuan Vu Nguyen, Edvin Fako, Lixue Cheng, Philippe Schwaller

机构 * Department of Computer Science Engineering, Hong Kong University of Science Department of Chemistry, Hong Kong University of Science Laboratory of Artificial Chemical Intelligence (LIAC), EPFL, Lausanne, Switzerland Platform Laboratory for Science \& Technology, Asahi Kasei Corporation, Tokyo, Japan IAS Center for AI for Scientific Discoveries, Hong Kong University of Science

AI总结 提出AdsMind闭环多智能体框架,利用机器学习力场弛豫反馈实现吸附构型搜索的自主纠错,在基准测试中成功率高达100%和98.8%,且仅需少量弛豫步骤,显著优于启发式枚举和单次方法。

Comments 37 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18022 2026-06-17 cs.LG 新提交

Recursive Scaling in Masked Diffusion Models

掩码扩散模型中的递归缩放

Alba Carballo-Castro, Julianna Piskorz, Paulius Rauba, Mihaela van der Schaar, Pascal Frossard

机构 * LTS4, EPFL, Lausanne, Switzerland(瑞士洛桑联邦理工学院LTS4实验室) University of Cambridge, Cambridge, UK(英国剑桥大学)

AI总结 提出递归掩码扩散模型(R-MDMs),通过在每个扩散步骤中重复应用同一去噪变换器增加递归深度,实现参数高效缩放,在数独和倒计时等结构化生成任务中,以更少参数匹配非递归基线性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16920 2026-06-16 cs.LG cs.AI 新提交

Demystifying Variance in Circuit Discovery of LLMs

揭示LLM电路发现中的方差

Frank Zhengqing Wu, Francesco Tonin, Volkan Cevher

机构 * Laboratory for Information and Inference Systems (LIONS), École Polytechnique Fédérale de Lausanne (EPFL), Lausanne, Switzerland(信息与推理系统实验室(LIONS),洛桑联邦理工学院(EPFL),瑞士洛桑)

AI总结 本文研究LLM电路发现中的重采样、重述和样本方差,提出CEAP方法减少重采样方差,并分析重述方差源于不同模板激活不同电路,样本方差主要由不忠定义导致。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16825 2026-06-16 cs.CL cs.AI cs.LG 新提交

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

循环绑定——混合专家语言模型中的专家层绑定

Martin Jaggi

机构 * EPFL(瑞士联邦理工学院洛桑)

AI总结 提出专家绑定方法,通过共享连续Transformer层的专家参数,在保持独立路由和注意力的同时,将MoE模型内存占用降低近2倍,且不损失困惑度或下游性能。

Comments Code available at https://github.com/epfml/looped-moe

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16555 2026-06-16 cs.DC cs.LG 新提交

Incentives and Evidence in Learned Service Orchestration

学习型服务编排中的激励与证据

Syed Izhan Khilji, Alireza Furutanpey, Schahram Dustdar

机构 * EPFL(苏黎世联邦理工学院) University of Waterloo(多伦多大学)

AI总结 本文通过预注册实验检验三个有影响力的基于强化学习的服务编排系统,发现大多数性能反转未发生,并指出发表和评审激励偏向基准增益而非部署性能,提出需要生产级比较器和可复现操作证据。

Comments To be presented at the IEEE 2026 International Congress on Intelligent and Service Oriented Systems Engineering (CISOSE 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15679 2026-06-16 stat.ML cs.LG cs.NA math.NA 新提交

Stochastic trace estimation with tensor train random vectors

基于张量列随机向量的随机迹估计

Zvonimir Bujanović, Daniel Kressner, Hrvoje Olić

机构 * University of Zagreb, Faculty of Science, Department of Mathematics(Zagreb大学科学学院数学系) Institute of Mathematics, EPFL(EPFL数学研究所)

AI总结 研究使用高斯随机张量列向量进行随机迹估计,证明适当秩下可恢复维度无关保证,并应用于Nyström++框架。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15652 2026-06-16 cs.LG cs.CL 新提交

MosaicQuant: Inlier-Outlier Disaggregation for Unified 4-Bit LLM Quantization

MosaicQuant: 基于内点-离点分离的统一4位LLM量化

Yangjia Hu, Haodong Wang, Zicong Hong, Qianli Liu, Quanxin Shou, Jian Lin, Song Guo, Xiaowei Shen, Xiangjun Huang, Dian Wang, Jian Yang

机构 * HKUST(香港科技大学) EPFL(瑞士联邦理工学院洛桑) MetaX Integrated Circuits Co., Ltd(MetaX集成电路有限公司)

AI总结 提出MosaicQuant,通过将权重矩阵量化为密集4位基分量和稀疏4位残差分量,结合ZipperEngine融合稀疏块计算,实现统一4位推理,在LLaMA3和Qwen3上保持近FP16精度并加速1.24倍。

Comments 17 pages

详情

展开后加载摘要…

URL PDF HTML 收藏