高校专区
基于动态稀疏性的内存高效LLM训练：从稳定性到实际扩展
机构 * University of Waterloo（滑铁卢大学） ； University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Michigan（密歇根大学）
AI总结 提出SMET方法，通过优化器预热和密度感知学习率缩放解决动态稀疏训练中的优化不稳定问题，实现LLM的稳定、可扩展且内存高效的稀疏预训练。
Comments Accepted at ICML2026
流形上的对数蒸馏：通过学习进行映射
机构 * University of Zurich（苏黎世大学） ； ETH Zurich（苏黎世联邦理工学院） ； Deutsche Bank Securities（德意志银行证券公司）
AI总结 提出一种层和点投影映射方法，将学生和教师表示对齐到高维嵌入空间，结合LoRA注入，在显著减少可训练参数的同时提高词错误率。
过渡金属配合物结构生成的流形扩散
机构 * Institute of Chemical and Bioengineering, Department of Chemistry and Applied Biosciences, ETH Zurich（苏黎世联邦理工学院化学与生物工程研究所，化学与应用生物科学系） ； NCCR Catalysis, Switzerland（瑞士催化中心）
AI总结 提出TMCgen流形扩散模型，通过金属-配体配位角与配体扭转/旋转扩散，高效生成过渡金属配合物的精确几何结构。
αDepth: 学习用于立体转换的单次软边界分解
机构 * ETH Zürich（苏黎世联邦理工学院） ； DisneyResearch|Studios（迪士尼研究|工作室）
AI总结 提出αDepth表示，通过圆形Alpha表示（CAR）将软边界分解为局部层次，实现高保真立体转换，无需用户干预。
分组误差而非总MSE：微调视觉-语言-动作模型用于11自由度移动操作
机构 * University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院）
AI总结 针对异构关节空间的移动操作器微调视觉-语言-动作模型时，发现总MSE最低的检查点并非实际表现最佳，提出以分组误差作为更可靠的检查点选择指标。
Comments 4 pages, 3 figures, 3 tables. Accepted as poster at ICRA 2026 Workshop "From Data to Decisions: VLA Pipelines for Real Robots". Code: [https://github.com/paumontagut/per-group-mse-vla](https://github.com/paumontagut/per-group-mse-vla)
更新不透明性：AI系统变更下的认知可及性与治理
机构 * Institute of Biomedical Ethics and History of Medicine, University of Zürich（伦理与医学史研究所，苏黎世大学） ； SUPSI, Dalle Molle Institute for Artificial Intelligence (IDSIA)（SUPSI，达勒莫利人工智能研究所） ； ETH Zürich（苏黎世联邦理工学院） ； Center for Philosophy of AI, University of Copenhagen（人工智能哲学中心，哥本哈根大学）
AI总结 针对AI系统更新导致用户难以理解输出变化的问题，提出结合欧盟AI法案和机器学习运营的治理框架，通过可信度画像和阈值披露实现更新透明化。
WorldMemArena: 通过动作-世界交互评估多模态智能体记忆
机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； J.P. Morgan Chase（摩根大通） ； ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Carnegie Mellon University（卡内基梅隆大学）
AI总结 提出WorldMemArena基准，通过动作-世界交互循环的四阶段生命周期评估多模态智能体记忆，揭示现有方法在写入、维护、检索和使用中的失败点。
Comments 25 pages, 8 figures
RadAgent：一种用于胸部CT逐步解读的工具型AI智能体
机构 * Department of Biosystems Science and Engineering, ETH Zurich（生物系统科学与工程系，苏黎世联邦理工学院） ； ETH AI Center, Zurich（ETH人工智能中心，苏黎世） ； Department of Computer Science, ETH Zurich（计算机科学系，苏黎世联邦理工学院） ； Faculty of Computer Science and Mathematics, Heidelberg University（计算机科学与数学学院，海德堡大学） ； Stanford Center for Artificial Intelligence in Medicine and Imaging, Stanford University（斯坦福大学人工智能在医学和影像中的中心） ； Department of Radiology, Stanford University（放射科，斯坦福大学） ； Department of Quantitative Biomedicine, University of Zurich（定量生物医学系，苏黎世大学） ； Institute of Computer Science, Zurich University of Applied Sciences（应用科学大学计算机科学研究所）
AI总结 提出RadAgent，一种通过逐步、可解释过程生成CT报告的工具型AI智能体，在临床准确性、鲁棒性和忠实度上优于3D VLM方法。
Genie 4D：语义先验引导的4D动态场景重建
机构 * University of Zurich（苏黎世大学） ； ETH Zurich（苏黎世联邦理工学院）
AI总结 提出Genie 4D框架，结合实时视觉惯性高斯泼溅前端和前馈4D骨干网络，利用冻结的DINOv3特征作为结构先验抑制身份漂移，并通过条件扩散精炼器恢复高频细节，最终通过轻量级潜在动作头实现用户可控的4D世界模型重建。
Flowers: 神经PDE求解器的曲速引擎
机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Helsinki（赫尔辛基大学） ； University of California, Berkeley（加州大学伯克利分校）
AI总结 提出Flowers架构，通过多头扭曲场实现线性代价的自适应全局交互，在2D/3D时变PDE基准上超越傅里叶、卷积和注意力基线。
基于流的难解分布密度比估计及其在基因组学中的应用
机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Cambridge（剑桥大学） ； Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
AI总结 提出利用条件感知流匹配推导单一动力学公式，沿生成轨迹追踪密度比，以高效估计难解分布间的密度比，并在单细胞基因组学数据分析中展示竞争力。
RefLoRA：重构低秩适配以实现大型模型的高效微调
机构 * Department of ECE University of Minnesota（电子工程系明尼苏达大学） ； Department of CS ETH Zürich（计算机科学系苏黎世联邦理工学院）
AI总结 针对LoRA因非唯一低秩分解导致权重更新不一致和性能下降的问题，提出RefLoRA方法，通过每步优化最小化损失上界的低秩分解，促进更平坦的损失景观和稳定收敛，在自然语言理解和常识推理任务上优于现有LoRA变体且计算开销可忽略。
Comments Accepted as a conference paper at NeurIPS 2025
你可以通过强化学习端到端地学习分词
机构 * University of Waterloo（滑铁卢大学） ； ETH Zurich（苏黎世联邦理工学院）
AI总结 本文提出使用强化学习中的得分函数估计来学习离散分词边界，通过时间折扣等技巧降低方差，在1亿参数规模上优于先前的直通估计方法。
Comments ICML 2026 camera-ready
原型Transformer：迈向可解释设计的语言模型架构
机构 * University of Cambridge（剑桥大学） ； ETH Zurich（苏黎世联邦理工学院）
AI总结 提出原型Transformer（ProtoT），一种用线性代价原型模块替代二次代价自注意力的自回归语言模型架构，原型自动捕获可命名概念，提升可解释性并支持行为编辑。
Comments Accepted at ICML 2026. Equal contribution: Yordan Yordanov and Matteo Forasassi. 40 pages, 28 figures, 22 tables
插值机制下吉布斯和朗之万蒙特卡洛算法的泛化
机构 * ETH Zurich（苏黎世联邦理工学院）
AI总结 本文在过参数化插值机制下，通过数据依赖的期望误差界，证明了低温区的泛化可由高温区的小训练误差预示，并利用朗之万蒙特卡洛算法稳定逼近，在MNIST、CIFAR-10和SVHN数据集上给出非平凡且接近真实标签测试误差的预测。
多任务强化学习的概率性能保证
机构 * ETH Zurich（苏黎世联邦理工学院）
AI总结 提出一种结合每任务有限 rollout 置信下界与任务级泛化的新泛化界，为未见任务提供高置信度性能保证。
Grokking 的几何：零损失流形上的范数最小化
机构 * ETH Zurich（苏黎世联邦理工学院）
AI总结 本文通过约束优化视角，证明在极小学习率和权重衰减系数下，梯度下降在零损失流形上最小化权重范数，并引入近似解耦参数子集的学习动力学，推导出两层网络第一层后记忆动力学的闭式表达式，实验验证了该框架能复现 grokking 的延迟泛化和表征学习特征。
VocSim：单源音频中零样本内容身份的无训练基准
机构 * University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院）
AI总结 提出VocSim，一个无需训练的无标签基准，通过冻结嵌入的几何对齐评估通用音频表示在零样本内容身份识别中的性能，并在多领域音频上取得强结果，同时揭示跨语言泛化差距。
Comments Accepted at ICML 2026. Code: https://github.com/vocsim/benchmark
UrbanFusion: 用于鲁棒空间表示对比学习的随机多模态融合
机构 * ETH Zurich（苏黎世联邦理工学院）
AI总结 提出UrbanFusion模型，通过随机多模态融合（SMF）和Transformer模块整合街景、遥感、地图和POI数据，在56个城市41项任务中优于现有GeoAI模型。
Journal ref International Conference on Machine Learning (ICML), 2026
可扩展的网约车再平衡方法：具有服务可及性保证的约束平均场强化学习
机构 * ETH Zürich（苏黎世联邦理工学院） ； EPFL Lausanne（洛桑联邦理工学院）
AI总结 提出基于约束平均场强化学习的连续状态再平衡模型，在保证服务公平性的同时实现大规模网约车车队的高效协调与可扩展性。
Comments 34 pages, 15 figures
Journal ref Transportation Research Part C: Emerging Technologies, Vol. 188, 105705 (2026)
利用紧凑高斯体学习全局运动的前馈式4D重建
机构 * KAIST AI（韩国科学技术院人工智能研究所） ； ETH Zürich, ETH AI Center（苏黎世联邦理工学院，ETH人工智能中心） ； Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团）
AI总结 提出C4G框架，通过紧凑的可学习高斯查询令牌和视频扩散模型增强渲染，实现无需相机位姿的前馈式4D动态场景重建，显著减少高斯数量并提升运动建模鲁棒性。
Comments Project Page: see https://cvlab-kaist.github.io/C4G
基准测试与增强文本到图像模型以生成早期算术教育中的视觉表示
机构 * Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系） ； ETH AI Center（ETH人工智能中心）
AI总结 针对早期算术教育中的方程到视觉生成任务，构建了E2V-Bench基准并评估了现有T2I模型，发现其在计数和关系结构上存在严重错误，进而探索了基准引导的增强策略。
前沿对冲：基于少量样本学习新任务
机构 * Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系） ； Department of Computer Science and Engineering, UC San Diego（南加州大学计算机科学与工程系）
AI总结 针对新任务样本少的问题，利用弱单调性假设，通过转移学习和模型选择聚合在模型前沿进行对冲，实现可证明的统计增益。
语音理解的统一可复现实验框架
机构 * X-LANCE Lab, Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系X-LANCE实验室） ； MoE Key Lab of Artificial Intelligence（人工智能MOE重点实验室） ； Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室） ； AISpeech Ltd（AISpeech有限公司） ； ETH Zürich（苏黎世联邦理工学院） ； Nanjing University（南京大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
AI总结 提出SURE框架，通过标准化预测格式、归一化和评分，以及代理辅助的训练转换流程，提高语音理解模型在部署场景下的可比性和可复现性。
Comments This paper is submitted to INTERSPEECH 2026
多样性至关重要：重新审视视觉-语言模型中的测试时计算
机构 * ETH Zürich（苏黎世联邦理工学院） ； Shanghai Jiao Tong University（上海交通大学） ； EPFL（苏黎世联邦理工学院）
AI总结 针对视觉-语言模型（VLM）中测试时计算（TTC）策略应用不足的问题，提出基于预测熵的ETTC方法，通过利用模型间的置信度差异提升集成性能，理论证明并实验验证其优于多数投票和最佳单模型。
Comments ICML 2026
通过序列微调进行约束流优化以用于分子设计
机构 * Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系） ； Institute of Chemical and Bioengineering, Department of Chemistry and Applied Biosciences, ETH Zurich（苏黎世联邦理工学院化学与生物工程研究所） ； ETH AI Center（苏黎世联邦理工学院人工智能中心）
AI总结 提出约束流优化（CFO）算法，通过将约束生成优化问题转化为序列微调，在分子设计中平衡奖励最大化与约束满足。
Comments ICML 2026
重新审视填充Transformer的表达能力：哪些架构选择重要，哪些不重要
机构 * ETH Zürich（苏黎世联邦理工学院） ； Allen Institute for AI（人工智能研究所）
AI总结 本文通过连接布尔电路，系统研究了填充Transformer的表达能力，发现数值精度和模型深度是影响表达能力的主要因素，而注意力类型、模型宽度和均匀性等架构选择对表达能力影响不大。
CoMo3R-SLAM: 面向室外多智能体系统的协作式单目稠密SLAM与学习型3D重建先验
机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Liverpool（利物浦大学） ； Harbin Engineering University（哈尔滨工程大学） ； University of Ottawa（Ottawa大学） ； Shanghai Jiao Tong University（上海交通大学） ； Imperial College London（伦敦帝国理工学院）
AI总结 提出首个协作式单目稠密RGB SLAM系统CoMo3R-SLAM，利用学习的前馈3D重建先验实现室外多智能体地图构建，无需深度传感器即可生成全局一致的度量地图。
VR-DAgger: 用于灵巧数据收集和不确定性引导的在线策略校正的沉浸式VR
机构 * Robotics Systems Lab（机器人系统实验室） ； ETH Zürich（苏黎世联邦理工学院） ； ETH AI Center（ETH人工智能中心） ； ETH Augmented Reality Research Lab（ETH增强现实研究实验室） ； ETH Mobility Initiative（ETH移动性倡议） ； ANYbotics AG（ANYbotics公司） ； Swiss Federal Railways（瑞士联邦铁路）
AI总结 提出VR-DAgger框架，通过VR应用进行灵巧遥操作和数据收集，利用MC Dropout不确定性评分选择关键失败片段进行在线校正，在灵巧操作任务上相比行为克隆提升高达23个百分点，并减少约40%的样本收集时间。
Déjà View: 用于多视图3D重建的循环Transformer
机构 * NVIDIA ； University of Modena and Reggio Emilia, AImageLab（摩德纳和雷焦艾米利亚大学，AImageLab） ； University of Toronto, Vector Institute（多伦多大学，向量研究所） ； ETH Zürich（苏黎世联邦理工学院）
AI总结 提出DéjàView模型，通过循环应用单个Transformer块进行迭代细化，以更少的参数和计算量在多个3D重建基准上达到或超越大规模前馈模型。
Comments Project Page: https://research.nvidia.com/labs/dvl/projects/dvlt
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈