arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Harvard University(哈佛大学)

2026-05-22 至 2026-05-22 共收录 9
2605.22581 2026-05-22 cs.CV cs.AI cs.LG

SceneAligner: 3D-Grounded Floorplan Localization in the Wild

SceneAligner: 在真实场景中实现基于3D的平面定位

Junhyeong Cho, Ruojin Cai, Hadar Averbuch-Elor

机构 * Cornell University(康奈尔大学) Kempner Institute, Harvard University(哈佛大学 Kempner 院)

AI总结 本文提出了一种在真实场景中实现基于3D重建的平面定位方法,通过将任务 grounding 在场景的重建3D表示中,解决了现有方法在大规模建筑和栅格化平面图中应用受限的问题。

Comments Project Page: https://Cornell-VAILab.github.io/SceneAligner

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22471 2026-05-22 cs.LG

Lost in Tokenization: Fundamental Trade-offs in Graph Tokenization for Transformers

迷失在标记化中:图标记化在Transformer中的基本权衡

Maya Bechler-Speicher, Gilad Yehudai, Gil Harari, Clayton Sanford, Amir Globerson, Joan Bruna

机构 * Courant Institute of Mathematical Sciences, New York University(纽约大学数学科学学院) John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院) Google Research(谷歌研究) Tel-Aviv University(特拉维夫大学)

AI总结 本文研究了图标记化在Transformer中的基本权衡,探讨了不同标记化方法对模型表达能力的影响,并通过实验验证了不同任务对不同结构视图的偏好。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.07870 2026-05-22 cond-mat.dis-nn cs.AI stat.ML

Spectral Dynamics in Deep Networks: Feature Learning, Outlier Escape, and Learning Rate Transfer

深度网络中的谱动力学:特征学习、异常值逃逸和学习率转移

Clarissa Lauditi, Cengiz Pehlevan, Blake Bordelon

机构 * John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰A·保罗森工程与应用科学学院) Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(哈佛大学自然与人工智能研究学院) Center for Mathematical Sciences and Applications, Harvard University(哈佛大学数学科学中心) Oden Institute for Computational Engineering and Sciences & Dept. of Neuroscience, UT Austin(得克萨斯大学奥斯汀分校奥登计算工程与科学学院及神经科学系)

AI总结 本文研究了在宽神经网络中通过(随机)梯度下降训练时隐藏权重谱的演变,提出了一种双层动态平均场理论(DMFT)来联合跟踪具有尖峰集合的隐藏权重谱动态,其中尖峰方向在随机体上保持统计依赖性。该框架应用于两种设置:(1)无限宽度非线性网络在均值场/μP缩放下,以及(2)深度线性网络在比例高维极限下。理论预测了异常值如何随训练时间、宽度、输出尺度和初始化方差演变。在深度线性网络中,μP产生与宽度一致的异常值动态和超参数转移,包括主导NTK模式向稳定性边缘(EoS)的宽度稳定增长。相比之下,NTK参数化表现出强烈依赖宽度的异常值动态,尽管收敛到一个稳定的宽网络极限。我们展示了这种体+异常值图像是描述简单任务的,但涉及大量输出的任务(如ImageNet分类或GPT语言建模)则更适合通过重构谱体来描述。我们开发了一个具有大量输出通道的玩具模型,重现了这一现象,并展示了足够宽的网络下谱边缘仍会收敛。

Comments Updating related works + discussion

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.20205 2026-05-22 cs.LG

Hyperparameter Transfer with Mixture-of-Expert Layers

通过专家混合层进行超参数迁移

Tianze Jiang, Blake Bordelon, Cengiz Pehlevan, Boris Hanin

机构 * Operations Research Financial Engineering, Princeton University, Princeton, NJ, USA Center of Mathematical Sciences Applications, Harvard University, Cambridge, MA, USA John A. Paulson School of Engineering Applied Sciences, Center for Brain Science, Kempner Institute for the Study of Natural Artificial Intelligence, Harvard University, Cambridge, MA, USA

AI总结 本文提出了一种新的参数化方法,用于在扩展模型宽度、深度、专家数量和专家(隐藏)大小时,通过专家混合层的变压器模型进行超参数迁移,该方法基于动态平均场理论分析,实验证明其在不同规模模型间可靠地迁移超参数。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.04111 2026-05-22 cs.SE cs.AI cs.HC

CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding

CentaurEval: 评估人机协同在编程中的价值

Hanjun Luo, Chiming Ni, Jiaheng Wen, Zhimu Huang, Yiran Wang, Bingduo Liao, Sylvia Chung, Yingbin Jin, Xinfeng Li, Wenyuan Xu, XiaoFeng Wang, Hanan Salam

机构 * New York University Abu Dhabi(纽约大学阿布扎克校区) Nanyang Technological University(南洋理工大学) University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Harvard University(哈佛大学) Zhejiang University(浙江大学) University of Electronic Science and Technology of China(电子科技大学) Beijing University of Technology(北京理工大学) The Hong Kong Polytechnic University(香港理工大学)

AI总结 本文提出CentaurEval基准测试,用于评估人机协同在编程中的价值。该基准测试通过协作必要问题模板,结合人类推理和AI效率,展示了人机协作在编程任务中的显著优势。

Comments Accepted by ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21859 2026-05-22 q-bio.PE cs.LG q-bio.QM

PhylaFlow: Hybrid Flow Matching in Billera-Holmes-Vogtmann Tree Space for Phylogenetic Inference

PhylaFlow:在Billera-Holmes-Vogtmann树空间中进行混合流匹配用于系统发育推断

Yasha Ektefaie, Leo Cui, Shrey Jain, Marinka Zitnik, Pardis Sabeti

机构 * Eric and Wendy Schmidt Center, Broad Institute of MIT and Harvard(埃里克和wendy Schmidt中心,MIT和哈佛大学Broad研究所) Department of Biomedical Informatics, Harvard Medical School(哈佛医学院生物医学信息学系) Centennial High School(Centennial高中) Infectious Disease and Microbiome Program, Broad Institute of MIT and Harvard(传染病与微生物组计划,MIT和哈佛大学Broad研究所)

AI总结 该研究提出PhylaFlow模型,通过在Billera-Holmes-Vogtmann树空间中学习后验盆地运输,实现混合流匹配,从而提高系统发育推断的效率和准确性。

Comments 9 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21849 2026-05-22 cs.LG cs.CL

Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift

基于几何适应的解释器:在分布偏移下字典基础可解释性的忠实性

Sungjun Lim, Heedong Kim, Andrew Lee, Kyungwoo Song

机构 * Yonsei University(延世大学) Harvard University(哈佛大学)

AI总结 本文提出了一种几何适应解释器(GAE),用于在分布偏移下提高基于字典的可解释性。通过重新对齐解释器的字典与偏移活跃子空间,同时保持原始特征结构,GAE在无监督的情况下减少了分布偏移下的忠实性差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.11679 2026-05-22 cs.AI

LLMs can construct powerful representations and streamline sample-efficient supervised learning

LLMs can construct powerful representations and streamline sample-efficient supervised learning

Ilker Demirel, Lawrence Shi, Zeshan Hussain, David Sontag

机构 * MIT(麻省理工学院) Harvard Medical School(哈佛医学院)

AI总结 本文提出了一种基于LLM的代理流程,通过生成全局 rubric 来提升多模态数据的表示能力,并在15个临床任务中显著优于传统方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.06503 2026-05-22 cs.AI q-bio.QM

An AI system to help scientists write expert-level empirical software

一种帮助科学家编写专家级经验软件的AI系统

Eser Aygün, Anastasiya Belyaeva, Gheorghe Comanici, Marc Coram, Hao Cui, Jake Garrison, Renee Johnston Anton Kast, Cory Y. McLean, Peter Norgaard, Zahra Shamsi, David Smalling, James Thompson, Subhashini Venugopalan, Brian P. Williams, Chujun He, Sarah Martinson, Martyna Plomecka, Lai Wei, Yuchen Zhou, Qian-Ze Zhu, Matthew Abraham, Erica Brand, Anna Bulanova, Jeffrey A. Cardille, Chris Co, Scott Ellsworth, Grace Joseph, Malcolm Kane, Ryan Krueger, Johan Kartiwa, Dan Liebling, Jan-Matthis Lueckmann, Paul Raccuglia, Xuefei, Wang, Katherine Chou, James Manyika, Yossi Matias, John C. Platt, Lizzie Dorfman, Shibl Mourad, Michael P. Brenner

机构 * Google DeepMind(谷歌DeepMind) Google Research(谷歌研究) Google Platforms and Devices(谷歌平台与设备) Massachusetts Institute of Technology(麻省理工学院) School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院)

AI总结 本文提出Empirical Research Assistance (ERA)系统,利用大型语言模型和树搜索技术,自动创建高质量的科学软件,以加速计算实验的开发,从而提高科研效率。

Comments 78 pages, 31 figures, 22 tables

详情

展开后加载摘要…

URL PDF HTML 收藏