arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Harvard University(哈佛大学)

2026-07-07 至 2026-07-07 共收录 13
2607.03660 2026-07-07 stat.ML cs.LG stat.CO 新提交

Sequential Correlations Change In-Context Learning: Effective Context Length and Architectural Mismatch

序列相关性改变上下文学习:有效上下文长度与架构失配

Mary Letey, Yue M. Lu, Cengiz Pehlevan, Jacob Zavatone-Veth

机构 * John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保罗森工程与应用科学学院) Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(哈佛大学自然与人工智能研究所) Society of Fellows and Center for Brain Science, Harvard University(哈佛大学 fellows 会与脑科学中心)

AI总结 针对现有ICL理论多聚焦独立样本提示的局限,研究序列关联数据下的ICL特性,基于线性注意力构建可解模型,发现关联提示会改变ICL有效样本量及最优适配注意力架构。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05339 2026-07-07 cs.LG cs.AI stat.ML 新提交

TREK: Distill to Explore, Reinforce to Refine

TREK:蒸馏以探索,强化以优化

Yuanda Xu, Zhengze Zhou, Kayhan Behdin, Jelena Markovic-Voronov, Hejian Sang, Xiaomin Li, Wenhui Zhu, Xinchen Du, Aida Rahmattalabi, Ran He, Sen Na, Zhipeng Wang, Alborz Geramifard

机构 * LinkedIn Corporation(领英公司) Harvard University(哈佛大学) Georgia Institute of Technology(佐治亚理工学院)

AI总结 针对GRPO在学生策略覆盖外的难提示样本上失效问题,提出TREK方法,通过蒸馏扩展探索空间再结合GRPO优化,在多推理与智能体任务上大幅提升模型性能。

Comments 18 pages, 3 figures, 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04631 2026-07-07 cs.AI 新提交

Formal Disco: Scalable Open-Ended Generation of Formally Verified Programs

形式化迪斯科:可扩展的形式化验证程序的开放式生成

Gabriel Poesia, Simon Henniger, Tzu-Han Hsu, Yilun Du, Nada Amin

机构 * Kempner Institute, Harvard University(坎普纳研究所,哈佛大学) School of Engineering and Applied Sciences, Harvard University(工程与应用科学学院,哈佛大学)

AI总结 针对生成程序质量保证落后及形式验证数据稀缺问题,提出Formal Disco分布式系统,协调三类工人,记录痕迹用于改进,提出最大熵原则,发布数据集并微调模型,为形式推理领域大规模创建合成数据。

Comments Code: https://github.com/metareflection/formal-disco Datasets: https://huggingface.co/collections/metareflection/formal-disco

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04112 2026-07-07 cs.LG cs.AI cs.CL cs.CV 新提交

DynaVieW: Schema-Guided World Modeling for Understanding Hierarchical Visual Dynamics

DynaVieW:用于理解分层视觉动态的模式引导世界建模

Silin Gao, Hao Zhao, Zeming Chen, Sepideh Mamooler, Antara Raaghavi Bhattacharya, Qiyu Wu, Hiromi Wakaki, Yuki Mitsufuji, Li Mi, Syrielle Montariol, Antoine Bosselut

机构 * EPFL, Switzerland(瑞士联邦理工学院) Harvard University(哈佛大学) Sony Group Corporation(索尼集团) ETH Zurich, Switzerland(瑞士苏黎世联邦理工学院)

AI总结 针对多模态语言模型难以系统建模视频视觉场景时间演变的问题,提出DynaVieW模型,通过学习交错状态转换序列理解视觉动态,在多架构下联合建模,提升下游视觉叙事创作等任务表现。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03502 2026-07-07 cs.CL cs.AI cs.LG 新提交

Reading Between the Dots: Decoding Hidden Computation across Filler Tokens

解读点之间的信息:解码跨填充令牌的隐藏计算

Kaley Brauer, Claudio Mayrink Verdun, Samuel Marks

机构 * Harvard University(哈佛大学) Cambridge Boston Alignment Initiative(剑桥波士顿对齐计划) Massachusetts Institute of Technology(麻省理工学院) Anthropic

AI总结 研究前沿语言模型对无内容填充令牌的隐藏计算,通过分析两个前沿模型在四个任务家族中的表现,介绍无监督解码管道,能从隐藏状态恢复中间值,证明隐藏计算可从残差流读取。

Comments Accepted to ICML 2026 Mech Interp Workshop, 10 main paper pages, 20 appendix pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02558 2026-07-07 cs.DC cs.LG 新提交

MLSYSIM: First-Principles Infrastructure Modeling for Machine Learning Systems

MLSYSIM:用于机器学习系统的第一性原理基础设施建模

Vijay Janapa Reddi

机构 * Harvard University(哈佛大学)

AI总结 研究机器学习系统基础设施建模问题,提出MLSYSIM框架,基于供需抽象,通过可组合模型和求解器,实现亚秒级设计空间探索,确定约束并合成硬件规格。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02531 2026-07-07 cs.CY cs.AI 新提交

The Hidden Water Geography of U.S. Hyperscale Data Centers in the AI Era

人工智能时代美国超大规模数据中心隐藏的水地理情况

Gianluca Guidi, Francesca Dominici

机构 * Harvard University(哈佛大学)

AI总结 研究美国超大规模数据中心用水路径,通过关联设施位置与电力区域等数据绘制472个设施的两种用水路径图,明确不同路径热点地理分布及占比,指出决策重点。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06857 2026-07-07 cs.CL 新提交

Interpreting Brain Responses to Language with Sparse Features from Language Models

用语言模型稀疏特征解释大脑对语言的响应

Michael A. Lepori, Kendrick Kay, Greta Tuckute

机构 * Brown University(布朗大学) University of Minnesota(明尼苏达大学) Harvard University(哈佛大学)

AI总结 提出增强稀疏编码模型,用分层稀疏自编码器特征替代密集LM隐状态,并加入惊奇度预测器,解释大脑语言皮层响应,发现前颞叶语言网络由共同特征预测,且大脑响应与LM中最通用的特征对应。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08678 2026-07-07 cs.LG 版本更新

MLS-Bench: A Holistic and Rigorous Assessment of AI Systems on Building Better AI

MLS-Bench:对构建更好AI的AI系统的全面且严格评估

Bohan Lyu, Yucheng Yang, Siqiao Huang, Jiaru Zhang, Qixin Xu, Xinghan Li, Xinyang Han, Yicheng Zhang, Huaqing Zhang, Runhan Huang, Kaicheng Yang, Zitao Chen, Wentao Guo, Junlin Yang, Xinyue Ai, Wenhao Chai, Yadi Cao, Ziran Yang, Kun Wang, Dapeng Jiang, Huan-ang Gao, Shange Tang, Chengshuai Shi, Simon S. Du, Max Simchowitz, Jiantao Jiao, Dawn Song, Chi Jin

机构 * UC Berkeley(伯克利大学) Princeton University(普林斯顿大学) Tsinghua University(清华大学) University of Washington(华盛顿大学) Purdue University(Purdue 大学) Harvard University(哈佛大学) University of Pennsylvania(宾夕法尼亚大学) Shanghai Jiao Tong University(上海交通大学) UC San Diego(圣地亚哥大学) Carnegie Mellon University(卡内基梅隆大学)

AI总结 提出MLS-Bench基准,包含12个领域140个任务,评估AI系统能否发明通用且可扩展的机器学习方法,发现当前智能体在方法发明上仍远逊于人类,瓶颈在于科学洞察而非单纯搜索或计算。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.09544 2026-07-07 cs.CL cs.AI cs.LG 版本更新

Large Language Models Generate Harmful Responses Using a Distinct Mechanism, Shared Across Harm Types

大语言模型通过一种独特的统一机制生成有害内容

Hadas Orgad, Boyi Wei, Kaden Zheng, Martin Wattenberg, Peter Henderson, Seraphina Goldfarb-Tarrant, Yonatan Belinkov

机构 * Kempner Institute, Harvard University(哈佛大学肯普纳研究所) Princeton University(普林斯顿大学) Harvard University(哈佛大学) Cohere Technion—IIT(以色列理工学院)

AI总结 研究通过权重剪枝揭示大语言模型中有害生成的内部结构,发现有害内容生成依赖于一组通用且与良性能力不同的权重,表明对齐训练重塑了有害表示,解释了领域微调引发的广泛对齐偏差。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.05060 2026-07-07 cs.LG cs.IT math.IT 版本更新

Asymptotic Behavior of Multi--Task Learning: Implicit Regularization and Double Descent Effects

多任务学习的渐近行为:隐式正则化和双重下降效应

Ayed M. Alrashdi, Oussama Dhifallah, Houssem Sifaou

机构 * Department of Electrical Engineering, College of Engineering, University of Ha’il(胡赛尔大学电气工程系,工程学院) John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保罗森工程与应用科学学院) Department of Electrical and Electronic Engineering, King’s College London – Strand(伦敦国王学院-街分校电气与电子工程系)

AI总结 研究多任务学习中通过利用相关任务共享信息改进泛化误差,对一种多任务公式进行渐近分析,确定多任务结合受益原因,还实证研究其对泛化误差影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.10650 2026-07-07 q-bio.NC cs.CG cs.LG 版本更新

On a Geometry of Interbrain Networks

关于脑间网络的一种几何结构

Nicolás Hinrichs, Noah Guzmán, Melanie Weber

机构 * Max Planck Institute for Human Cognitive and Brain Sciences(人类认知与脑科学研究所) Okinawa Institute of Science and Technology(冲绳科学和技术研究所) Harvard University(哈佛大学)

AI总结 受网络科学中几何见解成功整合启发,提出利用离散几何研究社交互动中神经交互动态重构,通过熵指标识别网络连通性关键转变,增强超扫描方法揭示神经机制的能力。

Comments 4 pages, 1 figure, 2 appendixes, accepted NeurIPS 2025 Workshop on Symmetry and Geometry in Neural Representations (NeurReps) and the Proceedings of the Geometry, Topology, and Machine Learning Workshop, PMLR 325:145-152

详情

展开后加载摘要…

URL PDF HTML 收藏
2312.15320 2026-07-07 q-bio.QM cs.CV cs.LG cs.MM q-bio.GN 版本更新

GestaltMML: Enhancing Rare Genetic Disease Diagnosis through Multimodal Machine Learning Combining Facial Images and Clinical Text

GestaltMML:通过结合面部图像和临床文本的多模态机器学习增强罕见遗传病诊断

Da Wu, Zhanliang Wang, Hongzhuo Chen, Jingye Yang, Cong Liu, Tzung-Chien Hsieh, Elaine Marchi, Justin Blair, Peter Krawitz, Chunhua Weng, Wendy Chung, Gholson J. Lyon, Ian D. Krantz, Jennifer M. Kalish, Kai Wang

机构 * Raymond G. Perelman Center for Cellular and Molecular Therapeutics, Children’s Hospital of Philadelphia(雷蒙德·G·佩尔曼细胞与分子治疗中心,费城儿童医院) Department of Mathematics, University of Pennsylvania(数学系,宾夕法尼亚大学) Department of Biomedical Informatics, Columbia University Irving Medical Center(生物医学信息学系,哥伦比亚大学伊万斯医疗中心) Department of Human Genetics, New York State Institute for Basic Research in Developmental Disabilities, Staten Island, NY, USA(人类遗传学系,纽约州发育障碍基础研究机构,纽约州史泰登岛) Division of Human Genetics, Children’s Hospital of Philadelphia(人类遗传学部,费城儿童医院) Department of Pediatrics, Boston Children’s Hospital, Harvard Medical School(儿科系,波士顿儿童医院,哈佛医学院) Biology PhD Program, The Graduate Center, The City University of New York(生物学博士项目,纽约市立大学研究生中心) Department of Genetics, Perelman School of Medicine, University of Pennsylvania(遗传学系,宾夕法尼亚大学佩尔曼医学学院) Department of Pediatrics, Perelman School of Medicine, University of Pennsylvania(儿科系,宾夕法尼亚大学佩尔曼医学学院) Department of Pathology and Laboratory Medicine, Perelman School of Medicine, University of Pennsylvania(病理学与实验室医学系,宾夕法尼亚大学佩尔曼医学学院)

AI总结 研究针对罕见遗传病诊断难题,提出基于Transformer架构的多模态机器学习方法GestaltMML,整合面部图像、人口统计学信息和临床笔记,提升预测准确性,缩小诊断差距。

Comments Preprint updated

详情

展开后加载摘要…

URL PDF HTML 收藏