arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Columbia University(哥伦比亚大学)

2026-05-12 至 2026-05-12 共收录 19
2605.10706 2026-05-12 cs.LG

RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings

RelFlexformer: 高效的注意力3D-Transformer用于可积分的相对位置编码

Byeongchan Kim, Arijit Sehanobish, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

机构 * Seoul National University(首尔国立大学) Independent(独立) Google Research(谷歌研究) Google DeepMind(谷歌DeepMind) Columbia University(哥伦比亚大学)

AI总结 RelFlexformer引入了基于任意可积分调制函数f的通用3D相对位置编码方法,实现O(L log L)复杂度的高效注意力计算,适用于非结构化异质场景中的点云建模。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.04289 2026-05-12 cs.LG q-bio.NC

Relational reasoning and inductive bias in transformers and large language models

变换器中的关系推理与归纳偏置

Jesse Geerts, Andrew Liu, Stephanie Chan, Claudia Clopath, Kimberly Stachenfeld

机构 * Imperial College London(帝国理工学院伦敦分校) Google(谷歌) DeepMind(深度Mind) Columbia University(哥伦比亚大学)

AI总结 本文研究了变换器和大语言模型在关系推理中的表现,比较了基于权重学习和上下文学习的机制,发现基于权重学习的模型能进行传递推理,而基于上下文学习的模型则依赖训练数据进行传递推理,预训练可使上下文学习模型更接近权重学习模型。

Comments 15 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09867 2026-05-12 cs.LG cs.AI

Continuous Latent Contexts Enable Efficient Online Learning in Transformers

连续潜在上下文使Transformer实现高效的在线学习

Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia

机构 * Georgia Institute of Technology(佐治亚理工学院) University of California, Berkeley(加州大学伯克利分校) Columbia University(哥伦比亚大学)

AI总结 本文研究连续潜在上下文是否能提升Transformer的在线学习能力,通过构造常深Transformer实现加权多数算法和Q学习,并在合成数据上优于大模型。

Comments 37 pages, 15 figures, 3 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09765 2026-05-12 cs.LG cs.AI

WISTERIA: Learning Clinical Representations from Noisy Supervision via Multi-View Consistency in Electronic Health Records

WISTERIA:通过电子健康记录中的多视图一致性学习临床表示

Ruan Dong, Yuanyun Zhang, Shi Li

机构 * University of Science and Technology of China(中国科学技术大学) Columbia University(哥伦比亚大学)

AI总结 WISTERIA通过多视图一致性学习电子健康记录中的临床表示,利用弱监督学习框架,改进预测性能并增强对标签噪声的鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09760 2026-05-12 cs.CL

ConFit v3: Improving Resume-Job Matching with LLM-based Re-Ranking

ConFit v3:通过基于LLM的重排序提升简历-岗位匹配

Xiao Yu, Ruize Xu, Chengyuan Xue, Junyu Chen, Matthew So, Shijun Ma, Bo Liu, Xiangye Liang, Zhou Yu

机构 * Columbia University(哥伦比亚大学) John Hopkins University(约翰霍普金斯大学) Intellipro Group Inc.(Intellipro集团)

AI总结 本文提出ConFit v3,通过改进重排序算法和数据处理方法,提升简历与岗位匹配的准确性,优于现有最佳系统和大型语言模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09610 2026-05-12 cs.MA cs.AI cs.CE cs.LG cs.PL cs.SE

SmartEval: A Benchmark for Evaluating LLM-Generated Smart Contracts from Natural Language Specifications

SmartEval:一个评估从自然语言规范生成的LLM智能合约质量的基准

Abhinav Goel, Agostino Capponi, Alfio Gliozzo, Chaitya Shah

机构 * Columbia University(哥伦比亚大学) IBM T.J. Watson Research Center(IBM T.J. Watson研究院)

AI总结 SmartEval通过9000个生成合约与专家编写的真实实现,结合五维评估标准,验证LLM生成智能合约的质量,并发现逻辑遗漏、状态转换错误等典型故障模式,展示了生成合约在综合评分上比真实实现高出8.29分。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09511 2026-05-12 cs.AI

WindINR: Latent-State INR for Fast Local Wind Query and Correction in Complex Terrain

WindINR: 隐式神经表示的潜在状态用于复杂地形中快速局部风查询与修正

Yi Xiao, Qilong Jia, Hang Fan, Pascal Fua, Robert Jenssen, Xiaosong Ma, Wei Xue

机构 * Tsinghua University(清华大学) MBZUAI Columbia University(哥伦比亚大学) EPFL(苏黎世联邦理工学院) The Arctic University of Norway(挪威北极大学)

AI总结 WindINR通过隐式神经表示框架实现复杂地形中高分辨率局部风查询和稀疏观测修正,利用潜在状态解码器提升查询效率,实现快速修正和高精度风力预测。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09360 2026-05-12 cs.LG cs.AI cs.CL cs.SE

Your Simulation Runs but Solves the Wrong Physics: PDE-Grounded Intent Verification for LLM-Generated Multiphysics Simulation Code

你的模拟运行但解错了物理:基于PDE的意图验证用于LLM生成的多物理场模拟代码

Zhenghan Song, Yulong Liu, Cheng Wan, Chenjun Li, Lingfu Liu, Yunyi Li, Congcong Yuan

机构 * Cornell University(康奈尔大学) Columbia University(哥伦比亚大学) Harvard University(哈佛大学) Nanyang Technological University(南洋理工大学)

AI总结 本文提出基于PDE的意图验证方法,用于检查LLM生成的多物理场模拟代码是否符合预期物理,通过确定性重构和比较PDE结构提升代码的意图保真度。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.21671 2026-05-12 cs.LG q-bio.NC

Neuroprobe: Evaluating Intracranial Brain Responses to Naturalistic Stimuli

Neuroprobe:评估自然刺激下的颅内脑响应

Andrii Zahorodnii, Christopher Wang, Geeling Chau, Bennett Stankovits, Charikleia Moraitaki, Eli Gross, Alexander Brady, Andrei Barbu, Boris Katz, Ila R Fiete

机构 * MIT CSAIL, CBMM(MIT CSAIL,CBMM) MIT McGovern Institute(MIT McGovern研究所) Caltech(加州理工学院) Columbia University(哥伦比亚大学) ETH Zurich(苏黎世联邦理工学院)

AI总结 Neuroprobe通过高分辨率颅内EEG数据研究多模态语言处理,提供评估框架比较不同模型架构,揭示语言处理在大脑中的时间与空间动态。

Comments 38 pages, 7 main figures, 16 supplementary figures, 13 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.09216 2026-05-12 cs.RO

Continuum Robot Modeling with Action Conditioned Flow Matching

连续机器人建模与动作条件流匹配

Jiong Lin, Jinchen Ruan, Hod Lipson

机构 * Department of Mechanical Engineering, Columbia University(哥伦比亚大学机械工程系)

AI总结 本文提出基于动作条件的连续机器人自建模方法,通过轻量3D打印平台和RGB-D数据采集管道,学习点云流匹配模型,实现电机驱动连续机器人(TDCR)在稳态下的几何预测,实验验证了其在CD和EMD指标下的精度提升。

Comments 14 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08837 2026-05-12 cs.CL cs.AI

The Grounding Gap: How LLMs Anchor the Meaning of Abstract Concepts Differently from Humans

概念基础差距:LLMs如何以不同于人类的方式锚定抽象概念的含义

Odysseas S. Chlapanis, Orfeas Menis Mastromichalakis, Christos H. Papadimitriou

机构 * Department of Informatics(信息学院) Athens University of Economics and Business(雅典经济与商业大学) Archimedes, Athena Research Center(阿基米德·雅典研究中心) Instituto de Telecomunicações(电信研究所) Department of Computer Science(计算机科学系) Columbia University(哥伦比亚大学)

AI总结 研究比较了LLMs与人类对抽象概念的锚定方式,发现LLMs过度依赖词关联,缺乏情感和内部状态属性,导致基础差距显著。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08685 2026-05-12 cs.LG cs.AI

Event Fields: Learning Latent Event Structure for Waveform Foundation Models

事件场:学习隐式事件结构用于波形基础模型

Li Na, Yuanyun Zhang, Shi Li

机构 * University of Science and Technology of China(中国科学技术大学) Columbia University(哥伦比亚大学)

AI总结 本文提出一种新的波形基础模型,通过将生理时间序列建模为隐式事件过程的实现,而非传统序列表示。该方法通过自监督学习框架,促使波形的随机分割和时间频率投影之间的一致性,提升模型对信号扰动的鲁棒性并保持事件层面的组织结构。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08605 2026-05-12 cs.LG cs.AI cs.LO

Lattice Deduction Transformers

格点推演变换器

Liam Davis, Leopold Haller, Alberto Alfarano, Mark Santolucito

机构 * Amherst College(阿默斯特学院) Axiom Barnard College, Columbia University(哥伦比亚大学巴纳德学院)

AI总结 本文提出LDT,一种递归变换器,通过在正向传递间的格点投影近似逻辑严谨的推演。LDT在Sudoku-Extreme和Snowflake Sudoku上达到100%准确率,且训练成本远低于先前的小型递归推理器。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01532 2026-05-12 cs.AI

PHMForge: Evaluating LLM Agents on Industrial Prognostics through MCP-Native, Algorithm-Grounded Tools

PHMForge:通过MCP原生、算法基础的工具评估LLM代理在工业预测维护中的表现

Tianjun Feng, Yunfeng Chen, Chun-Yi Tsai, Yihan Sun, Ayan Das, Kaoutar El Maghraoui, Shuxin Lin, Dhaval Patel

机构 * Columbia University(哥伦比亚大学) Georgia Institute of Technology(佐治亚理工学院) IBM, New York(IBM,纽约)

AI总结 PHMForge通过MCP原生工具评估LLM代理在工业预测维护中的可靠性,揭示了静态检索在预测计算中的局限性,展示了不同框架和模型的表现差异。

Comments 23 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.01442 2026-05-12 cs.LG cs.AI cs.CL

Hidden Heroes and Gradient Bloats: Layer-Wise Redundancy Inverts Attribution in Transformers

隐性英雄与梯度膨胀:层间冗余在Transformer中的反向归因

Donald Ye

机构 * Department of Computer Science, Fu Foundation School of Engineering and Applied Science, Columbia University, New York, NY, USA(计算机科学系,工程与应用科学基金会学院,哥伦比亚大学,纽约,纽约州,美国)

AI总结 研究揭示Transformer中梯度归因方法在层间冗余下的系统性失效,早期层的梯度膨胀被高估,晚期层的隐性英雄被低估,导致归因可靠性下降。

Comments 9 pages, 6 figures, under review at ICML 2026 Workshop on Mechanistic Interpretability

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.00834 2026-05-12 cs.LG cs.AI stat.ML

A Minimum Variance Path Principle for Accurate and Stable Score-Based Density Ratio Estimation

用于准确且稳定分数基密度比估计的最小方差路径原理

Wei Chen, Jiacheng Li, Shigui Li, Zhiqi Lin, Junmei Yang, John Paisley, Delu Zeng

机构 * School of Mathematics, South China University of Technology(华南理工大学数学学院) School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院) School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院) Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系) Department of Electrical and Computer Engineering, University of Waterloo(滑铁卢大学电气与计算机工程系)

AI总结 本文提出最小方差路径原理,通过减少路径方差提升分数基密度比估计的准确性与稳定性,基于Kumaraswamy混合模型实现数据自适应路径学习。

Journal ref The Fourteenth International Conference on Learning Representations,2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.26574 2026-05-12 cs.AI cond-mat.other cs.CL hep-th quant-ph

Probing the Critical Point (CritPt) of AI Reasoning: a Frontier Physics Research Benchmark

探测人工智能推理的临界点(CritPt):一个前沿物理研究基准

Minhui Zhu, Minyang Tian, Xiaocheng Yang, Tianci Zhou, Lifan Yuan, Penghao Zhu, Eli Chertkov, Shengyan Liu, Yufeng Du, Ziming Ji, Indranil Das, Qingzhi Chen, Junyi Cao, Yufeng Du, Jiabin Yu, Peixue Wu, Jinchen He, Yifan Su, Yikun Jiang, Yujie Zhang, Chang Liu, Ze-Min Huang, Weizhen Jia, Yunkai Wang, Farshid Jafarpour, Yong Zhao, Xinan Chen, Jessie Shelton, Aaron W. Young, John Bartolotta, Wenchao Xu, Yue Sun, Anjun Chu, Victor Colussi, Chris Akers, Nathan Brooks, Wenbo Fu, Jinchao Zhao, Marvin Qi, Anqi Mu, Yubo Yang, Allen Zang, Yang Lyu, Peizhi Mai, Christopher Wilson, Xuefei Guo, Juntai Zhou, Daniel Inafuku, Chi Xue, Luyu Gao, Ze Yang, Yaïr Hein, Yonatan Kahn, Kevin Zhou, Di Luo, John Drew Wilson, Jarrod T. Reilly, Dmytro Bandak, Ofir Press, Liang Yang, Xueying Wang, Hao Tong, Nicolas Chia, Eliu Huerta, Hao Peng

机构 * Argonne National Laboratory(阿贡国家实验室) University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Virginia Tech(弗吉尼亚理工大学) Ohio State University(俄亥俄州立大学) Independent(独立) Northeastern University(东北大学) Caltech(加州理工学院) University of Florida(佛罗里达大学) University of Waterloo(滑铁卢大学) University of Maryland, College Park(马里兰大学学院公园分校) Columbia University(哥伦比亚大学) Perimeter Institute for Theoretical Physics(理论物理研究所) University of Connecticut(康涅狄格大学) University of Cologne(科隆大学) The Chinese University of Hong Kong(香港中文大学) Utrecht University(乌得勒支大学) Harvard University(哈佛大学) ETH Zürich(苏黎世联邦理工学院) Paul Scherrer Institute(保罗·谢尔研究所)

AI总结 本文提出CritPt基准,用于测试LLM在未发表的科研级推理任务中的能力,涵盖现代物理多个领域,发现当前LLM在复杂科研挑战中表现有限,仅能实现5.7%的准确率。

Comments 40 pages, 6 figures, 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08441 2026-05-12 cs.LG cs.AI

DUET: Optimize Token-Budget Allocation for Reinforcement Learning with Verifiable Rewards

DUET:基于可验证奖励的强化学习中优化令牌预算分配

Haoyu Hu, Xuandong Zhao, Xuhai "Orson'' Xu, Nori Jacoby

机构 * Cornell University(康奈尔大学) University of California, Berkeley(加州大学伯克利分校) Columbia University(哥伦比亚大学)

AI总结 DUET通过联合调整令牌预算分配的两个维度,提升强化学习的推理质量和训练效率,同时在多个基准测试中表现优异,且在预算减少时性能优势扩大。

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.06044 2026-05-12 stat.ML cs.LG

Differentially Private Hyperparameter Tuning using Local Bayesian Optimization

基于局部贝叶斯优化的差分隐私超参数调优

Getoar Sopa, Juraj Marusic, Marco Avella Medina, John P. Cunningham

机构 * Department of Statistics Columbia University(统计学系哥伦比亚大学)

AI总结 本文提出DP-GIBO框架,通过高斯过程代理私密近似梯度,实现高维空间下的差分隐私超参数调优,优于非隐私随机搜索和全局贝叶斯优化方法。

Comments 26 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏