arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Columbia University(哥伦比亚大学)

2026-05-19 至 2026-05-19 共收录 19
2603.07900 2026-05-19 cs.AI

EveryQuery: Zero-Shot Clinical Prediction via Task-Conditioned Pretraining over Electronic Health Records

EveryQuery: 通过电子健康记录上的任务条件预训练实现零样本临床预测

Payal Chandak, Gregory Kondas, Liat Antwarg Friedman, Isaac Kohane, Matthew McDermott

机构 * Harvard-MIT HST(哈佛-麻省理工学院HST) Columbia University(哥伦比亚大学) Harvard Medical School(哈佛医学院)

AI总结 本文提出EveryQuery,一种通过任务条件预训练实现零样本临床预测的电子健康记录基础模型,通过直接估计未来窗口内结果发生的可能性,而非生成未来事件,从而在多个预测任务中优于自回归基线模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.12703 2026-05-19 cs.LG

SWING: Unlocking Implicit Graph Representations for Graph Random Features

SWING: 解锁隐式图表示用于图随机特征

Alessandro Manenti, Avinava Dubey, Arijit Sehanobish, Cesare Alippi, Krzysztof Choromanski

机构 * Google Research(谷歌研究) Independent Researcher(独立研究者) Google DeepMind(谷歌DeepMind) Columbia University(哥伦比亚大学)

AI总结 SWING通过在连续空间中进行行走而非在图节点上进行行走,实现了对隐式图表示(i-graphs)中图随机特征的高效计算,其核心方法是结合随机特征和重要性采样技术的定制Gumbel-softmax采样机制,从而在不需显式图结构的情况下,提高了计算效率和精度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.03797 2026-05-19 cs.LG

Manifold Random Features

流形随机特征

Ananya Parashar, Derek Long, Dwaipayan Saha, Krzysztof Choromanski

机构 * Department of Industrial Engineering and Operations Research(工业工程与运筹学系) Columbia University(哥伦比亚大学) Google DeepMind(谷歌DeepMind)

AI总结 本文提出了一种新的方法,通过离散化流形和最近引入的图随机特征(GRFs)技术,学习流形上的连续场,从而近似一般流形上定义的双变量函数(特别是核函数)。该方法提供了正且有界的特征,对于准确且低方差的近似至关重要。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.17887 2026-05-19 cs.LG cs.AI

Attention Sinks and Outliers in Attention Residuals

注意力沉底与注意力残差中的异常值

Haozheng Luo, Haoran Dai, Shaoyang Zhang, Xi Chen, Eric Hanchen Jiang, Yijiang Li, Jingyuan Huang, Chenghao Qiu, Chenwei Xu, Zhenyu Pan, Haotian Zhang, Binghui Wang, Yan Chen

机构 * Department of Computer Science, Northwestern University(西北大学计算机科学系) Department of Computer Science and Engineering, University of Michigan(密歇根大学计算机科学与工程系) Department of Statistics and Data Science, University of California Los Angeles(加州大学洛杉矶分校统计与数据科学系) Department of Electrical and Computer Engineering, University of California San Diego(加州圣地亚哥大学电气与计算机工程系) Department of Computer Science, Rutgers University-New Brunswick(新泽西州立大学鲁特学院计算机科学系) Department of Computer Science and Engineering, Texas A&M University(德克萨斯农工大学计算机科学与工程系) Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)

AI总结 本文提出OASIS技术,通过层间空信号来解决注意力残差架构中注意力沉底、激活异常值以及推理稳定性下降的问题,通过双归一化设计和实验验证提升了模型的结构鲁棒性和量化鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.17765 2026-05-19 cs.LG

AURORA: Contextual Orthogonalization for Geometric Representation Learning in Healthcare Foundation Models

AURORA:用于医疗基础模型中几何表示学习的上下文正交化

Yuanyun Zhang, Shi Li

机构 * University of the Chinese Academy of Sciences(中国科学院大学) Columbia University(哥伦比亚大学)

AI总结 本文提出AURORA框架,通过上下文潜在几何进行正交化,以解决医疗基础模型中潜在表示的语义模糊和上下文变化不稳定性问题,提升了模型在不同机构分布变化下的鲁棒性和预测性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.16990 2026-05-19 cs.AI cs.CE

Conv-FinRe: A Conversational and Longitudinal Benchmark for Utility-Grounded Financial Recommendation

Conv-FinRe:一种用于实用导向财务推荐的对话和纵向基准

Yan Wang, Yi Han, Lingfei Qian, Yueru He, Xueqing Peng, Dongji Feng, Zhuohan Xie, Vincent Jim Zhang, Rosie Guo, Fengran Mo, Jimin Huang, Yankai Chen, Xue Liu, Jian-Yun Nie

机构 * Georgia Institute of Technology(佐治亚理工学院) Columbia University(哥伦比亚大学) California State University(加州州立大学) University of Montreal(蒙特利尔大学) The University of Manchester(曼彻斯特大学) McGill University(麦吉尔大学)

AI总结 本研究提出Conv-FinRe基准,用于评估金融推荐模型在对话和长期视角下的实用性,通过多视角参考区分描述性行为与基于投资者风险偏好的规范性效用,揭示理性决策与行为一致性的张力。

Comments Accepted by SIGIR 2026 Resource Track. Pre-camera-ready version

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.16609 2026-05-19 cs.LG cs.AI cs.CC cs.DS

Prior Knowledge Makes It Possible: From Sublinear Graph Algorithms to LLM Test-Time Methods

先验知识使其成为可能:从次线性图算法到LLM测试时方法

Avrim Blum, Daniel Hsu, Cyrus Rashtchian, Donya Saless

机构 * Toyota Technological Institute at Chicago(芝加哥丰田技术研究所) Columbia University(哥伦比亚大学) Google Research(谷歌研究)

AI总结 本文研究了测试时增强方法中先验知识与外部信息交互的理论基础,通过将多步推理建模为知识图中的s-t连通性问题,揭示了在部分先验知识下,测试时增强步骤数量与图结构之间的关系,发现当知识图中存在小组件时,增强步骤数呈平方根增长,而当知识密度超过阈值形成大组件时,增强步骤数趋于常数。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.08886 2026-05-19 cs.CL cs.CE cs.IR

FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs

FinAuditing: 一个基于财务分类结构的多文档基准,用于评估LLMs

Yan Wang, Keyi Wang, Shanshan Yang, Jaisal Patel, Jeff Zhao, Fengran Mo, Xueqing Peng, Lingfei Qian, Yankai Chen, Víctor Gutiérrez-Basulto, Jimin Huang, Guojun Xiong, Xiao-Yang Liu, Xue Liu, Jian-Yun Nie

机构 * Columbia University(哥伦比亚大学) Stevens Institute of Technology(史蒂文斯理工学院) Rensselaer Polytechnic Institute(拉特格斯理工学院) University of Montreal(蒙特利尔大学) McGill University(麦吉尔大学) MBZUAI(麦吉尔大学人工智能研究所) Cardiff University(卡迪夫大学) The University of Manchester(曼彻斯特大学) Harvard University(哈佛大学)

AI总结 本文提出FinAuditing,一个基于财务分类结构的多文档基准,用于评估大型语言模型在财务审计任务中的能力,通过三个任务:财务语义匹配、财务关系提取和财务数学推理,揭示了现有LLMs在概念检索、分类感知关系建模和跨文档一致性推理方面的显著差距。

Comments Accepted by SIGIR 2026 Resource Track. Pre-camera-ready version

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.05606 2026-05-19 cs.CL cs.HC

OPeRA: A Dataset of Observation, Persona, Rationale, and Action for Evaluating LLMs on Human Online Shopping Behavior Simulation

OPeRA: 一个用于评估LLM在模拟人类在线购物行为上的表现的观察、人设、推理和行动数据集

Ziyi Wang, Yuxuan Lu, Wenbo Li, Amirali Amini, Bo Sun, Yakov Bart, Weimin Lyu, Jiri Gesi, Tian Wang, Jing Huang, Yu Su, Upol Ehsan, Malihe Alikhani, Toby Jia-Jun Li, Lydia Chilton, Dakuo Wang

机构 * Northeastern University(东北大学) University of Southern California(南加州大学) Stony Brook University(石溪大学) Independent Researcher(独立研究者) Ohio State University(俄亥俄州立大学) University of Notre Dame(Notre Dame 大学) Columbia University(哥伦比亚大学)

AI总结 本文提出OPeRA数据集,用于评估LLM在模拟人类在线购物行为上的能力,通过收集真实用户在在线购物会话中的观察、人设、推理和行动,建立首个评估LLM预测特定用户下一步行动和推理的基准。

Comments ACL 2026 main

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.20650 2026-05-19 cs.CL cs.AI cs.CE

FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information

FinTagging: 评估LLM提取和结构化财务信息

Yan Wang, Lingfei Qian, Xueqing Peng, Yang Ren, Keyi Wang, Yi Han, Dongji Feng, Fengran Mo, Shengyuan Lin, Qinchuan Zhang, Kaiwen He, Chenri Luo, Jianxing Chen, Junwei Wu, Chen Xu, Ziyang Xu, Jimin Huang, Guojun Xiong, Xiao-Yang Liu, Qianqian Xie, Jian-Yun Nie

机构 * Georgia Institute of Technology(佐治亚理工学院) Columbia University(哥伦比亚大学) California State University(加州州立大学) University of Montreal(蒙特利尔大学) Carnegie Mellon University(卡内基梅隆大学) Rensselaer Polytechnic Institute(莱斯利理工学院) The University of Manchester(曼彻斯特大学) Harvard University(哈佛大学)

AI总结 本文提出FinTagging基准,用于评估LLM在提取和结构化财务信息方面的能力,通过分解为FinNI和FinCL两个子任务,揭示了LLM在细粒度概念链接上的局限性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.07347 2026-05-19 stat.ML cs.LG math.PR

Throughput-Optimal Scheduling Algorithms for LLM Inference and AI Agents

面向LLM推理和AI代理的吞吐量最优调度算法

J. G. Dai, Tianze Deng, Yueying Li, Tianyi Peng

机构 * School of Operations Research and Information Engineering, Cornell University(Cornell大学运筹学与信息工程学院) Operations Management, Booth School of Business, University of Chicago(芝加哥大学博斯商学院运营管理系) Decision, Risk and Operations, Columbia Business School, Columbia University(哥伦比亚大学哥伦比亚商学院决策、风险与运营系)

AI总结 本文从排队论角度研究了LLM推理系统的吞吐量优化问题,证明了工作保持调度算法在DAG和Fork-Join路由拓扑中能实现最大吞吐量,并揭示了批量处理网络中K-FCFS调度的流极限框架,评估了Orca和Sarathi-Serve的吞吐量最优性,同时指出批量大小限制和循环路由拓扑对吞吐量的影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.07005 2026-05-19 cs.DS cs.LG

Equivalence of Coarse and Fine-Grained Models for Learning with Distribution Shift

粗粒度与细粒度模型在存在分布偏移学习中的等价性

Adam R. Klivans, Shyamal Patel, Konstantinos Stavropoulos, Arsen Vasilyan

机构 * UT Austin(得克萨斯大学) Columbia University(哥伦比亚大学)

AI总结 本文探讨了在无分布假设下,粗粒度与细粒度学习模型的等价性,证明了通过黑盒减少将PQ学习转换为TDS学习的效率,并展示了通过成员查询可绕过硬度结果,实现半空间的分布自由PQ可学习性。

Comments 26 pages, Accepted to COLT 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.23638 2026-05-19 cs.AI

Can LLM Agents Be CFOs? Benchmarking Long-Horizon Resource Allocation in an Uncertain Enterprise Environment

LLM代理能成为CFO吗?在不确定的企业环境中评估长期资源分配

Yi Han, Yan Wang, Lingfei Qian, Haohang Li, Yupeng Cao, Yueru He, Xueqing Peng, Nanhan Shen, Yitao Xu, Yankai Chen, Dongji Feng, Jimin Huang, Xue Liu, Jian-Yun Nie, Sophia Ananiadou

机构 * Georgia Institute of Technology(佐治亚理工学院) The Fin AI Stevens Institute of Technology(史蒂文斯理工学院) Columbia University(哥伦比亚大学) George Mason University(乔治·马歇尔大学) McGill University(麦吉尔大学) Mohamed bin Zayed University of Artificial Intelligence(莫扎大学人工智能学院) California State University, Monterey Bay(加州州立大学蒙特雷湾分校) University of Manchester(曼彻斯特大学) Mila – Quebec Artificial Intelligence Institute(魁北克人工智能研究所) Université de Montréal(蒙特利尔大学)

AI总结 本文通过EnterpriseArena模拟器评估LLM在不确定环境下的长期资源分配能力,发现现有模型在复杂任务中表现不足,仅15.4%的试验能持续完整周期。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.23752 2026-05-19 cs.LG cs.AI

Geometric Scaling of Bayesian Inference in LLMs

贝叶斯推断在大语言模型中的几何特性

Naman Agarwal, Siddhartha R. Dalal, Vishal Misra

机构 * Columbia University(哥伦比亚大学) Columbia University School of Professional Studies(哥伦比亚大学专业研究学院) Department of Statistics(统计学系) Columbia University Department of Computer Science(哥伦比亚大学计算机科学系)

AI总结 研究发现大语言模型中存在几何结构,用于编码后验结构,通过干预实验表明该结构是不确定性的重要读取而非单一计算瓶颈。

Comments v2: Extend cross-architecture analysis with Qwen2.5 and DeepSeek (MLA) families; add SULA and RoPE-channel results; document MLA boundary case (DeepSeek-V2-Lite: substrate preserved, dynamic routing absent); add dual-entropy framework at scale; fix duplicate bibliography entries

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.22473 2026-05-19 stat.ML cs.AI cs.LG

Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds

注意力的梯度动力学:交叉熵如何塑造贝叶斯流形

Naman Agarwal, Siddhartha R. Dalal, Vishal Misra

机构 * Columbia University(哥伦比亚大学) Columbia University School of Professional Studies(哥伦比亚大学专业研究学院) Department of Statistics(统计学系) Columbia University Department of Computer Science(哥伦比亚大学计算机科学系)

AI总结 研究通过分析交叉熵训练如何重塑Transformer注意力分数和值向量,揭示了注意力评分的优势路由定律和值的职责加权更新,展示了梯度动力学如何塑造贝叶斯流形以支持概率推理。

Comments v2: Add dual-entropy connection - advantage signal drives \r{ho} down; fix duplicate bibliography entries (synced from Paper I)

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.22471 2026-05-19 cs.LG cs.AI stat.ML

The Bayesian Geometry of Transformer Attention

Transformer 注意力的贝叶斯几何

Naman Agarwal, Siddhartha R. Dalal, Vishal Misra

机构 * Columbia University(哥伦比亚大学) Columbia University School of Professional Studies(哥伦比亚大学专业研究学院) Department of Statistics(统计学系) Columbia University Department of Computer Science(哥伦比亚大学计算机科学系)

AI总结 本文通过构建贝叶斯风道,验证了Transformer在上下文中的贝叶斯推理能力,发现其通过几何机制实现后验更新与路由,揭示了注意力机制的必要性及扁平架构的不足。

Comments v2: Add dual-entropy measurement framework (H_I, H_P, \r{ho} = H_P/H_I); incorporate Overleaf revisions; fix duplicate bibliography entries (akyurek mashup; openai title; legacy aliases removed)

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.04006 2026-05-19 cs.LG nlin.CD physics.ao-ph

Learning more physically realistic dynamics in machine-learning based weather forecasting with latent-space constraints

在基于机器学习的天气预报中通过隐空间约束学习更符合物理现实的动力学

Hang Fan, Yi Xiao, Yongquan Qu, Juan Nathaniel, Fenghua Ling, Ben Fei, Lei Bai, Pierre Gentine

机构 * Department of Earth and Environmental Engineering, Columbia University(哥伦比亚大学地球与环境工程系) Learning the Earth with Artificial Intelligence and Physics (LEAP) Center, Columbia University(人工智能与物理联合地球学习中心(LEAP), 哥伦比亚大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) The Chinese University of Hong Kong(香港中文大学) Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)

AI总结 本文提出通过隐空间约束改进天气预报模型,以捕捉多变量依赖关系,提升长期预报能力并保持物理真实性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.16573 2026-05-19 cs.LG cs.AI physics.flu-dyn

Wavelet Flow Matching for Multi-Scale Physics Emulation

小波流匹配用于多尺度物理模拟

Gabriele Accarino, Juan Nathaniel, Carla Roesch, Pierre Gentine, Sara Shamekh, Duncan Watson-Parris, Viviana Acquaviva

机构 * Department of Earth and Environmental Engineering(地球与环境工程系) Columbia University(哥伦比亚大学) University of Edinburgh(爱丁堡大学) Courant Institute of Mathematical Sciences(数学科学学院) New York University(纽约大学) Scripps Institution of Oceanography(斯克里普斯海洋研究所) Halıcıoğlu Data Science Institute(哈利奇数据科学研究所) University of California San Diego(加州大学圣地亚哥分校) CUNY New York City College of Technology(纽约市立大学纽约技术学院) Lamont-Doherty Earth Observatory(拉蒙特-多伊蒂地球观测站)

AI总结 本文提出小波流匹配方法,通过在多尺度小波空间中直接进行最优传输,解决多尺度物理系统模拟中稳定性与精度的平衡问题,实现更高效的生成式模拟。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.16438 2026-05-19 cs.LG cs.AI

Byzantine-Resilient Federated Learning via QUBO-Based Client Selection on Quantum Annealers

通过量子退火的客户端选择实现容错联邦学习

Andras Ferenczi, Sutapa Samanta, Dagen Wang, Jason Qizhe Qin

机构 * Columbia University(哥伦比亚大学)

AI总结 本文提出利用量子退火解决联邦学习中的拜占庭容错问题,通过将客户端选择转化为二次无约束二元优化问题,提升对恶意更新的检测能力。

Comments 9 pages, 6 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏