arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Columbia University(哥伦比亚大学)

共收录 112
2607.15448 2026-07-20 cs.RO 新提交

VTAP Gripper: Synergizing Fingertip Sensing and a Visuo-Tactile Active Palm for Dexterous In-Hand Manipulation

VTAP 夹爪:指尖传感与视觉触觉主动手掌协同实现灵巧的手中操作

Yuhao Zhou, Sheeraz Athar, Zhixian Hu, Binghao Huang, Yunzhu Li, Juan Wachs, Yu She

机构 * Edwardson School of Industrial Engineering, Purdue University(普渡大学爱德华森工业工程学院) Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)

AI总结 研究提出集成 VTAP 和触觉阵列传感器手指的夹爪,利用指掌协同与多模态感知实现操作。通过双模态手掌扩展能力,提出重定向框架。经多任务实验验证,该夹爪及框架为灵巧夹爪设计等提供实用参考架构。

Comments 8 pages, 10 figures, accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026). Project webpage: https://yuhochau.github.io/vtap/

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.16178 2026-07-20 stat.ML cs.LG cs.NA math.NA stat.ME 新提交

Cluster-Aware Matching via Laplacian Optimal Transport

通过拉普拉斯最优传输实现聚类感知匹配

Gabriel Samberg, YoonHaeng Hur, Yuehaw Khoo, Nir Sharon

机构 * Department of Applied Mathematics, Tel Aviv University(特拉维夫大学应用数学系) Department of Statistics, Columbia University(哥伦比亚大学统计系) Department of Statistics, University of Chicago(芝加哥大学统计系)

AI总结 针对点云具有聚类结构的匹配问题,提出基于拉普拉斯最优传输(LapOT)的聚类感知匹配方法,用二次拉普拉斯项正则化最优传输问题,引入RSC方法,经理论分析和实验证明该方法能实现点云间更一致且有意义的对齐。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.15246 2026-07-17 cs.CV 新提交

ARMOR++: Agentic Orchestration of a Multi-Domain Primitive Set for Transferable Attacks on Deepfake Detectors

ARMOR++:用于对深度伪造检测器进行可转移攻击的多域原语集的智能编排

Christos Korgialas, Gabriel Lee Jun Rong, Dion Jia Xu Ho, Pai Chet Ng, Xiaoxiao Miao, Konstantinos N. Plataniotis

机构 * Department of Informatics, Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学信息学系) Infocomm Technology Cluster, Singapore Institute of Technology(新加坡科技学院信息通信技术集群) Department of Applied Physics and Applied Mathematics, Columbia University(哥伦比亚大学应用物理与应用数学系) Division of Natural and Applied Sciences, Duke Kunshan University(昆山杜克大学自然科学与应用科学部) Department of Electrical and Computer Engineering, University of Toronto(多伦多大学电气与计算机工程系)

AI总结 研究针对深度伪造检测器在黑盒对抗转移下可靠性下降问题,提出ARMOR++多智能体框架,利用视觉与语言模型提供语义先验并编排原语选择等,整合多种原语有效针对异构偏差,实验表明其性能优于现有基线,凸显当前检测器可靠性差距及智能编排的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.14522 2026-07-17 cs.LG 新提交

A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models

用于微调离散扩散模型的连续时间强化学习框架

Zikun Zhang, Jiayuan Sheng, David D. Yao, Wenpin Tang

机构 * Columbia University(哥伦比亚大学)

AI总结 该研究提出连续时间强化学习框架,推导策略梯度方法得到PPO和GRPO的连续时间变体。以此开发框架微调离散扩散模型,无需奖励信号可微,能纳入中间奖励或优势信号,还为MDM提供统一视角,用轨迹子采样技术降低计算成本,在相关任务中验证了方法有效性。

Comments 36 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.13451 2026-07-16 cs.RO cs.AI cs.CV 新提交

Learning Physics-Guided Residual Dynamics for Deformable Object Simulation

学习用于可变形物体模拟的物理引导残差动力学

Shivansh Patel, Kaifeng Zhang, Sanjay Pokkali, Svetlana Lazebnik, Yunzhu Li

机构 * UIUC(伊利诺伊大学厄巴纳 - 香槟分校) Columbia University(哥伦比亚大学)

AI总结 研究针对可变形物体模拟中动力学预测难的问题,提出物理引导残差动力学(PGRD)框架,结合物理与学习方法优势,采用特定架构和公式,在多物体模拟上结果更准,还展示了其在操作规划和交互式模拟中的应用效用。

Comments Website: https://pgrd-robot.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11937 2026-07-15 cs.LG 新提交

Mirror Horizon: Viable Path Entropy as a Measure of Bounded Reflection

镜像视界:作为有界反射度量的可行路径熵

Tiantian Zhang

机构 * Columbia University(哥伦比亚大学)

AI总结 研究提出用可行路径熵衡量智能系统,恢复其理论框架。在GSM8K实验中,增加Qwen2.5-Instruct模型令牌预算,提升了已验证延续能力等指标,表明镜像视界取决于此而非参数数量,支持镜像理论从度量层面解释智能系统能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11897 2026-07-15 cs.LG 新提交

Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels

半直接傅里叶增量注意力:具有构造性分块-WY核的相位控制增量记忆

Tiantian Zhang

机构 * Columbia University(哥伦比亚大学)

AI总结 研究针对线性注意力在状态跟踪和长上下文记忆的局限,提出半直接傅里叶增量注意力(SFDA),通过构造性分块-WY分解,实现精确仿射分块转移等,经数值验证和实验表明其能学习循环记忆,优于禁用相位的KDA基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11970 2026-07-15 cs.LG cs.AI cs.IT math.IT 新提交

Self-Evolving In-Context Learning for Direct Pilot-to-Beamformer Design in MU-MISO Systems

多用户多输入单输出系统中用于直接导频到波束成形器设计的自进化上下文学习

Yubo Zhang, Xiaodong Wang

机构 * Columbia University(哥伦比亚大学)

AI总结 研究多用户多输入单输出系统中导频到波束成形器设计,提出将ICL-Transformer与导频及波束成形器EDN集成的框架,通过课程学习、自进化机制和失配感知扩展提高性能,优于现有波束成形方案。

Comments 14 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09749 2026-07-14 eess.SP cs.AI cs.LG 新提交

MorphologyFM: A Foundation Model for Morphology-Aware Representation Learning from ECG and Pulse Oximetry Waveforms

MorphologyFM:一种用于从心电图和脉搏血氧波形中进行形态感知表示学习的基础模型

Saiyang Feng, Yuanyun Zhang, Shi Li

机构 * University of the Chinese Academy of Sciences(中国科学院大学) Columbia University(哥伦比亚大学)

AI总结 研究针对现有生理波形方法未保留临床意义波形形态的问题,提出多模态基础模型MorphologyFM,通过形态感知自监督学习目标预训练,结合多种技术学习相关表示,在多下游任务中表现优于其他方法,证明联合建模更具可转移性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.10745 2026-07-14 cs.CL 新提交

The First ChineseBabyLM Challenge: training data-efficient and cognitively plausible language models for Chinese

首个中文BabyLM挑战:训练数据高效且认知合理的中文语言模型

Siyuan Song, Zhiheng Qian, Yunhao Zhang, Linyang He, Xiaozhe Ji, Yingxin Lin, Hongao Zhu, Chongtian Shao, Chuhan Lang, Luan Li, Rui Wang, Renfen Hu, Shaonan Wang, Hai Hu

机构 * Princeton University(普林斯顿大学) Shanghai Jiao Tong University(上海交通大学) Chinese Academy of Sciences(中国科学院) Columbia University(哥伦比亚大学) Beijing Normal University(北京师范大学) Tsinghua University(清华大学) University of California San Diego(加利福尼亚大学圣地亚哥分校) The Hong Kong Polytechnic University(香港理工大学)

AI总结 首个中文BabyLM挑战将在2026年自然语言处理与中文计算会议举办,要求用1亿中文词元从头训练语言模型,在自然语言理解、认知对齐和汉字知识三轨道评估,不限分词器、模型架构和训练轮数。

Comments 8 pages, 4 tables; work in progress

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11273 2026-07-14 quant-ph cs.LG 新提交

Fixed-Protocol Amortized MPS Tomography with Conformalized Predictive Uncertainty

具有共形预测不确定性的固定协议摊销MPS层析成像

Jian Xu, Delu Zeng, John Paisley, Qibin Zhao

机构 * RIKEN iTHEMS RIKEN AIP South China University of Technology(华南理工大学) Columbia University(哥伦比亚大学)

AI总结 研究量子态层析成像,提出固定协议摊销MPS估计器,通过特定测量设计及规范不变保真度损失训练,能提升测量效率与保真度,并给出覆盖区间,在不同系统规模下保持质量,还在IBM硬件上实现闭环。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09059 2026-07-13 cs.AI 新提交

ARCANA: A Reflective Multi-Agent Program Synthesis Framework for ARC-AGI-2 Reasoning

ARCANA:用于ARC-AGI-2推理的反射式多智能体程序合成框架

Kunbo Zhang, Lei Fu, Zeyu Wang, Zijing Liu, Kejian Tong

机构 * Columbia University(哥伦比亚大学) University of California, Los Angeles(加州大学洛杉矶分校) Northeastern University(东北大学)

AI总结 ARCANA是用于ARC-AGI-2推理的多智能体框架,将任务分解为感知、假设生成等步骤,智能体通过可微黑板通信,由元控制器调度。其设计结合程序搜索与校正,提升了抽象转换任务的推理效率和解决方案质量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08651 2026-07-10 cs.LG cs.DC 新提交

Secure Decentralized Federated Learning via Gossip and Virtual Voting

通过八卦和虚拟投票实现安全的去中心化联邦学习

Amirhossein Taherpour, Xiaodong Wang

机构 * Columbia University(哥伦比亚大学)

AI总结 研究如何实现安全的去中心化联邦学习,提出gspDAG-FL框架,通过八卦历史达成共识,结合多种验证方法提高弹性,经实验验证其在减少协调瓶颈、提高吞吐量及检测无效起源等方面效果良好,学习质量接近基于验证的账本FL。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08319 2026-07-10 cs.DB cs.AI 新提交

GitLake: Git-for-data for the agentic lakehouse

GitLake:面向智能数据湖的数据版Git

Weiming Sheng, Jinlang Wang, Manuel Barros, Aldrin Montana, Jacopo Tagliabue, Luca Bigon

机构 * Columbia University(哥伦比亚大学) University of Wisconsin-Madison(威斯康星大学麦迪逊分校) Carnegie Mellon University(卡内基梅隆大学) Bauplan Labs(Bauplan实验室)

AI总结 研究面向智能体的数据湖的Git设计,核心方法是将单表快照提升为全湖操作,贡献是实现智能体与人类协作,管道原子性输出,还分享了生产经验和正确性见解。

Comments Pre-print of the paper accepted at DASHSys, VLDB 2026, Boston, USA

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08018 2026-07-10 cs.AI 新提交

Concretized Proposition Prompting Resolves Composition-Knowledge Dichotomy in Large Language Models

具体化命题提示解决大语言模型中的组合-知识二分法

Changhun Lee, Minguk Jeon, Jongkyung Shin, Chiehyeon Lim

机构 * Columbia University(哥伦比亚大学) UNIST(全南科学技术大学) POSCO Holdings(POSCO控股)

AI总结 研究针对大语言模型组合-知识二分法难题,提出具体化命题提示(CPP)框架。通过明确相关命题具体化,提升推理性能,尤其在医学基准测试中表现突出,且可扩展到多种模型和参数规模,弥合两类方法差距,解决了二分法问题。

Comments 9

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.07952 2026-07-10 cs.HC cs.CL 新提交

fog: Expressing Motion and Emotion through Function Composition of AI-Generated Code

fog:通过人工智能生成代码的函数组合来表达运动和情感

Vivian Liu, Lydia Chilton

机构 * Columbia University(哥伦比亚大学)

AI总结 介绍fog函数组合框架,用于通过人工智能生成代码表达运动和情感,能创建运动词汇表并由动画编辑器辅助。经感知评估和用户研究,其运动函数识别准确率达68%,相比基线有显著提升,且在界面形式上支持用户快速迭代等。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.07951 2026-07-10 cs.LG physics.ao-ph 新提交

Evaluating the Generalizability of Foundation Models for Extreme Environmental Events: Case Study of California Wildfire PM2.5

评估极端环境事件基础模型的泛化能力:以加利福尼亚野火PM2.5为例

Yongcan Huang, Li Jiang, Ze Yu Liu

机构 * College of Engineering, University of Georgia(佐治亚大学工程学院) Information System Department, UMBC(马里兰大学巴尔的摩郡分校信息系统系) College of Graduate and Professional Studies, Trine University(特瑞大学研究生与专业研究学院) School of Professional Studies, Columbia University(哥伦比亚大学专业研究学院)

AI总结 研究以加利福尼亚野火PM2.5为例,比较六种时间序列基础模型配置与全训练基线及朴素持久性方法,通过留一事件法评估泛化能力,发现BiLSTM表现最佳,零样本TSFMs改进有限,LoRA微调有改善但未超循环基线,挑战大预训练模型主导环境预测的假设并提供指导。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.10358 2026-07-10 cs.LG cs.AI 新提交

KG-SoftMAP: Soft Knowledge-Graph Priors for Bayesian Network Structure Learning from Sparse Discrete Data

KG-SoftMAP: 基于软知识图谱先验的稀疏离散数据贝叶斯网络结构学习

Guoliang Xu, James E. Corter

机构 * Columbia University(哥伦比亚大学)

AI总结 针对稀疏离散数据中贝叶斯网络结构学习困难的问题,提出KG-SoftMAP方法,将加权有向知识图谱编码为软先验,结合BDeu评分与logit形式先验最大化MAP目标,在合成与真实数据上显著提升结构恢复性能。

Comments 12 pages, 2 figures, 4 tables; includes a 24-page technical supplement

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.07397 2026-07-09 cs.AI cs.DB 新提交

Agentic Data Environments

智能体数据环境

Elaine Ang, Chenxi Huang, Georgios Liargkovas, Jerry Liu, Jinhui Liu, Nikos Pagonas, Charlie Summers, Haonan Wang, Jiakai Xu, Tianle Zhou, Yusen Zhang, Zhou Yu, Zhuo Zhang, Tianyi Peng, Kostis Kaffes, Eugene Wu

机构 * Columbia University(哥伦比亚大学)

AI总结 探讨智能体数据环境,其作为智能体运行的执行基础,既能增强智能体能力又保障安全。该环境拓宽了智能体运行的数据范围,改变了对数据系统的传统认知,有望在提升智能体效能同时控制故障成本。

Journal ref IEEE Data Bulletin Vol. 50 No. 1 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.06230 2026-07-08 quant-ph cs.LG 新提交

Entanglement as a Structural Complexity Axis: A PAC-Bayesian View of Generalization in Quantum Policies and Value Functions

作为结构复杂性轴的纠缠:量子策略和价值函数中泛化的 PAC - 贝叶斯观点

Jian Xu, Delu Zeng, John Paisley, Qibin Zhao

机构 * RIKEN iTHEMS RIKEN AIP Columbia University(哥伦比亚大学) South China University of Technology(南方科技大学)

AI总结 研究量子策略和价值函数泛化问题,基于 PAC - 贝叶斯观点,以 Fisher 几何有效维度衡量泛化,发现纠缠会增大该维度致泛化变差,通过多实验验证此机制,为量子策略设计提供新视角。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05390 2026-07-07 cs.RO cs.CV 新提交

Deform360: A Massive Multi-view Visuotactile Dataset for Deformable World Models

Deform360:面向可变形世界模型的大规模多视图视觉触觉数据集

Hongyu Li, Wanjia Fu, Xiaoyan Cong, Zekun Li, Binghao Huang, Hanxiao Jiang, Xintong He, Yiqing Liang, Rao Fu, Tao Lu, Srinath Sridhar, Kevin A. Smith, George Konidaris, Yunzhu Li

机构 * Brown University(布朗大学) Columbia University(哥伦比亚大学) Massachusetts Institute of Technology(麻省理工学院)

AI总结 针对可变形物体世界建模缺乏大规模真实数据的问题,构建含多视图视觉与触觉信息的Deform360数据集,评估现有主流世界模型,为相关研究提供基准。

Comments Accepted by ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05163 2026-07-07 cs.CY cs.AI 新提交

Open Problems in AI Incident Governance

AI事件治理中的开放问题

Harleen Kaur Sidhu, Rebecca Scholefield, Nour Annan, Kevin Hernandez, Isabel Nieh Hou, Abdulrahman Alshaikhi, Ze Shen Chin, Rokas Gipiškis

机构 * Independent(独立) Sorbonne University(索邦大学) Rice University(里奇大学) Columbia University(哥伦比亚大学) AI Standards Lab(人工智能标准实验室) Vilnius University(维尔纽斯大学)

AI总结 针对部署后AI系统的未预期故障,该研究梳理现有AI事件治理框架,发现其在定义、分类等方面缺乏一致性,为后续相关规范完善提供参考。

Comments Accepted to ICML Technical AI Governance Research workshop 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04645 2026-07-07 cs.CL cs.AI cs.CR cs.LG 新提交

Retroactive Chain-of-Thought (RetroCoT): Forensic Reconstruction Prompts as a Safety Diagnostic Across Model Generations

追溯性思维链(RetroCoT):作为跨模型代际安全诊断的法证重建提示

Samira Hajizadeh

机构 * Columbia University(哥伦比亚大学)

AI总结 研究发现大语言模型安全对齐受语用寄存器影响,介绍追溯性思维链攻击RetroCoT将有害请求重构为法证重建任务,在AdvBench测试中取得一定成功率,还发现模型代际差异及新语用寄存器对模型安全对齐的影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02681 2026-07-07 stat.ML cs.LG math.ST stat.ME stat.TH 新提交

Contaminated Multi-task Learning with Heterogeneity: Fundamental Limits and Optimal Algorithms

具有异质性的受污染多任务学习:基本极限与最优算法

Ye Tian, Mengchu Li, Marco Avella Medina

机构 * Department of Statistics, Pennsylvania State University(宾夕法尼亚州立大学统计学系) School of Mathematics, University of Birmingham(伯明翰大学数学学院) Department of Statistics, Columbia University(哥伦比亚大学统计学系)

AI总结 研究受污染多任务经验风险最小化框架,高斯均值模型中常见范式有次优污染误差,建立一般异质ERM设置的极小极大下界,提出高效滤波鲁棒多任务梯度下降法,模拟和实数据分析显示其强鲁棒性和个性化。

Comments 91 pages, 1 figure, 10 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02137 2026-07-07 cs.LG cs.AI cs.SY eess.SY math.OC 新提交

ART for Diffusion Sampling: Continuous-Time Control and Actor-Critic Learning

ART 用于扩散采样:连续时间控制与 Actor-Critic 学习

Yilie Huang, Wenpin Tang, Xun Yu Zhou

机构 * Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系) Department of Industrial Engineering and Operations Research, Columbia University(哥伦比亚大学工业工程与运筹学系) Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所)

AI总结 提出自适应重参数化时间 (ART) 方法,将扩散采样的时间步分配建模为连续时间控制问题,并通过强化学习求解,以自适应学习采样时间表,提升样本质量。

Comments 36 pages, 14 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01802 2026-07-03 cs.CL 新提交

On the Limits of Steering Vectors for Preference-Aligned Generation

关于偏好对齐生成的引导向量限制研究

Melanie Subbiah, Zara Hall, Kathleen McKeown

机构 * Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)

AI总结 研究引导向量在偏好对齐生成中的泛化限制,发现其有效性在不同特质、任务迁移和多特质组合中显著下降,表明其作为通用工具的局限性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31630 2026-07-01 cs.LG 新提交

Calibration, Not Compilation: Detecting and Repairing Misspecified Probabilistic Programs Written by Language Models

校准,而非编译:检测和修复语言模型编写的错误指定概率程序

Jian Xu, Delu Zeng, John Paisley, Qibin Zhao

机构 * RIKEN iTHEMS RIKEN AIP South China University of Technology(南方科技大学) Columbia University(哥伦比亚大学)

AI总结 本文提出用贝叶斯工作流(后验预测检查、模拟校准等)作为验证器,检测和修复LLM编写的概率程序中的统计错误,在检测(AUC 0.97)和修复(显著优于单元测试反馈)上表现优异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.30923 2026-07-01 cs.LG cs.AI stat.ML 新提交

Behavior Cloning is Not All You Need: The Optimality of On-Policy Distillation for Noisy Expert Feedback

行为克隆并非万能:带噪声专家反馈的在线策略蒸馏的最优性

Ved Sriraman, Peihan Liu, Daniel Hsu, Adam Block

机构 * Columbia University(哥伦比亚大学)

AI总结 针对噪声专家反馈场景,理论证明离线模仿学习样本复杂度指数增长,而在线策略蒸馏可实现多项式依赖,解释了为何在线方法优于离线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.30850 2026-07-01 cs.AI 新提交

BayesBench: Evaluating LLM Belief Trajectories Under Multi-Turn Evidence Accumulation

BayesBench: 评估多轮证据积累下LLM信念轨迹

Ankur Samanta, Akshayaa Magesh, Tal Lancewicki, Ayush Jain, Youliang Yu, Paul Sajda, Kaveh Hassani, Aditya Modi, Daniel R. Jiang, Yonathan Efroni

机构 * Meta AI Columbia University(哥伦比亚大学) Meta Superintelligence Labs(Meta超级智能实验室) Tel Aviv University(特拉维夫大学)

AI总结 提出BayesBench基准,通过三个渐进复杂任务评估LLM在多轮证据积累中的信念更新是否接近贝叶斯理性,发现规模提升改善潜在推理但未可靠转化为预测。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.25086 2026-07-01 cs.LG cs.AI stat.ML 新提交

Training for the Model You Return: Improving Optimization for Iterate-Averaged Language Models

为返回的模型进行训练:改进迭代平均语言模型的优化

Kwok Chun Au, Adam Block

机构 * Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系) Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系)

AI总结 针对返回迭代平均而非最终迭代的语言模型,提出PACE方法,通过最优控制理论优化平均估计器,在二次模型中证明其能显著降低均方误差,并在1-2B参数LM微调和GPT-2预训练中优于AdamW。

详情

展开后加载摘要…

URL PDF HTML 收藏