Forgetting in Language Models: Capacity, Optimization, and Self-Generated Replay
语言模型中的遗忘:容量、优化与自生成回放
机构 * New York University(纽约大学)
AI总结 本文研究了语言模型中的遗忘问题,发现自生成样本可作为有效的回放数据几乎消除遗忘,并揭示了容量限制和低学习率对遗忘的影响。
高校专区
语言模型中的遗忘:容量、优化与自生成回放
机构 * New York University(纽约大学)
AI总结 本文研究了语言模型中的遗忘问题,发现自生成样本可作为有效的回放数据几乎消除遗忘,并揭示了容量限制和低学习率对遗忘的影响。
DiscoverPhysics: 基准测试LLMs的即用型科学思维
机构 * Princeton University(普林斯顿大学) ; Boston University(波士顿大学) ; New York University(纽约大学) ; Flatiron Institute(Flatiron研究所) ; Institute for Advanced Studies(高级研究研究所)
AI总结 提出DiscoverPhysics交互式基准,通过让LLM代理探索物理定律偏离现实的模拟世界,评估其设计实验、修正假设和发现物理规律的能力。
两层多物品订单履约的最优和阶最优门控优先级贪婪策略
机构 * Leonard N. Stern School of Business, New York University(纽约大学 Leonard N. Stern 商学院) ; Qiuzhen College, Tsinghua University(清华大学邱泽学院) ; Yau Mathematical Sciences Center & Department of Mathematical Sciences, Tsinghua University(清华大学姚数学科学中心及数学科学系)
AI总结 针对电商在两层分销网络中实时履约决策问题,提出门控优先级贪婪策略,证明其竞争比最优性,并通过数值实验验证性能。
HoLoArm: 用于碰撞容忍四旋翼飞行的可变形臂
机构 * Japan Advanced Institute of Science and Technology(日本先进科学技术研究所) ; University of California Berkeley(加州大学伯克利分校) ; New York University(纽约大学)
AI总结 受蜻蜓翅膀结脉结构启发,提出具有柔性臂的四旋翼HoLoArm,结合强化学习控制策略实现被动变形与快速恢复,在高达7.6 m/s碰撞速度下保持稳定飞行。
Comments 8 pages, 15 figures, 1 table, Accepted at the IEEE Robotics and Automation Letters (RA-L) and the IEEE International Conference on Robotics and Automation (ICRA), 2026
Journal ref IEEE Robotics and Automation Letters, vol. 11, no. 3, pp. 3582-3589, March 2026
用语言模型模拟人类记忆
机构 * NYU(纽约大学) ; UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
AI总结 本研究通过心理学经典记忆实验对比语言模型与人类记忆,发现未经调优的模型记忆优于人类,但通过提示策略和压缩器可使模型遗忘方式更接近人类,从而在下游教育任务中成为更有效的用户模拟器。
Crys-JEPA:通过嵌入筛选和生成精炼加速晶体发现
机构 * National University of Singapore(国立新加坡大学) ; Loyola Marymount University(洛约拉玛丽蒙特大学) ; New York University(纽约大学) ; AMI
AI总结 提出Crys-JEPA联合嵌入预测架构,通过能量感知的潜在空间和筛选-精炼流程,解决晶体生成中稳定性和新颖性的冲突,在MP-20和Alex-MP-20数据集上V.S.U.N.指标分别提升53.8%和72.7%。
混合最小二乘法:从高噪声数据中学习函数
机构 * Department of Mathematics, Simon Fraser University(Simon Fraser大学数学系) ; Courant Institute of Mathematical Sciences, New York University(纽约大学Courant数学科学研究所) ; Scientific Computing and Imaging Institute, University of Utah(犹他大学科学计算与成像研究所) ; Department of Mathematics, University of Kentucky(肯塔基大学数学系)
AI总结 针对高噪声数据下的最小二乘函数逼近问题,提出结合Christoffel采样与最优实验设计的混合方法,在样本点生成和噪声平滑方面实现最优性,提升计算效率和样本复杂度,并扩展到凸性约束和自适应随机子空间场景。
Comments 30 pages
PCGRLLM:面向程序化内容生成强化学习的大语言模型驱动奖励设计
机构 * Gwangju Institute of Science and Technology(光州科学技术院) ; New York University(纽约大学) ; Corresponding author(通讯作者)
AI总结 提出PCGRLLM架构,利用大语言模型和反馈机制生成奖励函数,在二维环境中实现故事到奖励的生成,性能接近人类水平。
Comments 14 pages, 8 figures, Acccepted to Transactions on Games
LipoAgent: 协调微调的大语言模型智能体以实现更安全的脂质设计
机构 * New York University(纽约大学) ; University of Illinois Chicago(伊利诺伊大学香槟分校)
AI总结 提出LipoAgent,一种安全感知的多智能体大语言模型框架,通过条件预测目标强制毒性作为效率预测的前提,并结合多智能体验证,在mRNA转染效率预测上平均相对提升32%。
回复:ICML 2023 排名实验:审视机器学习/人工智能同行评审中的作者自我评估
机构 * University of Pennsylvania(宾夕法尼亚大学) ; University of Wisconsin–Madison(威斯康星大学麦迪逊分校) ; University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校) ; New York University(纽约大学) ; Princeton University(普林斯顿大学) ; Associate Chair of ICML 2023(ICML 2023 associate chair) ; Program Chair of ICML 2023(ICML 2023 program chair)
AI总结 本文回应了关于ICML 2023排名实验的讨论,将同行评审视为统计估计问题,探讨了等渗机制的公平性与策略问题,并提出了结合审稿人排名和生成式AI时代以人为中心的评审框架。
Comments Rejoinder to the JASA Discussion of "The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review" (arXiv:2408.13430)
信任但验证:面向选择性LLM预测的证明者-验证者审议
机构 * New York University(纽约大学)
AI总结 提出基于交互式证明理论的证明者-验证者审议协议,通过结构化置信度判定实现选择性预测,在GPQA Diamond上取得约30个百分点的高置信度精确率差距。
利用规范自由度学习随机系统的非梯度种群动力学
机构 * Courant Institute of Mathematical Sciences, New York University, New York, NY 10012, USA(数学科学学院,纽约大学,纽约,纽约州,10012,美国)
AI总结 针对现有种群动力学推断局限于梯度流的问题,提出非梯度推断流(NGIF)算法,通过连续性方程的弱形式参数化一般向量场并选择非最小动能准则,在低维和高维物理问题中提高了分布精度并更好地捕捉非势输运。
MindAdapter: 跨被试脑到视觉解码模型的少样本参数高效残差校准
机构 * Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院) ; Agency for Science, Technology and Research(科技研究局) ; New York University(纽约大学) ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; Department of Computer and Information Science, University of Macau(澳门大学计算机与信息科学系)
AI总结 提出MindAdapter框架,通过解耦的线性-残差级联对齐和拓扑锚定双流流形约束,实现跨被试脑到视觉解码的少样本参数高效校准。
Comments Accepted to KDD 2026 (AI4Sciences Track). 15 pages, 7 figures
Hera: 面向设备-云协作LLM智能体的长时程协调学习
机构 * Fudan University(复旦大学) ; Alibaba Group(阿里巴巴集团) ; The University of Hong Kong(香港大学) ; Shenzhen MSU-BIT University(深圳MSU-BIT大学) ; New York University(纽约大学) ; Universiti Malaya(马来亚大学) ; SpaceAIC Co., Ltd.(SpaceAIC公司)
AI总结 提出Hera,一种步骤级设备-云LLM智能体协调器,通过两阶段训练(模仿学习+强化学习)优化长时程任务的性能-成本帕累托前沿。
去中心化AI是否可治理?从规制政策到构成性协议
机构 * University of Oxford(牛津大学) ; New York University Shanghai(纽约大学上海校区)
AI总结 本文分析去中心化AI的六层堆栈,揭示其导致的治理真空(责任缺口和无力化缺口),并提出从基于政策的规范性治理转向基于协议的构成性治理,同时确立合法性、可争议性、透明性和非支配性四个伦理条件。
Comments Submitted for Ethics and Information Technology
基于分类决策的新产品最优探索
机构 * Stern School of Business, New York University(纽约大学斯特恩商学院) ; Massachusetts Institute of Technology(麻省理工学院)
AI总结 研究平台在容量约束下通过分类决策在线学习新产品质量,提出最优探索策略以最小化遗憾,并揭示新产品应与顶级现有产品搭配、同时探索数量由潜力决定等结构洞见。
LLM-SAA:基于LLM人格生成分布的决策方法
机构 * Stern School of Business, New York University(纽约大学 Stern 商学院) ; Department of Computer Science, Columbia University(哥伦比亚大学 计算机科学系) ; Graduate School of Business and Data Science Institute, Columbia University(哥伦比亚大学 商学院和数据科学研究院)
AI总结 研究利用LLM生成分布(如模拟消费者支付意愿)支持下游决策,通过三个经典问题(分类优化、定价、报童模型)评估其实际效用,发现低数据场景下有效,且决策无关指标(如Wasserstein距离)可能误导。
一步贝尔曼对齐实现在线强化学习中的可证明高效迁移
机构 * Department of Technology, Operations, & Statistics, New York University(纽约大学技术、运营与统计系) ; Department of Operations Research & Financial Engineering, Princeton University(普林斯顿大学运筹学与金融工程系) ; Department of Computer Science, Dartmouth College(达特茅斯学院计算机科学系)
AI总结 提出一步贝尔曼对齐作为在线强化学习中迁移的正确抽象,并通过重加权目标(RWT)实现算子级修正,在RKHS函数逼近下建立了与任务迁移复杂度相关的遗憾界。
大型语言模型对开源创新的影响:来自GitHub Copilot的证据
机构 * Coller School of Management, Tel Aviv University(特拉维夫大学科尔学院) ; Stern School of Business, New York University(纽约大学斯特恩商学院)
AI总结 利用GitHub Copilot推出的自然实验,通过三种识别策略和两种分类方法,发现LLM使开源贡献增加28%-40%,且增量贡献增长显著大于实质性贡献,表明LLM偏向于利用现有代码库而非探索新功能。
Comments JEL Classification: O31, C88, J24, O35, L86
面向LLM驱动的智能体工作流的可靠设计:优化延迟-可靠性-成本权衡
机构 * New York University(纽约大学)
AI总结 本文通过引入参数化指数可靠性函数建模LLM与非LLM智能体的性能,提出水填充令牌分配策略,并刻画最优工作流可靠性的影子价格,以解决延迟、可靠性和成本之间的权衡问题。
AI驱动的阿尔法衰变:算法同质化、反射性信号侵蚀与智能市场的悖论
机构 * Department of Financial Engineering, New York University(金融工程系,纽约大学) ; Department of Electrical and Computer Engineering, New York University(电气计算机工程系,纽约大学)
AI总结 本文通过理论模型和实证数据证明,AI驱动的投资策略在大规模采用时具有自我挫败性,导致超额收益压缩,并推导出阿尔法半衰期公式,揭示了信号寿命、灭绝级联、红皇后不可能性以及脆弱性-效率权衡等四个理论结果。
PID引导的多模态去中心化联邦学习部分对齐
机构 * Department of Electrical and Computer Engineering, Stony Brook University(石溪大学电气与计算机工程系) ; Department of Applied Mathematics and Statistics and the Department of Computer Science, Stony Brook University(石溪大学应用数学与统计系和计算机科学系) ; Department of Electrical and Computer Engineering, New York University(纽约大学电气与计算机工程系) ; Department of Computer Science, New York Institute of Technology(纽约理工学院计算机科学系)
AI总结 针对多模态去中心化联邦学习中异构代理间更新不兼容的问题,提出基于部分信息分解的PARSE框架,通过特征分裂和部分对齐实现高效通信与协作。
迈向包容性有害内容审核:解决面向LLM生成内容的有害性分类器对抗攻击的脆弱性
机构 * Center for Data Science, New York University(纽约大学数据科学中心) ; Queen Mary University of London(伦敦大学女王学院)
AI总结 针对LLM生成内容的有害性分类器易受对抗攻击的问题,提出基于机制可解释性的方法识别并抑制脆弱电路,提升模型鲁棒性并揭示人口统计学层面的公平性差距。