Separating Representation from Reconstruction Enables Scalable Text Encoders
将表示与重建分离可实现可扩展的文本编码器
机构 * FAIR Meta ; New York University(纽约大学)
AI总结 研究发现自BERT以来编码器变化小,通过冻结主干评估揭示问题源于其扁平设计。提出CrossBERT架构分离高质量编码表示学习与令牌重建,能提高掩码率和梯度收集效率,在相关基准测试中表现优异。
高校专区
将表示与重建分离可实现可扩展的文本编码器
机构 * FAIR Meta ; New York University(纽约大学)
AI总结 研究发现自BERT以来编码器变化小,通过冻结主干评估揭示问题源于其扁平设计。提出CrossBERT架构分离高质量编码表示学习与令牌重建,能提高掩码率和梯度收集效率,在相关基准测试中表现优异。
过渡信息密度:神经训练中的形态轨迹、联觉感知和结构化插值(或:联觉人工智能)
机构 * New York University(纽约大学) ; Interactive Media Arts(互动媒体艺术)
AI总结 介绍过渡信息密度及位置标识,基于联觉等实证背景研究。通过结构化插值训练的探针在语音/语言和语义描述媒介中维度更低,贡献相关定义、框架及实验设计,区分轨迹结构等因素。
Comments 38 pages, 9 figures, 4 tables. Empirical results from structured interpolation training across four representational mediums. Pipeline scripts, experimental data, and the Synesthesia Grid algorithm available upon reasonable request
通过错误设定减少实现非平稳线性带型问题的动态遗憾
机构 * Department of Mathematics, The Hong Kong University of Science and Technology(香港科技大学数学系) ; Stern School of Business, New York University(纽约大学斯特恩商学院) ; Department of IEDA, The Hong Kong University of Science and Technology(香港科技大学工业工程与决策分析系)
AI总结 研究含特定轮次可行决策集的非平稳线性带型问题,针对现有方法局限,从统一错误设定减少视角,分块关联动态遗憾与固定参数线性带型基准,得出最优动态遗憾依赖。
强化学习中的奖励粒度:比较用于小语言模型数学推理的过程奖励和结果奖励结构
机构 * New York University(纽约大学)
AI总结 研究在小语言模型中通过强化学习提升数学推理能力,系统比较五种奖励条件,发现过程奖励能显著提高准确率和推理痕迹保真度,奖励粒度是重要设计决策。
Comments 8 pages, 4 figures
通过验证器与生成器对齐改进大语言模型
机构 * Department of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系) ; Departments of Linguistics and Computer Science, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校语言学与计算机科学系) ; Department of Computer Science & Center for Data Science, New York University(纽约大学计算机科学系及数据科学中心)
AI总结 研究大语言模型不一致问题,提出基于话语频率的生成器-验证器一致性新公式,介绍\FCPA方法,实验表明该方法能提升生成器性能及两者一致性,且保持验证器质量。
扩散学习揭示生物动力系统中可行参数流形和补偿几何
机构 * Peking University–Tsinghua University–National Institute of Biological Sciences Joint Graduate Program(北京大学-清华大学-中国生物科学研究院联合研究生项目) ; Academy for Advanced Interdisciplinary Studies(先进跨学科研究院) ; Center for Bioinformatics(生物信息中心) ; School of Life Sciences(生命科学学院) ; National Laboratory of Protein Engineering and Plant Genetic Engineering(蛋白质工程与植物基因工程国家实验室) ; Center for Quantitative Biology(定量生物学中心) ; NYU-ECNU Institute of Mathematical Sciences(纽约大学-复旦大学数学科学研究院) ; New York University Shanghai(纽约大学上海分校) ; NYU-ECNU Institute of Brain and Cognitive Science(纽约大学-复旦大学脑与认知科学研究院)
AI总结 研究复杂系统参数与可观测量关系,将兼容参数集形式化为可行参数流形,用条件分数扩散模型训练并采样,以Lorenz等模型为例揭示系统补偿几何等,为研究提供工具。
Comments 25 pages, 7 figures
连续随机消耗的在线资源分配:退化下的遗憾
机构 * Stern School of Business(斯特恩商学院) ; New York University(纽约大学)
AI总结 研究奖励和消耗量连续分布的在线资源分配问题,提出基于样本路径的边际策略,在退化情况下实现次线性遗憾。
基于强化学习的视觉语言模型视觉接地自反思
机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; New York University(纽约大学)
AI总结 提出VRRL框架,通过随机掩码轨迹前缀和缓冲回滚机制,增强视觉语言模型在分布外场景下的视觉接地自反思能力,显著提升准确率。
通过贝尔曼证书的多秘书问题紧下界
机构 * Stern School of Business, New York University(纽约大学斯特恩商学院)
AI总结 针对多秘书问题中带间隙支撑的有界密度分布,证明最优遗憾至少为(\log T)^2,与现有上界匹配,并引入贝尔曼证书框架用于下界构造。
平均场强化学习
机构 * Department of Operations Research and Financial Engineering & Program in Applied and Computational Mathematics, Princeton NJ 08544, USA(普林斯顿大学运筹学与金融工程系及应用与计算数学项目) ; Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning(上海人工智能与深度学习前沿科学中心;纽约大学上海数学科学研究院(NYU-ECNU);纽约大学上海) ; NYU-ECNU Institute of Mathematical Sciences at NYU Shanghai ; NYU Shanghai, 567 West Yangsi Road, Shanghai, 200126, People’s Republic of China
AI总结 通过平均场交互和共同噪声的大群体随机控制视角,介绍平均场强化学习,建立代表性智能体学习问题的概率、数学和控制理论框架,并分析表格Q学习和策略梯度方法。
可解释编码器与学习型编码器在高基数欺诈检测中的对比
机构 * Goizueta Business School Emory University Atlanta, GA, USA(埃默里大学戈伊苏埃塔商学院) ; Computer Sciences University of California, Berkeley Kirkland, WA(加州大学伯克利分校计算机科学系) ; Stern School of Business New York University New York, NY, USA(纽约大学斯特恩商学院) ; School of Data Science University of Pennsylvania Philadelphia, PA, USA(宾夕法尼亚大学数据科学学院) ; Pratt School of Engineering Duke University Durham, NC, USA(达特茅斯大学普拉特工程学院)
AI总结 在IEEE-CIS欺诈数据集上比较7种分类编码方法,实体嵌入在AUC-ROC上最优(0.9612),与CatBoost(0.9602)无显著差异,优于其他编码器;CatBoost在AUC-PR上领先(0.822 vs 0.793),无编码器同时主导两个指标。
AdaJEPA:一种自适应潜在世界模型
机构 * New York University(纽约大学) ; AMI Labs(AMI实验室)
AI总结 提出AdaJEPA,一种在模型预测控制闭环中进行测试时自适应的潜在世界模型,通过自监督信号持续校准模型,显著提升规划成功率。
RESOLVE:用于路边协同感知的多分辨率多模态数据集
机构 * The Polytechnic School, Arizona State University(亚利桑那州立大学理工学院) ; Department of Computer Science and Engineering, New York University(纽约大学计算机科学与工程系)
AI总结 提出RESOLVE数据集,包含多分辨率LiDAR和相机-LiDAR同步数据,用于评估路边3D检测与跟踪中的单模态与融合架构,揭示多模态融合如何补偿LiDAR点稀疏性。
Comments Accepted to ECCV 2026. Including supplementary material
直方图约束的图像生成
机构 * Center for Data Science, New York University Shanghai(上海纽约大学数据科学中心) ; New York University(纽约大学)
AI总结 提出直方图约束图像生成(HIG)框架,通过最优传输理论在扩散模型中精确施加用户指定的分布约束,实现全局与局部之间的中间粒度控制,并展示其在颜色/潜在直方图约束生成和高容量信息嵌入中的应用。
Comments Accepted to ECCV 2026; 31 pages, 16 figures
迈向包容性移动建模:城市系统中老年人轨迹模式的特征化与评估
机构 * School of Computing and Artificial Intelligence, Shanghai University of Finance and Economics(上海财经大学计算机与人工智能学院) ; MOE Key Laboratory of Interdisciplinary Research of Computation and Economics, Shanghai University of Finance and Economics(上海财经大学计算与经济学交叉研究教育部重点实验室) ; Center for Data Science, New York University(纽约大学数据科学中心)
AI总结 本研究利用共享单车数据,通过合成轨迹生成案例,定量评估老年人出行数据缺失对移动建模的偏差影响,并对比马尔可夫链与大语言模型在不同人口训练集下的表现。
探测揭示自动驾驶:内部预测误差与自我规划的关联
机构 * Gwangju Institute of Science and Technology (GIST)(光州科学技术院) ; New York University(纽约大学)
AI总结 通过线性探测和因果干预,研究自动驾驶策略在碰撞事件中缺乏及时预测能力,导致规划缺陷,并证明纠正预测可提升安全性。
Comments 10 pages
随机重排主导随机梯度下降
机构 * Stern School of Business, New York University(纽约大学斯特恩商学院)
AI总结 针对光滑凸优化中随机重排(RR)的收敛理论局限,本文首次证明在任意合理步长下,经过任意有限轮次后RR始终优于随机梯度下降(SGD),解决了长期悬而未决的问题。
Comments COLT 2026
MedGuards: 用于可靠医疗错误检测与纠正的多智能体系统
机构 * New York University Abu Dhabi(纽约大学阿布扎比分校) ; Khalifa University(哈利法大学) ; New York University(纽约大学)
AI总结 提出MedGuards框架,通过多智能体上下文学习与置信度引导仲裁机制,无需额外训练即可检测、定位和纠正医疗文本错误,并引入关键词优先纠正评分(KPCS)评估指标。
多尺度退出-加入动力学:战术共识与战略联盟形成
机构 * Department of Electrical and Computer Engineering(电气工程系) ; Tandon School of Engineering(坦顿工程学院) ; New York University(纽约大学)
AI总结 提出多尺度联盟形成模型,耦合联盟内战术共识与战略退出-加入决策,通过固定点分析揭示不稳定性-共识悖论。
使用扩散模型采样海况
机构 * Courant Institute School of Mathematics, Computing and Data Science(库朗数学、计算与数据科学学院) ; New York University(纽约大学) ; Laboratoire d’Océanographie Physique et Spatiale (LOPS)(物理与空间海洋学实验室) ; Ifremer
AI总结 提出基于扩散的生成模型,利用5天全球风场条件直接采样海况的复杂条件分布,实现概率性海况估计,显著加速计算并保持技巧性预测。
SpeechEQ: 社交感知语音对话模型的情商基准测试
机构 * New York University(纽约大学) ; NVIDIA(英伟达) ; Carnegie Mellon University(卡内基梅隆大学) ; NYU Shanghai(上海纽约大学)
AI总结 提出SpeechEQ框架,基于EQ-i 2.0理论构建2265个对话数据集,通过口语情商(SEQ)评分评估语音语言模型在主动多轮对话中的副语言社交线索推理能力,揭示端到端模型存在模态捷径、安全陷阱和上下文遗忘等瓶颈。
泄露电路秘密:图神经网络上的梯度泄露攻击
机构 * Center for Cyber Security, New York University, Abu Dhabi, UAE(纽约大学阿布扎克分校网络安全中心)
AI总结 首次系统评估图神经网络在电路设计中的梯度泄露攻击风险,发现GAT加剧泄露而GIN更具鲁棒性,并分析了现有防御技术的局限性。
Comments 12 pages
MJEPA:一种简单且可扩展的音频-视觉联合嵌入预测架构
机构 * FAIR at Meta(Meta AI研究实验室) ; New York University(纽约大学)
AI总结 提出MJEPA,使用统一编码器和单一预测目标进行跨模态预测,在音频分类任务上超越先前方法,并减少视频数据需求。
涌现能力随机地从学习稀疏注意力模式中产生
机构 * New York University(纽约大学)
AI总结 研究发现,transformer模型的下游能力(如上下文学习)在训练过程中随机涌现,较大模型平均更早获得,且涌现对应于任务相关注意力模式的突然学习。
Comments 18 pages, 13 figures
OpenThoughts-Agent: 智能体模型的数据配方
机构 * UC Berkeley(加州大学伯克利分校) ; Stanford University(斯坦福大学) ; JSC(于利希超级计算中心) ; LAION ; University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Bespoke Labs ; Laude Institute ; UCLA(加州大学洛杉矶分校) ; Harvard University & Harvard Medical School(哈佛大学与哈佛医学院) ; TU Munich & Munich Center for Machine Learning(慕尼黑工业大学与慕尼黑机器学习中心) ; New York University(纽约大学) ; Medical University of South Carolina(南卡罗来纳医科大学) ; The LLM Data Company ; BenchFlow ; Independent Researcher(独立研究员) ; Northeastern University(东北大学) ; University of Wisconsin–Madison(威斯康星大学麦迪逊分校) ; University of Washington(华盛顿大学) ; TU Darmstadt(达姆施塔特工业大学) ; University of Southern California(南加州大学) ; UC San Diego(加州大学圣地亚哥分校) ; Amazon(亚马逊) ; Microsoft(微软) ; Korea University(高丽大学) ; Cornell Tech(康奈尔科技) ; University of Michigan(密歇根大学)
AI总结 提出全开放数据筛选流水线,通过100多次消融实验研究任务来源与多样性,构建10万样本训练集,在7个智能体基准上平均44.8%准确率,较最强开源模型提升3.9个百分点。
AI Tokenomics:基础模型中的代币、计算与定价经济学
机构 * New York University Tandon School of Engineering(纽约大学坦登工程学院)
AI总结 本文提出AI代币经济学框架,研究代币在AI系统中的生成、消耗、定价、分配与优化,揭示代币支出与经济价值的区别,并指出开放研究方向。
GUI vs. CLI:纯屏幕与技能中介计算机使用代理的执行瓶颈
机构 * NYU Shanghai(上海纽约大学) ; Yale NLP Lab(耶鲁大学自然语言处理实验室)
AI总结 通过匹配基准测试,发现GUI代理在长流程任务中表现优于CLI代理,但CLI代理通过技能增强可超越GUI,揭示两者执行瓶颈分别在于可靠交互与技能覆盖。
G$^3$VLA:视觉-语言-动作模型的几何归纳偏置
机构 * New York University Shanghai(上海纽约大学) ; Technical University of Denmark(丹麦技术大学) ; MBZUAI - Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学) ; New York University Abu Dhabi(纽约大学阿布扎比分校)
AI总结 提出G$^3$VLA模块,通过射线嵌入、投影位置编码和跨视图融合为VLA模型注入相机几何先验,无需深度传感器,在多个基准和真实机器人上提升空间敏感任务性能。
Comments Submitted to CoRL 2026
SignNet-1M:大规模多语言手语视频数据集及下游基准
机构 * New York University Abu Dhabi(纽约大学阿布扎比分校) ; ChatSign Technology(ChatSign 技术公司) ; Tsinghua University(清华大学)
AI总结 提出SignNet-1M,通过3D高斯泼溅、扩散模型和后期渲染增强合成多样化手语视频,提升模型在跨视角、背景和身份等分布偏移下的泛化能力。
Comments 25 pages. Accepted to ECCV 2026
EMAgnet:大规模博弈中策略梯度自我博弈的参数空间EMA正则化
机构 * Riot Games(拳头游戏) ; University of California, Irvine(加州大学尔湾分校) ; New York University(纽约大学)
AI总结 提出EMAgnet,通过指数移动平均(EMA)对策略参数进行自适应正则化,替代均匀分布正则化,在两人零和博弈中降低可剥削性。
Comments Accepted at NExT-Game 2026: New Frontiers in Game-Theoretic Learning (ICML 2026 Workshop). 13 pages, 2 figures,