NeurIPS

RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably

RoPE在长上下文中无法区分位置或令牌，证明性分析

Yufeng Du, Phillip Harris, Minyang Tian, Eliu A Huerta, Srikanth Ronanki, Subendhu Rongali, Aram Galstyan, Hao Peng

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Bonn（波恩大学） ； Argonne National Laboratory（阿贡国家实验室） ； Amazon AGI（亚马逊人工智能研究院） 纠错

AI总结 本文证明RoPE在长上下文中因失去局部偏倚和令牌相关性一致性而失效，无法区分位置或令牌，且增加RoPE基值只能牺牲位置区分能力。

Comments 35 pages, 11 figures, submitted to NeurIPS 2026

Zero-Shot Goal Recognition with Large Language Models

基于大语言模型的零样本目标识别

Kin Max Piamolini Gusmão, Nathan Gavenski, Nir Oren, Felipe Meneguzzi

机构 * PUCRS Porto Alegre（圣路易斯-波尔图阿legre大学） ； King’s College London（伦敦国王学院） ； University of Aberdeen（阿伯丁大学） ； PUCRS（圣路易斯-波尔图阿legre大学） 纠错

AI总结 本文首次系统评估前沿大语言模型在经典PDDL基准上的零样本目标识别能力，发现其表现不均，部分模型随证据增加而提升精度，而另一些模型则依赖世界知识先验。

Comments 9 pages, 1 figure, 1 table; appendix with 8 figures and 2 code listings (29 pages total); submitted to NeurIPS 2026

The Last Word Often Wins: A Format Confound in Chain-of-Thought Corruption Studies

最后的答案往往获胜：链式思维腐败研究中的格式混淆

Gabriel Garcia

机构 * Independent Researcher（独立研究者） 纠错

AI总结 研究揭示链式思维腐败测试中，最终答案的位置影响准确性，而非中间计算步骤，提出新的研究协议以避免格式混淆。

Comments 34 pages, 6 figures, 13 tables. Submitted to NeurIPS 2026. Code and data: https://github.com/Gpgabriel25/LastWordWinsCoT

Traj-CoA: Patient Trajectory Modeling via Chain-of-Agents for Lung Cancer Risk Prediction

Traj-CoA：通过链式代理进行患者轨迹建模用于肺癌风险预测

Sihang Zeng, Yujuan Fu, Sitong Zhou, Zixuan Yu, Lucas Jing Liu, Jun Wen, Matthew Thompson, Ruth Etzioni, Meliha Yetisgen

机构 * University of Washington（华盛顿大学） ； Fred Hutch Cancer Center（Fred Hutch癌症中心） ； Harvard University（哈佛大学） ； Google（谷歌） 纠错

AI总结 Traj-CoA通过链式代理系统处理电子健康记录数据，减少噪声并保留完整时间线，从而在肺癌风险预测中优于基线方法。

Comments Accepted by NeurIPS 2025 GenAI4Health Workshop

The Linear Representation Hypothesis and the Geometry of Large Language Models

线性表示假说与大语言模型的几何学

Kiho Park, Yo Joong Choe, Victor Veitch

机构 * University of Chicago（芝加哥大学） 纠错

AI总结 本文探讨线性表示的定义及其在表示空间中的几何意义，通过反事实语言形式化并证明其与线性探测和模型操控的关联，提出非欧几里得内积统一线性表示概念，实验验证概念表示的存在及其对解释与控制的重要性。

Comments Accepted for a presentation at ICML 2024 and an oral presentation at NeurIPS 2023 Workshop on Causal Representation Learning. Code is available at https://github.com/KihoPark/linear_rep_geometry

Journal ref In Proceedings of the 41st International Conference on Machine Learning (ICML), 2024