Johns Hopkins University（约翰斯·霍普金斯大学）

Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence

语言模型中的层级概念几何源于词汇共现

Andres Nava, Matthieu Wyart

机构 * Johns Hopkins University（约翰霍普金斯大学） ； EPFL（苏黎世联邦理工学院） 纠错

AI总结 本文提出一种分布理论，证明语言表示中的上下义关系几何结构源于词汇共现的谱结构，并在word2vec和Gemma 2B嵌入中得到验证。

Comments 34 pages, 12 figures, including appendices

Investigating Robot Control Policy Learning for Autonomous X-ray-guided Spine Procedures

自主X光引导脊柱手术的机器人控制策略学习研究

Florence Klitzner, Blanca Inigo, Benjamin D. Killeen, Lalithkumar Seenivasan, Michelle Song, Axel Krieger, Mathias Unberath

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Technical University of Munich（慕尼黑技术大学） ； Johns Hopkins School of Medicine（约翰霍普金斯医学院） 纠错

AI总结 本文研究基于模仿学习的机器人控制策略在稀疏输入（双平面X光）下进行椎体成形术中的可行性，通过模拟环境训练策略实现基于视觉的套管针迭代对齐，首次尝试成功率达68.5%，并展示了向复杂解剖结构和真实X光的迁移能力，但存在入口点精度不足等局限。

Understanding and Improving Noisy Embedding Techniques in Instruction Finetuning

理解与改进指令微调中的噪声嵌入技术

Abhay Yadav

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

AI总结 本文通过理论和实证分析澄清了均匀噪声与高斯噪声在嵌入微调中的性能差异，并提出一种使用对称噪声的新方法SymNoise，在LLaMA-2-7B模型上显著提升了AlpacaEval得分，优于现有方法NEFTune。

Comments arXiv admin note: substantial text overlap with arXiv:2312.01523

Journal ref IEEE International Conference on Language Modeling (COLM), 2025

Any-Dimensional Invariant Universality

任意维不变泛化性

Shengtai Yao, Eitan Levin, Mateo Díaz

机构 * Department of Applied Mathematics and Statistics, Johns Hopkins University（约翰霍普金斯大学应用数学与统计学系） ； Department of Computing and Mathematical Sciences, Caltech（加州理工学院计算与数学科学系） 纠错

AI总结 本文提出一种系统方法，通过将任意维函数映射到无限维极限空间中的唯一函数，建立任意维模型的泛化性，并证明现有架构的非泛化性及简单修改可恢复泛化性。

What Training Data Teaches RL Memory Agents: An Empirical Study of Curriculum Effects in Memory-Augmented QA

训练数据教会RL记忆体代理什么：记忆增强问答中课程效应的实证研究

Xinjie He, Zhiyuan Lin, Su Liu, Jialun Wu, Qiyang Xie, Weikai Zhou, Shuai Xiao

机构 * Columbia University（哥伦比亚大学） ； Independent Researcher（独立研究者） ； Johns Hopkins University（约翰霍普金斯大学） ； Northeastern University（东北大学） 纠错

AI总结 通过控制实验，研究训练课程（领域内、混合、领域外）对强化学习记忆体代理在记忆增强问答中的技能获取和专业化影响，发现课程组成作为专业化的细粒度杠杆，混合课程在整体F1上最优，而窄领域外课程可转移特定技能（如时间推理），并报告了将GRPO适配到单GPU环境的实用经验。

Comments 14 pages, 2 figures, 11 tables. Code, checkpoints, and evaluation artifacts available at https://github.com/EvaxHe/rl-memory-curriculum

Active Sensing Subserves Task-Level Control

主动感知服务于任务级控制

Andrew Lamperski, Debojyoti Biswas, Eric S. Fortune, John Guckenheimer, Kathleen Hoffman, Noah J. Cowan

机构 * Department of Electrical and Computer Engineering, University of Minnesota（明尼苏达大学电气与计算机工程系） ； Laboratory for Computational Sensing and Robotics, Johns Hopkins University（约翰霍普金斯大学计算感知与机器人实验室） ； Federated Department of Biological Sciences, New Jersey Institute of Technology（新泽西理工学院联合生物科学系） ； Department of Mathematics, Cornell University（康奈尔大学数学系） ； Department of Mathematics and Statistics, University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校数学与统计学系） ； Department of Mechanical Engineering, Johns Hopkins University（约翰霍普金斯大学机械工程系） 纠错

AI总结 本文提出主动感知并非为减少状态不确定性，而是任务级控制的必然产物，并通过生物数据和数学理论支持这一观点，同时探讨了探索与利用两种行为模式的切换及其对工程系统的启示。

ThoughtTrace: Understanding User Thoughts in Real-World LLM Interactions

ThoughtTrace: 理解真实世界LLM交互中的用户想法

Chuanyang Jin, Binze Li, Haopeng Xie, Cathy Mengying Fang, Tianjian Li, Shayne Longpre, Hongxiang Gu, Maximillian Chen, Tianmin Shu

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Google Research（谷歌研究） 纠错

AI总结 本文提出ThoughtTrace，首个大规模数据集，通过配对真实多轮人机对话与用户自述想法（提示原因和对助手回复的反应），揭示用户认知动态，并展示其在行为预测和个性化对齐中的价值。

Comments 53 pages, 23 figures, 4 tables. Project website: https://thoughttrace-project.github.io/

AI Evaluation Should Require Standardized Item-Level Data Releases

AI评估应要求标准化的项目级数据发布

Han Jiang, Susu Zhang, Dongyao Zhu, Yuzhuo Bai, Sang T. Truong, Xiaoyuan Yi, Sanmi Koyejo, Xing Xie, Ziang Xiao

机构 * Johns Hopkins University（约翰霍普金斯大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research Asia（微软亚洲研究院） ； Stanford University（斯坦福大学） ； North Carolina State University（北卡罗来纳州立大学） ； Tsinghua University（清华大学） 纠错

AI总结 本文主张AI评估应标准化发布项目级数据，以解决当前评估中项目选择不明确、构造错位和泛化能力差的问题，并通过OpenEval项目展示其可行性和价值。