Northeastern University（东北大学）

Data-dependent Exploration for Online Reinforcement Learning from Human Feedback

基于数据的探索：面向人类反馈的在线强化学习

Zhen-Yu Zhang, Yuting Tang, Jiandong Zhang, Lanjihong Ma, Masashi Sugiyama

机构 * Center for Advanced Intelligence Project, RIKEN（日本理化学研究所先进智能研究中心） ； Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院） ； Northeastern University（东北大学） ； Zhejiang Gongshang University（浙江工商大学） 纠错

AI总结 提出数据依赖探索的偏好优化方法(DEPO)，利用历史数据构建不确定性奖励，鼓励探索高价值区域，理论证明其数据依赖的遗憾界更紧，实验表明样本效率提升。

You've Got a Golden Ticket: Improving Generative Robot Policies With A Single Noise Vector

你有一张金票：用单一噪声向量改进生成式机器人策略

Omkar Patil, Ondrej Biza, Thomas Weng, Karl Schmeckpeper, Wil Thomason, Xiaohan Zhang, Kausik Sivakumar, Robin Walters, Nakul Gopalan, Sebastian Castro, Stephen Hart, Eric Rosen

机构 * Robotics and AI Institute（机器人与人工智能研究所） ； Arizona State University（亚利桑那州立大学） ； Northeastern University（东北大学） 纠错

AI总结 提出用固定初始噪声替换高斯采样，通过蒙特卡洛搜索找到“金票”，无需训练即可提升预训练扩散/流匹配策略在46/51个任务中的成功率，最高提升55%。

Comments 34 pages, 14 figures, 12 tables

Frequency Response Identification of Low-Order Systems: Finite-Sample Analysis

低阶系统的频率响应辨识：有限样本分析

Arya Honarpisheh, Mario Sznaier

机构 * Robust Systems Lab, ECE Department, Northeastern University（鲁棒系统实验室，电子与计算机工程系，东北大学） 纠错

AI总结 提出一种基于重复噪声测量的频域估计器，通过Loewner矩阵核范数正则化和凸稳定性约束，在有限样本下给出误差界，并通过有理插值推广到所有频率。

Comments 16 pages, Submitted to IEEE Transactions on Automatic Control

The Trilemma of Truth in Large Language Models

大型语言模型中真理的三难困境

Germans Savcisens, Tina Eliassi-Rad

机构 * Khoury College of Computer Sciences Northeastern University（东北大学科里学院） ； Network Science Institute Northeastern University（东北大学网络科学研究所） ； Santa Fe Institute（圣菲研究所） 纠错

AI总结 针对大型语言模型知识真实性探测方法的缺陷，提出结合多实例学习与共形预测的sAwMIL框架，实现真、假及不确定三类分类，揭示真理与虚假的非对称编码及第三种信号的存在。

Comments The main text is 9 pages long (plus 3 pages of references); supplementary material (60 pages) is included in the same PDF

Explore-Execute Chain: Towards an Efficient Structured Reasoning Paradigm

探索-执行链：迈向高效的结构化推理范式

Kaisen Yang, Tinghe Zhang, Rushi Shah, Kaicheng Yang, Qinwei Ma, Dianbo Liu, Alex Lamb

机构 * Qizhi Institute（启智研究院） ； Dept. of Computer Science, Tsinghua University（清华大学计算机科学系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Engineering Department, National University of Singapore（新加坡国立大学工程系） ； Dept. of Automation, Shanghai Jiao Tong University（上海交通大学自动化系） ； IIIS, Tsinghua University（清华大学人工智能研究院） ； College of Software, Northeastern University（东北大学软件学院） 纠错

AI总结 提出探索-执行链（E²C），将推理分为随机探索阶段（生成简洁高层计划）和确定性执行阶段（忠实执行计划），通过因果SFT和RL训练分离，在AIME'2024上以更少token超越思维树，并支持轻量领域适应。