语言大模型 / LLM

LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series

LLM预训练塑造了可泛化的流形：跨模态迁移至时间序列的洞察

Alexis Roger, Prateek Humane, Zhenghan Tai, Gwen Legate, Andrei Mircea, Vasilii Feofanov, Irina Rish

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； University of Toronto（多伦多大学） ； Concordia University（康科迪亚大学） ； com（42.com） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了语言预训练的Transformer能否成为有效的时序预测器，并揭示了跨模态迁移的机制，指出预训练构建了流形，微调则将数值动态投影到任务相关方向。

LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws

LLMs on the Line: 数据决定损失-损失缩放定律

Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

机构 * Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Tübingen AI Center（图宾根人工智能中心） ； University of Tübingen（图宾根大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究探讨了影响LLM损失-损失缩放定律的主要因素，发现预训练数据决定了缩放趋势，而模型大小、优化超参数、分词器和架构差异对缩放影响有限，因此应精心选择预训练数据以获得最佳下游性能。

Comments ICML 2025 camera-ready version

Creating Artificial Students that Never Existed: Leveraging Large Language Models and CTGANs for Synthetic Data Generation

创建从未存在过的虚拟学生：利用大型语言模型和CTGANs进行合成数据生成

Mohammad Khalil, Sam Urmian, Ronas Shakya, Qinyi Liu

机构 * Centre for the Science of Learning & Technology (SLATE)（学习科学与技术中心（SLATE）） ； University of Bergen（卑尔根大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了利用生成对抗网络（GANs）和大型语言模型（LLMs）生成合成表格数据的潜力，探讨了通过合成数据创建虚拟学生以服务于学习分析模型的可能性，并评估了不同生成模型的性能。

Optimization Hyper-parameter Laws for Large Language Models

大语言模型的优化超参数规律

Xingyu Xie, Kuangyu Ding, Shuicheng Yan, Kim-Chuan Toh, Tianwen Wei

机构 * Department of Mathematics, National University of Singapore, Singapore（新加坡国立大学数学系） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Department of Mathematics and Institute of Operations Research and Analytics, National University of Singapore, Singapore（新加坡国立大学数学系和运筹分析研究所） ； Skywork AI, Beijing（北京Skywork AI） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出Opt-Laws框架，通过分析SDE收敛和逃逸特性，预测最终训练损失，从而在小规模实验中预选学习率调度方案，提高了超参数选择的准确性。

Chronicle: A Multimodal Foundation Model for Joint Language and Time Series Understanding

Chronicle：一种用于联合语言和时间序列理解的多模态基础模型

Paul Quinlan, Jeremy Levasseur, Qingguo Li, Xiaodan Zhu

机构 * InertialAI ； Department of Electrical and Computer Engineering, Queen’s University（皇后大学电气与计算机工程系） ； Department of Mechanical and Materials Engineering, Queen’s University（皇后大学机械与材料工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Chronicle，一种联合训练语言和时间序列的多模态基础模型，通过统一架构实现两者共享参数，从而在多个任务上取得了优异表现。

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind

OSCToM: 用于高阶理论之心的强化学习引导对抗生成

Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat

机构 * Department of Computer Science（计算机科学系） ； BRAC University（布拉克大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出OSCToM，一种结合强化学习、领域特定语言和组合替代模型的方法，用于建模LLM中的嵌套信念冲突，通过生成观察者-自我冲突来提升复杂社会场景下的理论之心推理能力。

Comments 15 pages, 12 figures containing 15 images, 3 tables. Code available at https://github.com/sharminsrishty/osct

SpectralEarth-FM: Bringing Hyperspectral Imagery into Multimodal Earth Observation Pretraining

SpectralEarth-FM: 将高光谱图像引入多模态地球观测预训练

Nassim Ait Ali Braham, Aaron Banze, Conrad M. Albrecht, Julien Mairal, Jocelyn Chanussot, Xiao Xiang Zhu

机构 * Chair of Data Science in Earth Observation（地球观测数据科学主任） ； Technical University of Munich（慕尼黑技术大学） ； Remote Sensing Technology Institute（遥感技术研究所） ； German Aerospace Center (DLR)（德国航空航天中心） ； Department of Aerospace Engineering（航空航天工程系） ； University of the Bundeswehr Munich（联邦国防军慕尼黑大学） ； LEAP ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； Inria（法国国家信息与自动化技术研究院） ； CNRS（法国国家科学研究中心） ； Grenoble INP（格勒诺布尔INP） ； LJK 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出SpectralEarth-FM，一种用于多传感器地球观测输入的分层变压器，旨在联合处理高光谱图像与低通道观测。通过构建SpectralEarth-MM数据集，采用JEPA风格的目标进行预训练，实现了在高光谱下游任务和标准EO基准上的最佳性能。

Terminal-World: Scaling Terminal-Agent Environments via Agent Skills

Terminal-World: 通过智能体技能扩展终端智能体环境

Zihao Cheng, Hongru Wang, Zeming Liu, Xinyi Wang, Xiangrong Zhu, Yuhang Guo, Wei Lin, Jeff Z. Pan, Yunhong Wang

机构 * School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院） ； Independent Researcher（独立研究者） ； Beijing Institute of Technology（北京理工大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 预训练与数据 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Terminal-World，一种自动化流程，利用智能体技能作为核心合成原语，共同编码任务目标、执行时机和方法，从而生成任务指令、环境和教师轨迹。通过构建5,723个训练环境，训练出Terminal-World-8B/14B/32B模型，在六个基准测试中均优于终端智能体基线，其中Terminal-World-32B在Terminal-Bench 2.0上以仅1.2%的训练数据超越Nemotron-Terminal-32B。

Comments Work in Progress

Towards the Anonymization of the Language Modeling

朝向语言模型的匿名化

Antoine Boutet, Lucas Magnana, Juliette Sénéchal

机构 * INSA Lyon, Inria, CITI, UR3720（里昂国家理工学院、法国国家科学研究中心、CITI、UR3720） ； Inria, INSA Lyon, CITI, UR3720（法国国家科学研究中心、里昂国家理工学院、CITI、UR3720） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种隐私保护的语言模型方法，通过掩码语言模型（MLM）和因果语言模型（CLM）方法，旨在解决语言模型的匿名化问题，从而促进其共享。研究通过医疗数据集评估了这两种方法，并表明在避免记忆直接和间接标识信息的同时，能够保持高隐私性和高实用性。

To Select or not to Select, that is the Question: Distilling Robot Skill Prediction into a Small Ensemble

选择还是不选择，这是个问题：将机器人技能预测蒸馏成一个小集成

Haechan Mark Bong, Simon Roy, Euhid Aman, Giovanni Beltrame

机构 * Department of Computer Engineering and Software Engineering, Polytechnique Montréal（蒙特利尔理工学院计算机工程与软件工程系） ； MILA（蒙特利尔人工智能研究所） ； National Taiwan University of Science and Technology (NTUST)（台湾科技大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)

AI总结 本文研究了机器人技能预测问题，通过合成数据集和微调句子编码器，提出了一种小规模专用模型，在零样本提示下优于大型通用LLM，在机器人队伍任务路由中表现更佳。

Journal ref ICRA 2026 Workshop on Synthetic Data for Robot Learning

Self-Training Doesn't Flatten Language -- It Restructures It: Surface Markers Amplify While Deep Syntax Dies

自我训练不使语言扁平化——它重构了它：表面标记增强而深层语法消失

Ming Liu

机构 * Amazon（亚马逊） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究通过实验发现自我训练过程并非使语言扁平化，而是重构了语言结构，表面标记增强而深层语法结构消失，并提出了结构性深度假说来解释这一现象。

Comments 19 pages (14 main + 5 appendix), 8 figures, 3 tables

Towards Understanding Self-Pretraining for Sequence Classification

向序列分类中的自预训练理解迈进

Omar Coser, Loredana Zollo, Paolo Soda, Antonio Orvieto

机构 * Unit of Artificial Intelligence & Computer Systems, Università Campus Bio-Medico di Roma（人工智能与计算机系统单位，罗马生物医学学院） ； Unit of Advanced Robotics and Human-Centered Technologies, Università Campus Bio-Medico di Roma（先进机器人与以人为本技术单位，罗马生物医学学院） ； Department of Diagnostics and Intervention, Radiation Physics, Biomedical Engineering, Umeå University（诊断与介入部门，辐射物理，生物医学工程，乌梅拉大学） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文通过复制和系统消融Amos等人的研究，揭示了自预训练（SPT）在序列分类中提升性能的关键因素，发现标签监督在学习有用的查询-键注意力模式方面存在瓶颈，并通过简化理论框架证明了自预训练通过学习接近性交互来提升性能。

Comments v1: Preliminary, extension of the version accepted at ICML 2025 Workshop MOSS

Instrumental Text-to-Music Generation with Auxiliary Conditioning Branches

通过辅助条件分支进行乐器文生成

Junyoung Koh

机构 * Department of Artificial Intelligence（人工智能系） ； Yonsei University（延世大学） ； MAAP ； KRAFTON ； Seoul, Republic of Korea（韩国首尔） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 本文研究了在无外部预训练的情况下，通过控制数据和预训练来隔离有效设计选择的问题，发现去除辅助分支的模型在多个评估指标上表现较差，而增加DiT深度只能小幅恢复性能，表明辅助分支可能在训练时起到架构锚定作用。

Comments ICME 2026 Grand Challenge on Academic Text-to-Music Generation

Quantifying Hyperparameter Transfer and the Importance of Embedding Layer Learning Rate

量化超参数迁移与嵌入层学习率的重要性

Dayal Singh Kalra, Maissam Barkeshli

机构 * Department of Physics, University of Maryland, College Park（马里兰大学物理系） ； Department of Computer Science, University of Maryland, College Park（马里兰大学计算机科学系） ； Joint Quantum Institute, University of Maryland, College Park（马里兰大学联合量子研究所） ； Meta Superintelligence Labs, Fundamental AI Research（Meta超智能实验室，基础人工智能研究） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了超参数迁移的量化方法，通过三种指标评估超参数迁移的质量，发现Maximal Update（μP）参数化在训练中通过最大化嵌入层学习率提升了超参数迁移质量，而权重衰减虽改善了缩放定律拟合，但会降低外推鲁棒性。

Comments 10+28 pages, 5+17 figures

SOLAR: A Self-Optimizing Open-Ended Autonomous Agent for Lifelong Learning and Continual Adaptation

SOLAR：一种自优化的开放式自主代理，用于终身学习和持续适应

Nitin Vetcha, Dianbo Liu

机构 * Department of Ophthalmology, Yong Loo Lin School of Medicine, National University of Singapore, Singapore（眼科学系，Yong Loo Lin医学院，新加坡国立大学，新加坡） ； Department of Computational and Data Sciences, Indian Institute of Science, Bangalore, Karnataka, India（计算与数据科学系，印度科学研究院，班加罗尔，卡纳塔克邦，印度） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SOLAR，一种自优化的开放式自主代理，通过参数级元学习实现自我改进，解决了动态真实世界中概念漂移和梯度基适应成本高的问题，展示了在常识、数学、医学、编程、社交和逻辑推理任务上的优越性能。

Comments Accepted at "Association for the Advancement of Artificial Intelligence 2026 Conference" in Streaming Continual Learning Bridge. Published in CEUR Workshop Proceedings (Original version at https://ceur-ws.org/Vol-4183/paper2.pdf)

Journal ref CEUR Workshop Proceedings, Vol. 4183, 2026

Sample Complexity of Transfer Learning: An Optimal Transport Approach

迁移学习的样本复杂性：一种最优传输方法

Haoyang Cao, Xin Guo, Wenpin Tang, Guan Wang

机构 * Tsinghua-Berkeley Shenzhen Institute（清华大学-伯克利深圳研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过最优传输视角分析迁移学习的样本效率，发现当数据维度d大于3时，迁移学习的样本复杂性为O(m^{-(α+1)/d})，优于直接学习的O(m^{-p/d})，其中α表示数据分布的光滑度，p表示最优目标模型的光滑度。

MulFSA: Multi-level Financial Sentiment Analysis Framework for Bond Market

MulFSA: 用于债券市场的多级财务情绪分析框架

Yiwei Liu, Junbo Wang, Lei Long, Xin Li, Ruiting Ma, Yuankai Wu, Xuebin Chen

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 本文提出MulFSA框架，基于预训练语言模型和大语言模型，系统整合企业级微观情绪、行业级中观情绪和持续时间感知平滑，以建模文本影响的延迟和持续性，从而提升信用利差预测的准确性。

DISC: Decoupling Instruction from State-Conditioned Control via Policy Generation

DISC: 通过策略生成解耦指令与状态条件控制

Hanxiang Ren, Pei Zhou, Xunzhe Zhou, Yanchao Yang

机构 * Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） ； TranscEngram 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 DISC通过策略生成解耦指令与状态条件控制，解决了任务状态耦合导致的观察泄漏问题，并在多个基准测试中表现出色，证明了语言生成的策略参数驱动行为。

TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance

TimeRewarder: 通过帧间时间距离从被动视频中学习密集奖励

Yuyang Liu, Chuan Wen, Yihang Hu, Dinesh Jayaraman, Yang Gao

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China（清华大学交叉信息研究院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TimeRewarder方法，通过帧间时间距离从被动视频中学习密集奖励，以提升强化学习在稀疏奖励任务中的性能，实验表明其在多个任务中显著提高了成功率和样本效率。

Comments ICML 2026 spotlight paper

WestWorld: A Knowledge-Encoded Scalable Trajectory World Model for Diverse Robotic Systems

WestWorld: 一种知识编码的可扩展轨迹世界模型用于多样化机器人系统

Yuchen Wang, Jiangtao Kong, Sizhe Wei, Xiaochang Li, Haohong Lin, Hongjue Zhao, Tianyi Zhou, Lu Gan, Huajie Shao

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出WestWorld，一种知识编码的可扩展轨迹世界模型，用于多样化机器人系统，通过引入系统感知的混合专家（Sys-MoE）和结构嵌入来提升可扩展性和零样本泛化能力，实现了在多种机器人环境中的高效轨迹预测和控制。

Comments ICML 2026 spotlight

FineVision: Open Data Is All You Need

FineVision: 你只需要开放数据

Luis Wiedmann, Orr Zohar, Amir Mahla, Xiaohan Wang, Rui Li, Thibaud Frere, Leandro von Werra, Aritra Roy Gosthipaty, Andrés Marafioti

机构 * Hugging Face ； Technical University of Munich（慕尼黑技术大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 本文提出FineVision，一个包含2400万样本的高质量数据集，通过半自动化流程整合了200多个来源，通过严格的数据清洗和人工审核确保数据质量，训练基于该数据集的模型在广泛评估中表现更优，推动数据驱动的视觉语言模型研究。

TERDNet: Transformer Encoder-Recurrent Decoder Network for Scene Change Detection

TERDNet: 用于场景变化检测的Transformer编码器-递归解码器网络

Jiae Yoon, Ue-Hwan Kim

机构 * Department of AI Convergence, Gwangju Institute of Science and Technology (GIST)（人工智能融合系，全州科学技术院（GIST）） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出TERDNet，一种用于场景变化检测的Transformer编码器-递归解码器网络，通过多级特征提取、特征融合模块、递归解码器和上采样模块，提升了场景变化检测的精度和鲁棒性。

Comments 8 pages, 4 figures. Accepted to the IEEE International Conference on Robotics and Automation (ICRA) 2026

FT-Dojo: Towards Autonomous LLM Fine-Tuning with Language Agents

FT-Dojo: 向自主LLM微调迈进的语言代理

Qizheng Li, Yifei Zhang, Xiao Yang, Xu Yang, Zhuo Wang, Weiqing Liu, Jiang Bian

机构 * Peking University（北京大学） ； Nanjing University（南京大学） ； Microsoft Research Asia（微软亚洲研究院） ； The University of Chicago（芝加哥大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language agent(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出FT-Dojo交互式基准环境，用于研究自主LLM微调，通过标准化任务接口、共享数据仓库、沙盒执行环境和反馈协议，开发了FT-Agent框架，实现了结构化迭代规划和多级反馈分析，实验显示FT-Agent在13个任务中表现优异，且展示了代理在故障恢复和长期规划中的能力。

Comments 26 pages, 6 figures, 11 tables

Enhancing Speech Large Language Models through Reinforced Behavior Alignment

通过强化行为对齐增强语音大语言模型

Yansong Liu, Jiateng Li, Yuan Liu

机构 * Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出了一种名为强化行为对齐（RBA）的框架，通过自合成方法生成高质量对齐数据来提升语音大语言模型（SpeechLMs）的语言生成能力，实验表明该方法显著提升了SpeechLMs的指令遵循能力，并可扩展至语音问答和语音转文本翻译等任务。

Universal Reasoner: A Single, Composable Plug-and-Play Reasoner for Frozen LLMs

Universal Reasoner: 一个单一、可组合的即插即用推理器用于冻结的LLM

Jaemin Kim, Hangeol Chang, Hyunmin Hwang, Choonghan Kim, Jong Chul Ye

机构 * Graduate School of Artificial Intelligence, Korea Advanced Institute of Science and Technology（人工智能研究生院，韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Universal Reasoner，一种可组合且即插即用的推理模块，能够在冻结的大规模语言模型上提供专门的推理能力，通过共享或对齐的token空间实现弱到强的泛化，实验表明其在数学推理和机器翻译中优于现有微调方法。

Comments ICML 2026

Comparing Explanations is Not Enough, Explain the Change: New Standards are Needed to Explain Behavioral Shifts in Large Language Models

比较解释并不足够，解释变化：需要新的标准来解释大型语言模型中的行为转变

Martino Ciaperoni, Marzio Di Vece, Roberto Pellungrini, Luca Pappalardo, Fosca Giannotti, Francesco Giannini

机构 * Scuola Normale Superiore（诺莱学院） ； ISTI-CNR（意大利国家研究委员会ISTI研究所） ； University of Pisa（比萨大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种新的XAI方法，旨在解释大型语言模型在干预后行为转变的原因和机制，以应对现有解释方法无法解释行为转变的问题。

Compute Aligned Training: Optimizing for Test Time Inference

计算对齐训练：优化测试时间推断

Adam Ousherovitch, Ambuj Tewari

机构 * Department of Statistics（统计学系） ； University of Michigan（密歇根大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出计算对齐训练方法，通过将训练目标与测试时间策略对齐，提升大语言模型在测试时的推断性能。

Distribution-Aware Reward: Reinforcement Learning over Predictive Distributions for LLM Regression

Distribution-Aware Reward: 用于LLM回归的预测分布强化学习

Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Distribution-Aware Reward，一种基于预测分布的强化学习方法，旨在提升语言模型在回归任务中的预测分布质量，而非仅优化单个解码输出。通过连续排名概率分数评估多个解码样本的分布，并基于每个rollout对分布质量的边际贡献分配信用，从而提升预测的准确性和分散性。实验表明，该方法在多个任务中优于监督微调和点wise强化学习基线，尤其在KBSS数据集上Spearman相关性提升6点。

Comments 21 pages, 5 figures

Complementing reinforcement learning with SFT through logit averaging in the post training of LLMs

通过logit平均在LLMs后训练中补充强化学习

Xingwei Gan, Ying Zhu

机构 * UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 指令微调 ：SFT(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 本文提出一种在LLMs后训练中通过logit平均补充强化学习的方法，将该方法整合到Group Relative Policy Optimization (GRPO)中，无需使用KL正则化或critic，通过logit平均结构将可训练策略与参考策略耦合，以利用可训练策略的推理能力并保持SFT的格式优势。

Learning First Integrals via Backward-Generated Data and Guided Reinforcement Learning

通过反向生成数据和引导强化学习学习第一积分

Jingfeng Zhong, Zhengxiang Liu, Zhijie Wang, Shuai Li

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出FISolver，一种基于LLM的求解器，通过反向生成数据和引导强化学习方法，解决第一积分发现中的数据稀缺问题，并在挑战性基准上显著优于其他方法。

Comments 17 pages, 2 figures, 3 tables