语言大模型 / LLM

LLM-Empowered Agentic MAC Protocols: A Dynamic Stackelberg Game Approach

LLM赋能的智能MAC协议：一种动态Stackelberg博弈方法

Renxuan Tan, Rongpeng Li, Fei Wang, Chenghui Peng, Shaoyun Wu, Zhifeng Zhao, Honggang Zhang

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院） ； Huawei Technologies Company Ltd.（华为技术有限公司） ； Zhejiang Lab（之江实验室） ； Zhejiang University（浙江大学） ； Macau University of Science and Technology（澳门科技大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种博弈论LLM赋能的多智能体深度强化学习框架，将上行传输建模为动态多追随者Stackelberg博弈，通过PPO协调LLM驱动代理合成自适应语义MAC协议，实现无需重训的泛化，吞吐量提升77.6%，公平性提升65.2%。

Comments This work has been submitted to IEEE for possible publication

Provably Efficient Regularized Online RLHF with Generalized Bilinear Preferences

具有广义双线性偏好的可证明高效正则化在线RLHF

Junghyun Lee, Minju Hong, Kwang-Sung Jun, Chulhee Yun, Se-Young Yun

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； KAIST EE（韩国科学技术院电子工程系） ； POSTECH CSE/AI（POSTECH 计算科学与人工智能系） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；分类 cs.LG

AI总结 研究在线RLHF中正则化最佳响应最大遗憾最小化问题，通过广义双线性偏好模型证明强凸性可导出多对数遗憾，表明快速遗憾不限于KL散度。

Comments 48 pages, 3 figures (ver3: major revisions; ver2: more colorful boxes, fixed some typos)

Reinforcement Learning for LLM-based Event Forecasting

基于强化学习的LLM事件预测

Amit Arnold Levy

机构 * Advanced Computer Science（高级计算机科学） ； DeepSeek R1 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.LG

AI总结 使用GRPO微调LLM，结合Wikipedia修订工具获取实时信息，预测未来事件，使1.5B参数模型性能超越Claude Sonnet 3.5。

Comments Submitted internally at the University of Oxford in Oct 2025, migrated to arXiv on Jun 2026

GIFT: LLM-Guided State-Reward Interface for Financial Reinforcement Learning

GIFT: 基于LLM引导的状态-奖励接口用于金融强化学习

Yanyan Wu, Boyi Zhang, Yanlin Liu, Xinyu Fang, Jining Luan, Meiqi Zhang, Jiacheng Liu, Hao Zeng, Dexu Yu, Chang Liu, Hanwen Du, Yongxin Ni, Youhua Li

机构 * East China University of Science and Technology（华东理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Southwestern University of Finance and Economics（西南财经大学） ； University of Sydney（悉尼大学） ； City University of Hong Kong（香港城市大学） ； Northeastern University（东北大学） ； The Ohio State University（俄亥俄州立大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出GIFT框架，利用大语言模型引导PPO强化学习中的状态增强和奖励塑造，提升金融交易策略的样本外风险调整收益。

Comments 25 pages, 7 figures. Code and data are available at https://github.com/KAG778/GIFT . Equal contribution: Yanyan Wu and Boyi Zhang. Corresponding author: Youhua Li

When Denser Credit Is Not Enough: Evidence-Calibrated Policy Optimization for Long-Horizon LLM Agent Training

当更密集的信用不足时：面向长周期LLM智能体训练的基于证据校准的策略优化

Yuanfan Li, Qi Zhou, Wenjing Duan, Lu Chen

机构 * X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China（X-LANCE实验室，计算机科学学院，上海交通大学，上海，中国） ； Faculty of Electronic and Information Engineering, Xi’an Jiaotong University（电子与信息工程学院，西安交通大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对长周期LLM智能体在稀疏延迟奖励下的信用分配问题，提出一种无评论家的策略优化算法ECPO，通过证据校准的动作优势和方差门控信用加权来修正密集信用的统计不可靠性，在ALFWorld和WebShop上显著提升性能。

Evo-Attacker: Memory-Augmented Reinforcement Learning for Long-Horizon Tool Attacks on LLM-MAS

Evo-Attacker: 用于LLM-MAS长时程工具攻击的记忆增强强化学习

Bingyu Yan, Xiaoming Zhang, Jinyu Hou, Chaozhuo Li, Ziyi Zhou, Yiming Hei, Litian Zhang

机构 * Beihang University（北航） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； China Academy of Information and Communications Technology（信息通信技术研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Evo-Attacker，通过记忆增强强化学习框架将工具攻击建模为自进化过程，并引入Attack-Flow GRPO优化长时程信用分配，实验表明其优于基线方法。

Comments ACL 2026 main

StepGap: A Hybrid NLI-LLM Checker for Step-Level Evidence-Gap Detectionin Multi-Hop Question Answering

StepGap：一种用于多跳问答中步骤级证据缺口检测的混合NLI-LLM检查器

Yuelyu Ji, Zhuochun Li, Hui Ji, Daqing He

机构 * School of Computing and Information, University of Pittsburgh（计算信息学院，匹兹堡大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出混合NLI-LLM决策树StepGap，用于检测多跳问答中的步骤级证据缺口并输出三类标签，在82个问题上达到sF1=72.0，且作为GRPO过程奖励可提升模型精确匹配率。

DynaTrain: Fast Online Parallelism Switching for Elastic LLM Training

DynaTrain: 快速在线并行切换用于弹性大语言模型训练

Yuanqing Wang, Yuchen Zhang, Hao Lin, Junhao Hu, Chunyang Zhu, Quanlu Zhang, Boxun Li, Guohao Dai, Zhi Yang, Daning Cheng, Yunquan Zhang, Yu Wang

机构 * Institute of Computing Technology, CAS（中国科学院计算技术研究所） ； Peking University（北京大学） ； Infinigence AI ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出DynaTrain，一种能够快速在线重新配置任意多维并行性的分布式训练系统，通过虚拟参数空间抽象统一所有分布式训练状态，实现并行配置的确定性映射，并在密集和MoE模型上展示了显著的性能提升。

Comments GitHub Repo: https://github.com/infinigence/ElasticMegatron

Factored Causal Representation Learning for Robust Reward Modeling in RLHF

因式分解因果表示学习用于RLHF中的鲁棒奖励建模

Yupei Yang, Lin Yang, Wanxi Deng, Lin Qu, Fan Feng, Biwei Huang, Shikui Tu, Lei Xu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） ； University of California San Diego（加州大学圣地亚哥分校） ； Mohamed bin Zayed University of Artificial Intelligence（莫莫德·本·扎耶德人工智能大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出因式分解表示学习框架，通过分离因果因素与非因果因素提升奖励模型鲁棒性，有效缓解奖励黑客问题。

SkillMaster: Toward Autonomous Skill Mastery in LLM Agents

SkillMaster：迈向LLM代理自主技能掌握

Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

机构 * Shandong University（山东大学） ； Zhongguancun Academy（中关村学院） ； Tsinghua University（清华大学） ； Southeast University（东南大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI

AI总结 SkillMaster通过轨迹引导技能复习、反事实效用评估和DualAdv-GRPO算法，使LLM代理能自主创建、优化和选择技能，提升任务成功率8.8%和9.3%。

Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

潜在代理：一种事后训练过程用于内部化多代理辩论

John Seon Keun Yi, Aaron Mueller, Dokyun Lee

机构 * Boston University（波士顿大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种两阶段微调流程，将多代理辩论转化为单个LLM，通过动态奖励调度和长度截断实现内部化，减少93%的token使用，同时通过激活引导发现代理特定子空间，并展示通过内部化辩论抑制恶意代理的应用。

Comments ACL 2026 Main

See2Refine: Vision-Language Feedback Improves LLM-Based eHMI Action Designers

See2Refine：视觉语言反馈提升基于LLM的eHMI动作设计

Ding Xia, Xinyue Gui, Mark Colley, Fan Gao, Zhongyi Zhou, Dongyuan Li, Renhe Jiang, Takeo Igarashi

机构 * The University of Tokyo（东京大学） ； University College London（伦敦大学学院） ； Google（谷歌） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 See2Refine通过视觉语言模型的反馈机制，提升基于大语言模型的eHMI动作设计能力，实现无需人工干预的闭环改进，优于传统提示和人工指定基线。

Comments Accepted to ACL2026

Efficient Federated RLHF via Zeroth-Order Policy Optimization

高效联邦RLHF via零阶策略优化

Deyi Wang, Qining Zhang, Lei Ying

机构 * University of Michigan（密歇根大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；分类 cs.LG

AI总结 本文提出一种高效联邦RLHF算法Par-S$^2$ZPO，通过零阶优化和二进制扰动降低通信、计算和内存复杂度，理论分析证明其在样本复杂度上与集中式方法相当，但策略更新迭代更快，在MuJoCo任务中表现更优。

Decomposition-Enhanced Training for Post-Hoc Attributions In Language Models

Sriram Balasubramanian, Samyadeep Basu, Koustava Goswami, Ryan Rossi, Varun Manjunatha, Roshan Santhosh, Ruiyi Zhang, Soheil Feizi, Nedim Lipka

专题命中 后训练与偏好优化 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；post-training(abstract)

Comments Post-hoc attribution

Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models

Hao Xiang, Bowen Yu, Hongyu Lin, Keming Lu, Yaojie Lu, Xianpei Han, Ben He, Le Sun, Jingren Zhou, Junyang Lin

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(title)；language model(title)；分类 cs.CL

Statistical Rejection Sampling Improves Preference Optimization

Tianqi Liu, Yao Zhao, Rishabh Joshi, Misha Khalman, Mohammad Saleh, Peter J. Liu, Jialu Liu

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted in ICLR 2024

CreativeInstruct: Scalably Teaching LLMs to Balance Quality, Creativity, and Diversity

CreativeInstruct：规模化教导大型语言模型（LLM）平衡质量、创造性与多样性

Ananya Sahu, Mohit Bansal, Elias Stengel-Eskin

机构 * Columbia（哥伦比亚大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 该研究提出CreativeInstruct指令调优方法，通过注入[StartCreativity]跨度平衡LLM的质量、创造性与多样性，其在叙事生成中表现更优，还能提升强化学习任务性能。

Comments Code: https://github.com/ananya-sahu/CreativeInstruct

Post-Training in Time Series Foundation Models: A Unifying Framework

时间序列基础模型的训练后处理：一个统一框架

Shifeng Xie, Ambroise Odonnat, Zehao Xiao, Lei Zan, Malik Tiomoko, Lujia Pan, Themis Palpanas, Boris N. Oreshkin, Chenghao Liu, Keli Zhang

专题命中 后训练与偏好优化 ：foundation model(title,abstract)；post-training(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究时间序列基础模型预训练不足以可靠部署下游任务的问题，基于预测管道干预位置分析训练后处理方法，分为五类并研究其代表性方法与局限，确定未来方向，提供统一框架助于相关研究。

Unbiased Alignment for Large Language Models with Noisy Preferences

具有噪声偏好的大语言模型的无偏对齐

Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型与人类偏好对齐问题，针对真实偏好数据集中噪声大的问题，提出无偏对齐理论框架，引入新损失函数，能直接从噪声数据集无偏训练模型，实验表明优于现有基线。

Comments Accepted by ICML2026

TimeSRL: Generalizable Time-Series Behavioral Modeling via Semantic RL-Tuned LLMs -- A Case Study in Mental Health

TimeSRL: 通过语义RL调优的LLM实现通用的时间序列行为建模 -- 一项心理健康应用的案例研究

Yuang Fan, Lilin Xu, Millie Wu, Jingping Nie, Qingyu Chen, Yuzhe Yang, Zhuo Zhang, Xin Liu, Subigya Nepal, Xiaofan Jiang, Xuhai "Orson" Xu

机构 * Columbia University（哥伦比亚大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Yale University（耶鲁大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Google（谷歌） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TimeSRL，一种两阶段LLM框架，通过显式的语义瓶颈路由预测，将原始信号抽象为高级自然语言，从而预测行为结果，该方法在心理健康预测中实现了最先进的跨群体泛化性能。

Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

传递性与循环性：动态大语言模型对齐的显式偏好分解

Yucong Huang, Xiucheng Li, Kaiqi Zhao, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳校区） 纠错

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；RLHF(abstract,abstract_cn)；preference optimization(abstract)

AI总结 本文提出Hybrid Reward-Cyclic模型，通过博弈论分解显式分离传递性和循环性偏好，结合动态自我博弈优化方法提升大语言模型对齐效果，实验证明其在混合传递-循环设置中具有结构优势和更高的准确率。

Comments Accepted by ICML 2026

DVPO: Distributional Value Modeling-based Policy Optimization for LLM Post-Training

DVPO：基于分布价值建模的策略优化用于大语言模型后训练

Dingwei Zhu, Zhiheng Xi, Shihan Dou, Yuhui Wang, Sixian Li, Junjie Ye, Honglin Guo, Shichun Liu, Chenhao Huang, Yajie Yang, Junlin Shang, Senjie Jin, Ming Zhang, Jiazheng Zhang, Caishuang Huang, Yunke Zhang, Yuran Wang, Tao Gui

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； Honor Device Co., Ltd（荣誉设备有限公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 DVPO通过结合条件风险理论与分布价值建模，在噪声监督下提升大语言模型后训练的鲁棒性和泛化能力，优于PPO、GRPO等方法。

English is Not All You Need: Systematically Exploring the Role of Multilinguality in LLM Post-Training

英语并非一切所需：系统探索多语言在大语言模型后训练中的作用

Mehak Dhaliwal, Shashwat Chaurasia, Yao Qin, Dezhi Hong, Thomas Butler

机构 * UC Santa Barbara（加州大学圣巴巴拉分校） ； Amazon（亚马逊） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究通过220次监督微调实验，探讨训练语言覆盖、模型规模和任务领域间的相互作用，发现增加后训练语言覆盖对各任务和模型规模均有益，低资源语言受益最大，高资源语言趋于稳定。单语种多语言性可提升英语表现和跨语言泛化，英语独占后训练效果不佳。

Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

卡牌对战大语言模型：大型语言模型幽默对齐的基准测试

Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

机构 * Ghent University（根特大学） ； University of Helsinki（赫尔辛基大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过让五种前沿语言模型与人类玩家玩卡牌对战游戏，评估大语言模型在幽默对齐方面的表现，发现模型在幽默判断上与人类偏好不一致，可能受系统性偏差影响。

Aligning Large Language Models with Searcher Preferences

将大型语言模型对齐于搜索者偏好

Wei Wu, Peilun Zhou, Liyi Chen, Qimeng Wang, Chengqiang Lu, Yan Gao, Yi Wu, Yao Hu, Hui Xiong

机构 * School of Artificial Intelligence and Data Science, University of Science and Technology of China（中国科学技术大学人工智能与数据科学学院） ； Xiaohongshu Inc.（小红书公司） ； Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）人工智能研究所） ； Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 SearchLLM通过分层多维奖励系统提升开放式生成搜索的鲁棒性和用户需求对齐能力，实测有效消费率提升1.03%。

Aligning Large Language Model Behavior with Human Citation Preferences

使大型语言模型行为与人类引用偏好对齐

Kenichiro Ando, Tatsuya Harada

机构 * RIKEN AIP（日本研究所） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(title)；LLM(abstract)；preference optimization(abstract)

AI总结 本研究通过构建数据集分析LLM引用行为与人类偏好的一致性，发现模型在引用医学文本和数字句子上存在偏差，通过优化可提升对齐效果。

Comments Work In Progress

MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering

MLLMEraser: 通过激活引导在多模态大语言模型中实现测试时遗忘

Chenlu Ding, Jiancan Wu, Leheng Sheng, Fan Zhang, Yancheng Yuan, Xiang Wang, Xiangnan He

机构 * University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Huawei（华为） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 MLLMEraser通过激活引导实现多模态大语言模型的测试时遗忘，无需训练且有效降低计算成本，同时保持保留知识的效用。

Beyond Instrumental and Substitutive Paradigms: Introducing Machine Culture as an Emergent Phenomenon in Large Language Models

超越工具性和替代性范式：引入机器文化作为大型语言模型中的涌现现象

Yueqing Hu, Xinyang Peng, Yukun Zhao, Lin Qiu, Ka-lai Hung, Kaiping Peng

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出机器文化作为大型语言模型中的一种新兴现象，挑战传统工具性和替代性范式，揭示模型在文化表现上的独特特性。

Comments 16 pages, 6 figures

Emergent Introspective Awareness in Large Language Models

大语言模型中的涌现自我意识

Jack Lindsey

机构 * Anthropic 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现大语言模型在特定条件下能识别自身内部状态，但其自我意识仍不成熟且依赖上下文。

Empathy by Design: Aligning Large Language Models for Healthcare Dialogue

设计中的共情：为医疗对话对齐大语言模型

Emre Umucu, Guillermina Solis, Leon Garza, Emilia Rivas, Beatrice Lee, Anantaa Kotal, Aritran Piplai

机构 * Department of Public Health Sciences, The University of Texas at El Paso, USA（公共卫生科学系，德克萨斯理工大学埃尔帕索分校） ； Department of Nursing, The University of Texas at El Paso, USA（护理系，德克萨斯理工大学埃尔帕索分校） ； Department of Rehabilitation Sciences, The University of Texas at El Paso, USA（康复科学系，德克萨斯理工大学埃尔帕索分校） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于DPO的对齐框架，通过优化医疗对话中事实准确性、语义连贯性和共情能力，提升AI助手在医疗场景中的可信度和人文关怀。