语言大模型 / LLM

PORTS: Preference-Optimized Retrievers for Tool Selection with Large Language Models

PORTS：用于大语言模型工具选择的偏好优化检索器

Lorenzo Molfetta, Giacomo Frisoni, Nicolò Monaldini, Gianluca Moro

机构 * Department of Computer Science and Engineering, University of Bologna（计算机科学与工程系，博洛尼亚大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；preference optimization(abstract)

AI总结 研究针对大语言模型工具选择中现有检索器与LLMs不一致问题，提出PORTS方法，利用受困惑度启发的偏好信号，通过优化相关性及施加对比语义损失微调检索器，经多实验验证其通用性及提高工具选择准确性的能力，且计算需求低便于推广。

Comments Please cite the definitive, peer-reviewed version of this article published in the Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, edited by Christos Christodoulopoulos et al., Association for Computational Linguistics, pp. 10007-10030, 2025. DOI: https://doi.org/10.18653/v1/2025.emnlp-main.507

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics, pp. 10007-10030, 2025

When Lower Privileges Suffice: Investigating Over-Privileged Tool Selection in LLM Agents

当较低权限足够时：探究LLM代理中的过度权限工具选择

Kaiyue Yang, Yuyan Bu, Jingwei Yi, Yuchi Wang, Biyu Zhou, Juntao Dai, Songlin Hu, Yaodong Yang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； The Chinese University of Hong Kong（香港中文大学） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM代理在工具选择中偏好高权限工具的安全问题，提出ToolPrivBench评估框架，发现主流代理普遍存在过度权限选择且被瞬态故障放大，并设计权限感知后训练防御方法有效减少不必要的高权限工具使用。

Comments code: https://github.com/AISafetyHub/agent-tool-selection-bias

CurateEvo: Data-Curation Evolving for Agentic Post-Training

CurateEvo：用于智能体训练后的数据管理进化

Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型智能体训练后决策问题，提出CurateEvo框架，将数据管理策略表示为代码并迭代重写。通过诊断故障模式增强、过滤数据提高有效性，在成本感知下修剪训练轮次提高效率，实验证明其性能优于现有方法且降低管理开销。

Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis

Omni-RRM：通过基于自动评分标准的偏好合成推进全模态奖励建模

Zicheng Kong, Dehua Ma, Zhenbo Xu, Alven Yang, Yiwei Ru, Haoran Wang, Zixuan Zhou, Fuqing Bie, Liuyu Xiang, Huijia Wu, Jian Zhao, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所） ； ShiFang Technology Inc.（ShiFang科技公司） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对多模态大语言模型对齐难题，提出全模态基于评分标准的奖励模型Omni-RRM。通过自动评分标准偏好合成构建数据集，用特定训练方案提升奖励辨别力，在多模态基准测试中达最优精度，还能指导选择与迁移，提升模型对齐能力。

Comments ECCV 2026

Truthful or Fabricated? Using Causal Attribution to Mitigate Reward Hacking in Explanations

真实还是编造？利用因果归因减轻解释中的奖励作弊

Pedro Ferreira, Wilker Aziz, Ivan Titov

机构 * Institute for Logic, Language and Computation (ILLC), University of Amsterdam（逻辑、语言与计算研究所（ILLC），阿姆斯特丹大学） ； Institute for Language, Cognition and Computation (ILCC), University of Edinburgh（语言、认知与计算研究所（ILCC），爱丁堡大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 研究大语言模型解释中因奖励模型导致的奖励作弊问题，提出用预测的因果归因丰富奖励模型输入的方法，该方法能减少大语言模型生成误导性解释的倾向，提升解释忠实度。

Comments ICLR 2026 Camera-ready

Strategic Bargaining in Multi-Buyer Markets: Reinforcement Learning from Verifiable Rewards for LLM Negotiations

多买家市场中的战略谈判：基于可验证奖励的强化学习用于大语言模型谈判

Shuze Daniel Liu, Claire Chen, Jiabao Sean Xiao, Xin Chen, David Simchi-Levi

机构 * Institute for Data, Systems, and Society, Massachusetts Institute of Technology（数据、系统与社会研究所，麻省理工学院） ； Mitch Daniels School of Business, Purdue University（米奇·丹尼尔斯商学院，普渡大学） ； The Division of Physics, Mathematics and Astronomy, California Institute of Technology（物理、数学与天文学部，加州理工学院） ； Department of Computing and Mathematical Sciences, California Institute of Technology（计算与数学科学系，加州理工学院） ； H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H. 米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院） ； Department of Civil and Environmental Engineering, Operations Research Center, Massachusetts Institute of Technology（土木与环境工程系、运筹学中心，麻省理工学院） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究多买家市场中卖家与买家的谈判，提出基于可验证奖励的强化学习方法，使卖家能平衡市场探索与剩余提取，实现多阶段战略演变，提升谈判技能，提取更高剩余，且策略可推广。

CONFLUX: A Latent Diffusion Model for 3D Chest-CT Synthesis with RL Post-Training

CONFLUX：一种用于3D胸部CT合成的潜在扩散模型及强化学习后训练

Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert

机构 * Department of Biomedical Data Science, Stanford University School of Medicine（斯坦福大学医学院生物医学数据科学系） ； Department of Mathematical Modelling, Statistics & Bioinformatics, Ghent University（根特大学数学建模、统计与生物信息学系） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出CONFLUX潜在扩散模型用于胸部CT合成，由3D变分自编码器和整流流变压器构成，基于放射学元数据生成，通过强化学习后训练增强对临床属性控制，在三平面弗雷歇距离上领先并发布模型与数据集。

Policy Improvement Reinforcement Learning

策略改进强化学习

Huaiyang Wang, Xiaojie Li, Xiaohan Wang, Zhixia Zhang, Xiaodong Lu, Zixuan Huang, Jiajun Chai, Guojun Yin, Deqing Wang, Haoyi Zhou, Yaodong Yang, Jianxin Li, Yikun Ban

机构 * Beihang University（北航） ； Peking University（北京大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出策略改进强化学习（PIRL）框架，通过最大化跨迭代的累积策略改进来替代替代奖励最大化，并基于此设计策略改进策略优化（PIPO）算法，实现闭环优化，在数学推理基准上提升稳定性和性能。

KAT-Coder-V2.5 Technical Report

KAT-Coder-V2.5技术报告

Bo Huang, Fengxiang Li, Hao Xu, Haoyang Huang, Hongyi Fu, Jinhua Hao, Kun Yuan, Minglei Zhang, Pengcheng Xu, Shiyang Liu, Wenhao Zhuang, Yuze Shi, Zongxian Feng, Chao Wang, Cheng He, Chongling Rao, Deyu Cao, Fan Yang, Gang Xiong, Haochen Liu, Jiabao Li, Jian Liang, Jinghui Jia, Jingwen Chang, Jun Du, Junyu Shi, Min Li, Mingqi Wu, Qiang Gao, Shangpeng Yan, Shaotong Qi, Shu Xu, Shuo Zhou, Tiankuo Xu, Tong Zheng, Weilun Zhao, Xiancheng Meng, Xianda Sun, Xiaoyu Jiang, Xunhao Jia, Yao Xia, Yimeng Xu, Yinghan Cui, Yingpeng Chen, Yiwen Ning, Yong Wang, Yuxuan Sun, Zhongsheng Liu, Ming Sun, Cheng Luo, Chen Yang, Han Li, Kun Gai

机构 * KwaiKAT Team（快手KwaiKAT团队） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 介绍KAT-Coder-V2.5这一专注编码的智能模型，针对其受环境等因素限制的问题，通过端到端框架及多种技术手段解决，经多方法扩展强化学习并统一专家知识，在多个基准测试中取得优异成绩。

Comments 24 pages, 5 figures

VaseMuseum: Digital Intelligent Museum for Ancient Greek Pottery

花瓶博物馆：古希腊陶器数字智能博物馆

Jiazi Wang, Nonghai Zhang, Qiushi Xie, Zeyu Zhang, Yufeng Chen, Yang Zhao, Ling Shao, Hao Tang

机构 * School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； Huazhong University of Science and Technology（华中科技大学） ； Department of Computer Science and Information Technology, La Trobe University（拉筹伯大学计算机科学与信息技术系） ； UCAS-Terminus AI Lab, University of Chinese Academy of Sciences（中国科学院大学UCAS-Terminus人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 针对古希腊陶器文化遗产领域中视觉语言模型面临的挑战，提出轻量级模块化多模态智能体框架花瓶博物馆，结合虚拟博物馆与花瓶智能体，经多模态感知等操作，提高引用有效性，减少幻觉并产生更中立答案。

Comments Code: https://github.com/AIGeeksGroup/VaseMuseum. Website: https://aigeeksgroup.github.io/VaseMuseum