arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-04-06 至 2026-04-06 共收录 211 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 11 篇

2507.19090 2026-04-06 cs.CL 89%

Debating Truth: Debate-driven Claim Verification with Multiple Large Language Model Agents

辩论真相:基于多个大语言模型代理的辩论驱动声明验证

Haorui He, Yupeng Li, Dacheng Wen, Yang Chen, Reynold Cheng, Donglong Chen, Francis C. M. Lau

机构 * Department of Interactive Media, Hong Kong Baptist University(香港浸会大学互动媒体系) School of Computing and Data Science, The University of Hong Kong(香港大学计算与数据科学学院) College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院) Beijing Normal-Hong Kong Baptist University(北京师范大学-香港浸会大学联合国际学院) Shenzhen Institute of Advanced Technology(深圳先进技术研究院)

专题命中 预训练与数据 :large language model(title);language model(title);LLM(abstract);post-training(abstract)

AI总结 本文提出DebateCV框架,通过多代理辩论和调解提升复杂声明验证的准确性与说服力。

Comments Accepted by the ACM Web Conference 2026 (WWW 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.23032 2026-04-06 cs.CV cs.RO 88%

Generative Event Pretraining with Foundation Model Alignment

基于基础模型对齐的生成事件预训练

Jianwen Cao, Jiaxu Xing, Nico Messikommer, Davide Scaramuzza

机构 * Robotics and Perception Group, University of Zurich(苏黎世大学机器人感知组)

专题命中 预训练与数据 :foundation model(title,abstract);pretraining(title,abstract)

AI总结 本文提出GEP框架,通过将互联网级图像数据集中的语义知识迁移到事件数据,并学习事件特有的时间动态,提升事件视觉基础模型在跨任务迁移学习中的性能。

Journal ref CVPR 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01833 2026-04-06 cs.CV cs.CL cs.LG 86%

Language-Pretraining-Induced Bias: A Strong Foundation for General Vision Tasks

语言预训练引入的偏差:一种强大的基础视觉任务通用性基础

Yaxin Luo, Zhiqiang Shen

机构 * MBZUAI(穆罕默德·本·扎耶德人工智能大学)

专题命中 预训练与数据 :pretraining(title);LLM(abstract);large language model(abstract);language model(abstract)

AI总结 本文提出随机标签桥梁训练方法,通过模态适应学习有效对齐大语言模型参数与视觉任务,揭示部分桥梁训练在视觉任务中的优势。

Comments Main manuscript: 13 pages, 9 figures. Appendix: 8 pages, 5 figures. Accepted in Transactions on Machine Learning Research (TMLR) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.22367 2026-04-06 cs.CL cs.AI cs.CY 86%

What Is The Political Content in LLMs' Pre- and Post-Training Data?

大语言模型预训练和后训练数据中的政治内容是什么?

Tanise Ceron, Dmitry Nikolaev, Dominik Stammbach, Debora Nozza

机构 * Bocconi University(博科尼大学) University of Manchester(曼彻斯特大学) Princeton University(普林斯顿大学)

专题命中 预训练与数据 :post-training(title,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 研究探讨了大语言模型训练数据中的政治倾向,发现预训练数据偏向左翼内容,且政治立场与模型行为相关,强调数据组成对模型行为的关键作用。

Comments 10 pages, under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02719 2026-04-06 cs.CV cs.AI cs.LG 84%

MOMO: Mars Orbital Model Foundation Model for Mars Orbital Applications

MOMO:用于火星轨道应用的火星轨道基础模型

Mirali Purohit, Bimal Gajera, Irish Mehta, Bhanu Tokas, Jacob Adler, Steven Lu, Scott Dickenshied, Serina Diniega, Brian Bue, Umaa Rebbapragada, Hannah Kerner

机构 * Arizona State University(亚利桑那州立大学) Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)

专题命中 预训练与数据 :foundation model(title,abstract);pretraining(abstract);分类 cs.AI、cs.LG

AI总结 MOMO是首个多传感器基础模型,通过模型融合整合来自HiRISE、CTX和THEMIS三种关键火星传感器的数据,提升多分辨率数据的稳定性和泛化能力。

Comments Accepted at CVPR 2026 (Main Track)

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.03180 2026-04-06 cs.LG cs.CL cs.IR cs.SI 81%

PRISM: LLM-Guided Semantic Clustering for High-Precision Topics

PRISM:基于LLM的语义聚类用于高精度主题

Connor Douglas, Utkucan Balci, Joseph Aylett-Bullock

机构 * New York University(纽约大学) Binghamton University(宾汉姆顿大学)

专题命中 预训练与数据 :LLM(title,abstract);分类 cs.CL、cs.LG

AI总结 PRISM结合LLM的丰富表示与低成本可解释的潜在语义聚类方法,通过稀疏LLM标签微调句子编码模型,提升主题分离度,适用于多语料库的高精度主题发现。

Comments To appear in Proceedings of the ACM Web Conference 2026 (WWW 26)

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.03231 2026-04-06 cs.CV 75%

CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning

CoME-VL:扩展互补多编码视觉语言学习

Ankan Deria, Komal Kumar, Xilin He, Imran Razzak, Hisham Cholakkal, Fahad Shahbaz Khan, Salman Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)

专题命中 预训练与数据 :LLM(abstract);language model(abstract);pretraining(abstract)

AI总结 本文提出CoME-VL框架,通过融合对比学习和自监督编码器提升视觉语言模型性能,实验显示在多个基准上优于单编码基线。

Comments 16 pages, 10 figures, 5 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02881 2026-04-06 cs.CL cs.AI 62%

One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging

一个模型来翻译它们全部?多语言模型融合的探索之旅

Baban Gain, Asif Ekbal, Trilok Nath Singh

机构 * Indian Institute of Technology Patna(印度理工学院巴特那分校)

专题命中 预训练与数据 :language model(abstract);分类 cs.CL、cs.AI

AI总结 本文研究了多语言机器翻译中权重空间模型融合的行为,发现融合会降低性能,尤其在目标语言差异时。通过分析内部表示发现语言特定神经元集中在嵌入层和上层Transformer块,而中间层在多语言间共享。细调使语言选择性重新分布,影响生成层的表示差异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.10510 2026-04-06 cs.LG cs.AI 62%

f-INE: A Hypothesis Testing Framework for Estimating Influence under Training Randomness

f-INE:一种用于在训练随机性下估计影响的假设检验框架

Subhodip Panda, Dhruv Tarsadiya, Shashwat Sourav, Prathosh A. P, Sai Praneeth Karimireddy

机构 * Indian Institute of Science(印度科学研究所) University of Southern California(南加州大学) Washington University(华盛顿大学)

专题命中 预训练与数据 :instruction tuning(abstract);分类 cs.AI、cs.LG

AI总结 本文提出f-influence框架,通过假设检验解决训练随机性导致的影响估计不稳定问题,并设计高效算法f-INE实现单次训练运行内的影响估计,用于数据清理和模型行为归因。

Journal ref The Fourteenth International Conference on Learning Representations (ICLR), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02926 2026-04-06 cs.CL 57%

A Multi-head-based architecture for effective morphological tagging in Russian with open dictionary

一种基于多头的架构,用于俄语中有效的形态标注

K. Skibin, M. Pozhidaev, S. Suschenko

机构 * National Research Tomsk State University(国立研究型托木斯克国立大学)

专题命中 预训练与数据 :pretraining(abstract);分类 cs.CL

AI总结 本文提出基于多头注意力的新型架构,用于俄语形态标注,通过子词分割和向量聚合支持开放式词典,实验显示在SinTagRus和Taiga数据集上达到98%-99%的准确率,且模型训练效率高。

Comments 8 pages, 1 figure, submitted to AINL-2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.15263 2026-04-06 cs.CV cs.LG 57%

gen2seg: Generative Models Enable Generalizable Instance Segmentation

gen2seg:生成模型实现可推广的实例分割

Om Khangaonkar, Hamed Pirsiavash

机构 * University of California, Davis(加州大学戴维斯分校)

专题命中 预训练与数据 :pretraining(abstract);分类 cs.LG

AI总结 本文通过生成模型预训练合成图像,实现对实例分割的可推广方法,使用实例着色损失在特定物体类型上微调,展现零样本泛化能力,优于现有方法。

Comments ICLR 2026 camera ready. Website: https://reachomk.github.io/gen2seg/

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 指令微调 14 篇

2603.22869 2026-04-06 cs.AI 88%

Chain-of-Authorization: Embedding authorization into large language models

授权链:将授权嵌入大型语言模型

Yang Li, Yule Liu, Xinlei He, Youjian Zhao, Qi Li, Ke Xu

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 本文提出授权链框架,通过重新设计输入输出格式和微调合成数据,使LLM在动态推理环境中内化访问边界,提升安全性和拒绝非授权请求的能力。

Comments 23 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02574 2026-04-06 cs.CR cs.AI cs.LG 87%

Understanding the Effects of Safety Unalignment on Large Language Models

理解安全对齐偏差对大语言模型的影响

John T. Halloran

机构 * Leidos(Leidos公司)

专题命中 指令微调 :large language model(title);language model(title);LLM(abstract);分类 cs.AI、cs.LG

AI总结 研究通过JT和WO方法评估六种大模型在恶意和良性任务中的表现,发现WO方法使模型更易执行恶意活动,而JT方法则更易产生幻觉。通过监督微调有效限制WO带来的攻击能力。

Comments 12 pages, 2 figures, 5 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.07274 2026-04-06 cs.CL cs.CY cs.LG 86%

LLM Analysis of 150+ years of German Parliamentary Debates on Migration Reveals Shift from Post-War Solidarity to Anti-Solidarity in the Last Decade

基于150余年德国议会辩论的LLM分析揭示了从战后团结到反团结的转变

Aida Kostikova, Ole Pütz, Steffen Eger, Olga Sabelfeld, Benjamin Paassen

机构 * Bielefeld University(比勒费尔德大学) University of Technology Nuremberg(纽伦堡工业大学)

专题命中 指令微调 :LLM(title);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 本文利用LLM分析德国议会辩论中的迁移议题,发现战后时期团结程度较高,而2015年后反团结显著上升,提出需通过验证和统计修正来提升LLM在社会科学研究中的应用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02772 2026-04-06 cs.CL 79%

Multiple-Debias: A Full-process Debiasing Method for Multilingual Pre-trained Language Models

多偏见:一种面向多语言预训练语言模型的全流程去偏方法

Haoyu Liang, Peijian Zeng, Wentao Huang, Aimin Yang, Dong Zhou

机构 * Guangdong University of Technology(广东工业大学) Guangdong University of Foreign Studies(广东外语外贸大学)

专题命中 指令微调 :language model(title,abstract);分类 cs.CL

AI总结 本文提出Multiple-Debias方法,通过多语言反事实数据增强和多语言Self-Debias,结合参数高效微调,有效减少多语言预训练模型中性别、种族和宗教偏见。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02770 2026-04-06 cs.AI 77%

Improving Role Consistency in Multi-Agent Collaboration via Quantitative Role Clarity

通过量化角色清晰度提升多智能体协作中的角色一致性

Guoling Zhou, Wenpei Han, Fengqin Yang, Li Wang, Yingcong Zhou, Zhiguo Fu

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出量化角色清晰度以提升多智能体协作中的角色一致性,通过构建角色分配矩阵和角色清晰度矩阵,利用Frobenius范数量化角色描述与行为轨迹的一致性,并在轻量微调中作为正则化项提升任务性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.17586 2026-04-06 cs.DB 75%

DeepEye-SQL: A Software-Engineering-Inspired Text-to-SQL Framework

DeepEye-SQL: 一种受软件工程启发的文本到SQL框架

Boyan Li, Chong Chen, Zhujun Xue, Yinan Mei, Yuyu Luo

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract)

AI总结 DeepEye-SQL通过结构化协作提升文本到SQL的可靠性,采用软件开发生命周期指导,实现73.5%的BIRD-Dev准确率和89.8%的Spider-Test表现,优于现有方法。

Comments SIGMOD 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02795 2026-04-06 cs.CL cs.AI 73%

Rubrics to Tokens: Bridging Response-level Rubrics and Token-level Rewards in Instruction Following Tasks

评分标准到标记:在指令遵循任务中连接响应级评分标准和标记级奖励

Tianze Xu, Yanzhao Zheng, Pengrui Lu, Lyumanshan Ye, Yong Wu, Zhentao Zhang, Yuanqiang Yu, Chao Ma, Jihuai Zhu, Pengfei Liu, Baohua Dong, Hangcheng Zhu, Ruohui Huang, Gang Yu

机构 * Shanghai Jiao Tong University(上海交通大学) Alibaba Group(阿里巴巴集团) Zhejiang University(浙江大学) Shanghai Innovation Institute(上海创新研究院) GAIR

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出RTT框架,通过引入标记级相关性判别器和RTT-GRPO方法,解决响应级奖励稀疏性和模糊性问题,提升指令遵循任务的准确率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.07553 2026-04-06 cs.CL 70%

VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

VeriOS: 基于查询的人机GUI交互以实现可信操作系统代理

Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 VeriOS通过引入查询驱动的人机GUI交互框架,提升操作系统代理在不可信环境中的任务完成能力,实验显示其在不可信场景中性能显著提升,同时保持正常场景下的稳定性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.15656 2026-04-06 cs.CL 70%

Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!

在对开源大语言模型进行微调时要小心:你的微调数据可能被偷偷窃取!

Zhexin Zhang, Yuhao Sun, Junxiao Yang, Shiyao Cui, Yuanchao Zhang, Hongning Wang, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University(清华大学计算机科学与技术系对话式人工智能组) The University of Melbourne(墨尔本大学) MYbank, Ant Group(蚂蚁集团网商银行)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 研究揭示了在开源大语言模型上微调时,通过简单后门训练可能窃取私有微调数据的风险,实验表明提取成功率高达76.3%,并提出检测防御策略但发现其易被绕过。

Comments Accepted to ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02767 2026-04-06 cs.CR cs.AI cs.MA 57%

SentinelAgent: Intent-Verified Delegation Chains for Securing Federal Multi-Agent AI Systems

SentinelAgent:意图验证的委托链用于安全的联邦多智能体AI系统

KrishnaSaiReddy Patil

专题命中 指令微调 :LLM(abstract);分类 cs.AI

AI总结 本文提出SentinelAgent框架,通过委托链计算和意图保留协议,实现联邦多智能体AI系统的安全委托验证,验证生命周期在DelegationBench v4上达到100%TPR且0%FPR。

Comments 12 pages, 2 figures, 9 tables. Includes TLA+ mechanical verification, DelegationBench v4 benchmark (516 scenarios), live LangChain agent integration, and independent red-team evaluation

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02352 2026-04-06 cs.LG cs.AI cs.SE 54%

An Initial Exploration of Contrastive Prompt Tuning to Generate Energy-Efficient Code

对比提示微调在生成节能代码中的初步探索

Sophie Weidmann, Fernando Castor

机构 * University of Twente(特温特大学)

专题命中 指令微调 :分类 cs.AI、cs.LG;large language model(comments);language model(comments)

AI总结 本文探讨了通过对比提示微调优化大语言模型生成节能代码的方法,评估了其在Python、Java和C++编程任务中的效果,发现不同模型、语言和任务复杂度下效率提升不一致。

Comments Published at the Third International Workshop on Large Language Models for Code (LLM4Code 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.00683 2026-04-06 cs.CV 50%

Video Understanding: Through A Temporal Lens

视频理解:通过时间视角

Thong Thanh Nguyen

机构 * Institute of Data Science(数据科学研究所)

专题命中 指令微调 :language model(abstract)

AI总结 本文通过时间视角探讨如何利用视频元素间的时间关系提升视频理解,提出自动标注框架、参数高效微调策略、状态空间层整合、新型对比学习框架及对大视觉-语言模型的全面研究,揭示了视觉-语言接口对时间推理的瓶颈。

Comments PhD Thesis, NUS, 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.08666 2026-04-06 cs.CV 50%

Privacy Beyond Pixels: Latent Anonymization for Privacy-Preserving Video Understanding

隐私超越像素:用于隐私保护视频理解的潜在匿名化

Joseph Fioresi, Ishan Rajendrakumar Dave, Mubarak Shah

机构 * Institute of Artificial Intelligence, University of Central Florida(中佛罗里达大学人工智能研究所) Adobe

专题命中 指令微调 :foundation model(abstract)

AI总结 本文提出了一种在潜在空间中操作的视频基础模型视觉隐私保护新方法,通过轻量级匿名化适配模块在保留任务实用性的同时去除隐私信息,显著降低隐私泄露,适用于多种下游任务。

Comments Accepted to ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2010.16330 2026-04-06 math.SG math.GT 50%

On symplectic fillings of spinal open book decompositions II: Holomorphic curves and classification

关于脊柱开书分解的辛填充 II:全纯曲线与分类

Samuel Lisi, Jeremy Van Horn-Morris, Chris Wendl

专题命中 指令微调 :SFT(abstract)

AI总结 本文证明当接触3流形具有平面页的统一脊柱开书分解时,其(弱、强和/或精确)辛和Stein填充可由Lefschetz纤维化的微分同胚类分类。进一步结果包括新的ECH接触不变量和SFT中代数扭力消失准则,非定向圈 bundles的填充分类,以及关于四维实数中Stein结构变形类的

Comments 120 pages, 10 figures, sequel to arXiv:1810.12017; v2 (submitted version) contains a few minor updates to take account of more recent activity

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 后训练与偏好优化 9 篇

2604.03098 2026-04-06 cs.LG cs.AI cs.CL 88%

Co-Evolution of Policy and Internal Reward for Language Agents

语言代理中策略与内部奖励的共演化

Xinyu Wang, Hanwei Wu, Jingwei Song, Shuyuan Zhang, Jiayi Zhang, Fanqi Kong, Tung Sum Thomas Kwok, Xiao-Wen Chang, Yuyu Luo, Chenglin Wu, Bang Liu

机构 * McGill University(麦吉尔大学) McMaster University(麦克马斯特大学) The University of Hong Kong(香港大学) The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) Peking University(北京大学) University of California, Los Angeles(加利福尼亚大学洛杉矶分校) DeepWisdom(深度智慧) Université de Montréal(蒙特利尔大学) Mila(米拉研究所)

专题命中 后训练与偏好优化 :language agent(title,abstract);LLM(abstract);large language model(abstract);language model(abstract)

AI总结 本文提出Self-Guide方法,通过自动生成内部奖励实现推理和训练时的协同优化,提升语言代理性能。

Comments 20 pages, 13 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.03179 2026-04-06 cs.LG cs.AI cs.CV 86%

Understanding the Role of Hallucination in Reinforcement Post-Training of Multimodal Reasoning Models

理解强化学习在多模态推理模型后训练中幻觉的作用

Gengwei Zhang, Jie Peng, Zhen Tan, Mufan Qiu, Hossein Nourkhiz Mahjoub, Vaishnav Tadiparthi, Kwonjoon Lee, Yanyong Zhang, Tianlong Chen

机构 * University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校) University of Science and Technology of China(中国科学技术大学) Arizona State University(亚利桑那州立大学) Honda Research Institute, USA(本田美国研究所)

专题命中 后训练与偏好优化 :post-training(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出Hallucination-as-Cue框架,通过引入模态特异性扰动分析强化学习对多模态推理模型的影响,揭示幻觉在训练中的关键作用,挑战现有假设。

Comments CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02372 2026-04-06 cs.CR cs.LG 85%

Backdoor Attacks on Decentralised Post-Training

在去中心化后训练中的后门攻击

Oğuzhan Ersoy, Nikolay Blagoev, Jona te Lintelo, Stefanos Koffas, Marina Krček, Stjepan Picek

机构 * University of Neuchâtel(纳沙泰尔大学) Radboud University(拉德堡德大学) Delft University of Technology(代尔夫特理工大学) SecureML University of Zagreb(萨格勒布大学)

专题命中 后训练与偏好优化 :post-training(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出首个针对流水线并行的后门攻击,通过控制中间阶段实现模型对齐偏差,实验显示触发词可使对齐率从80%降至6%,且在安全对齐训练下仍成功60%。

Comments Accepted to ICLR 2026 Workshop 'Principled Design for Trustworthy AI - Interpretability, Robustness, and Safety across Modalities'

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02507 2026-04-06 stat.ML cs.LG 84%

Reinforcement Learning from Human Feedback: A Statistical Perspective

基于人类反馈的强化学习:统计学视角

Pangpang Liu, Chengchun Shi, Will Wei Sun

机构 * Department of Biostatistics, Yale University(耶鲁大学生物统计学系) Department of Statistics, London School of Economics and Political Science(伦敦政治经济学院统计学系) Mitch Daniels School of Business, Purdue University(普渡大学米奇·丹尼尔斯商学院)

专题命中 后训练与偏好优化 :LLM(abstract);large language model(abstract);language model(abstract);RLHF(abstract)

AI总结 本文从统计学角度探讨了基于人类反馈的强化学习,分析了其在大语言模型对齐中的核心方法与挑战,包括奖励模型学习和策略优化,并讨论了相关统计模型和最新研究进展。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02766 2026-04-06 cs.LG cs.AI 82%

Random Is Hard to Beat: Active Selection in online DPO with Modern LLMs

随机难以超越:在线DPO中的主动选择

Giyeong Oh, Junghyun Lee, Jaehyun Park, Youngjae Yu, Wonho Bae, Junhyug Noh

机构 * Seoul National University(首尔大学) Ewha Womans University(梨花女子大学) KAIST(韩国科学技术院) UBC(不列颠哥伦比亚大学)

专题命中 后训练与偏好优化 :LLM(abstract);pretraining(abstract);post-training(abstract);preference optimization(abstract)

AI总结 本文研究了在线DPO中主动选择策略的有效性,发现即使在强先验基础上,主动选择的计算开销难以抵消简单随机采样带来的多样性优势。

Comments first commit

详情

展开后加载摘要…

URL PDF HTML 收藏