arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-07-07 至 2026-07-07 共收录 712 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 63 篇

2605.06142 2026-07-07 cs.CL cs.AI 版本更新 73%

IRC-Bench: Recognizing Entities from Contextual Cues in First-Person Reminiscences

IRC-Bench: 从第一人称回忆中的上下文线索识别实体

Yehudit Aperstein, Eden Moran, Alexander Apartsin

机构 * Intelligent Systems, Afeka Academic College of Engineering(阿法卡学术工程学院智能系统) School of Computer Science, Faculty of Sciences, Holon Institute of Technology(霍隆理工学院计算机科学学院)

专题命中 指令微调 :LLM(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 本文提出IRC-Bench基准,用于评估回忆文本中隐式实体识别任务,通过对比本地提及与分散叙述证据,探讨非局部性挑战,测试多种模型配置。

Comments 36 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04395 2026-07-07 cs.LG 新提交 70%

NKI-Agent: Domain-Specific Fine-Tuning and Agentic Tool Use for Neuron Kernel Generation

NKI-Agent:用于神经元内核生成的特定领域微调与智能体工具使用

Junjie Tang, Jun Huan, Hao Zhou, Yuhao Zhang, Lin Wang

机构 * AWS Neuron Team(亚马逊云科技神经元团队) Amazon Web Services(亚马逊云科技)

专题命中 指令微调 :LLM(abstract);SFT(abstract);分类 cs.LG

AI总结 针对新兴AI加速器,介绍NKI-Agent系统,结合特定领域监督微调与编译验证修复智能体循环生成NKI内核,适配框架、构建基准并评估,显示工具使用关键及不同模型表现,为强化学习奖励设计提供指导。

Comments 7 pages. Accepted at DL4C @ ICML 2026 Workshop

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04242 2026-07-07 cs.AI 新提交 70%

Progress- and Reliability-Oriented Group Policy Optimization for Agentic Reinforcement Learning

面向进度和可靠性的智能体强化学习组策略优化

Mingxuan Fan, Peiyang Liu

机构 * Baidu Inc.(百度公司) Peking University(北京大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 研究基于组的强化学习,针对步级优势估计对组形成方式敏感的问题,提出ProGPO方法,通过精确前缀动作比较及结合语义扩展与逆方差融合估计势,在任务中改进了基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03530 2026-07-07 cs.AI 新提交 70%

MentalThink: Shaping Thoughts in Mental SVG World

MentalThink:在心理SVG世界中塑造思想

Kangheng Lin, Jisheng Yin, Dingming Li, En Yu, Yana Wei, Han Zhou, Liang Zhao, Hongyu Zhou, Hongbo Peng, Jianjian Sun, Zheng Ge, Xiangyu Zhang, Daxin Jiang, Jingyu Wang

专题命中 指令微调 :SFT(abstract,abstract_cn);分类 cs.AI

AI总结 介绍MentalThink视觉符号推理范式,核心是think-with-SVG管道,通过两阶段训练框架实例化,在空间理解和推理基准测试中性能优越,为动态视角获取等提供可视化工作区。

Comments 17 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03478 2026-07-07 cs.AI 新提交 70%

Demonstrating Generalization Failures via Mixtures of Conditional Policies

通过条件策略混合展示泛化失败

Jou Barzdukas, Jack Peck, Julian Schulz, Paulius Rauba, Steven Basart, Lennie Wells

机构 * University of Virginia(弗吉尼亚大学) ETH Zurich(苏黎世联邦理工学院) MATS Meridian Visiting Researcher Program(子午访问研究员计划) University of Cambridge(剑桥大学)

专题命中 指令微调 :language model(abstract);post-training(abstract);分类 cs.AI

AI总结 研究前沿语言模型训练后因环境分布变化导致泛化失败的问题。提出构建语言模型的方法,用监督微调基于条件策略混合数据集得到模型,经强化学习训练后出现可控泛化失败,还借此说明未来语言模型泛化失败的新方式。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.23433 2026-07-07 cs.AI 版本更新 70%

Mecha-nudges for Machines

机器人的微调:为机器设计的提示

Giulio Frey, Kawin Ethayarajh

机构 * University of Chicago(芝加哥大学)

专题命中 指令微调 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 研究探讨了机器学习代理在互联网上的决策影响,通过结合经济学和计算机科学框架,发现机器学习模型在环境中自动调整信息呈现,从而提升预测能力,但对人类影响有限。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.05336 2026-07-07 cs.AI 版本更新 70%

TRACE: Capability-Targeted Agentic Training

TRACE: 面向能力的代理训练

Hangoo Kang, Tarun Suresh, Jon Saad-Falcon, Azalia Mirhoseini

机构 * Stanford University(斯坦福大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 TRACE通过对比成功与失败轨迹自动识别能力缺失,合成针对性训练环境并利用RL训练适配器,提升代理在不同环境中的表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04612 2026-07-07 cs.GR cs.CV 新提交 67%

StructuredEdit: Constraint-Aware Graphic Design Editing via Differentiable Parameter Propagation

StructuredEdit:通过可微参数传播实现约束感知的平面设计编辑

Veeramanohar Avudaiappan, Ritwik Murali

机构 * Department of Electrical and Electronics Engineering, Amrita School of Engineering, Coimbatore, Amrita Vishwa Vidyapeetham India(电子与电子工程系,阿米特拉工程学院,科伊巴托尔,阿米特拉世界学院,印度) Department of Computer Science and Engineering, Amrita School of Computing, Coimbatore, Amrita Vishwa Vidyapeetham India(计算机科学与工程系,阿米特拉计算学院,科伊巴托尔,阿米特拉世界学院,印度)

专题命中 指令微调 :large language model(abstract);language model(abstract)

AI总结 研究针对平面设计编辑在严格约束下操作难的问题,提出StructuredEdit将设计编辑转为参数操作,核心方法是可微参数传播,贡献是提升了约束满意度等指标,还减少了用户编辑时间和校正迭代次数。

Comments 3 page poster short paper.2 Figures, 2 Tables. Planned to submit to SIGGRAPH Asia

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05321 2026-07-07 cond-mat.mtrl-sci physics.comp-ph 新提交 67%

Data-driven atomistic modelling of hybrid halide perovskite passivation

混合卤化物钙钛矿钝化的数据驱动原子模型

Laura-Bianca Paşca, Henry J. Snaith, Volker L. Deringer

专题命中 指令微调 :large language model(abstract);language model(abstract)

AI总结 研究混合卤化物钙钛矿表面缺陷分子钝化的原子机制,用类似大语言模型连续微调的多步骤训练管道,结合两个数据集进行原子建模和计算实验,揭示相关相互作用随分子表面覆盖度的演变。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.26946 2026-07-07 cs.CV cs.RO 版本更新 67%

Three-Step Nav: A Hierarchical Global-Local Planner for Zero-Shot Vision-and-Language Navigation

三步导航:一种用于零样本视觉-语言导航的分层全局-局部规划器

Wanrong Zheng, Yunhao Ge, Laurent Itti

机构 * University of Southern California(南加州大学) NVIDIA Research(NVIDIA研究)

专题命中 指令微调 :large language model(abstract);language model(abstract)

AI总结 本文提出三步导航方法,通过全局-局部分层规划解决零样本视觉-语言导航中的漂移和低成功率问题,无需梯度更新或微调,实现最先进的性能。

Comments Accepted to AISTATS 2026. Code: https://github.com/ZoeyZheng0/3-step-Nav

Journal ref Proceedings of the 29th International Conference on Artificial Intelligence and Statistics (AISTATS), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.02368 2026-07-07 cs.CL cs.AI cs.LG 版本更新 67%

Evolutionary Guided Decoding: Iterative Value Refinement for LLMs

进化引导解码:大语言模型的迭代值细化

Zhenhua Liu, Lijun Li, Ruizhe Chen, Yuxian Jiang, Tong Zhu, Zhaochen Su, Wenliang Chen, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Soochow University(苏州大学) Zhejiang University(浙江大学) Fudan University(复旦大学)

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现引导解码中值函数不准确源于分布差距,提出迭代值细化框架,用值探索提供训练信号,迭代自我细化利用改进值函数生成高质量数据,实验证明该框架能有效对齐语言模型并降低计算成本。

Comments Accepted to ACL 2026 (main conference)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03763 2026-07-07 cs.LG cs.AI 新提交 62%

FedACT: Federated Adaptive Coordinate Trust Modulation for Robust Transformer Training under Data Heterogeneity

FedACT:数据异构下用于稳健Transformer训练的联邦自适应坐标信任调制

Shuai Li, Qinglin Wang, Ping Luo, Jiahuan Wang, Hongyang Hu, Haotian Mo, Yigui Feng, Ziang Liu, Qisong Xiao, Jie Liu, Tao Sun

机构 * NUDT(南京理工大学)

专题命中 指令微调 :LLM(abstract);分类 cs.AI、cs.LG

AI总结 研究数据异构下联邦Transformer训练问题,提出FedACT方法,先形成全局校正自适应方向,再依坐标信任分数重分配更新幅度,实验表明其优于基线,能提升跨客户端方向一致性。

Comments 24 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04631 2026-07-07 cs.AI 新提交 57%

Formal Disco: Scalable Open-Ended Generation of Formally Verified Programs

形式化迪斯科:可扩展的形式化验证程序的开放式生成

Gabriel Poesia, Simon Henniger, Tzu-Han Hsu, Yilun Du, Nada Amin

机构 * Kempner Institute, Harvard University(坎普纳研究所,哈佛大学) School of Engineering and Applied Sciences, Harvard University(工程与应用科学学院,哈佛大学)

专题命中 指令微调 :LLM(abstract);分类 cs.AI

AI总结 针对生成程序质量保证落后及形式验证数据稀缺问题,提出Formal Disco分布式系统,协调三类工人,记录痕迹用于改进,提出最大熵原则,发布数据集并微调模型,为形式推理领域大规模创建合成数据。

Comments Code: https://github.com/metareflection/formal-disco Datasets: https://huggingface.co/collections/metareflection/formal-disco

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03928 2026-07-07 cs.SD cs.AI eess.AS 新提交 57%

TokAN: Accent Normalization Using Self-Supervised Speech Tokens

TokAN:使用自监督语音令牌进行口音归一化

Qibing Bai, Shuai Wang, Yuhan Du, Bohan Li, Yannan Wang, Haizhou Li

机构 * School of Data Science (SDS), The Chinese University of Hong Kong, Shenzhen (CUHKSZ)(香港中文大学(深圳)数据科学学院) Tencent Ethereal Audio Lab, Tencent(腾讯虚幻音频实验室) School of Intelligence Science and Technology, Nanjing University, Suzhou(南京大学苏州校区智能科学与技术学院) Shenzhen Loop Area Institute(深圳河套学院) X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院X-LANCE实验室) School of Artificial Intelligence (SAI), CUHKSZ(香港中文大学(深圳)人工智能学院) Shenzhen Research Institute of Big Data(深圳大数据研究院)

专题命中 指令微调 :post-training(abstract);分类 cs.AI

AI总结 研究提出TokAN框架,基于自监督离散语音令牌,用自回归编解码器转换口音,引入强化学习后训练,还用流匹配合成器和持续时间预测器,实验表明其在降低字错误率和提升可懂度上优于基线。

Comments Submitted to IEEE Transactions on Audio, Speech, and Language Processing (TASLP)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03900 2026-07-07 cs.CV cs.LG 新提交 57%

USE: A Unified Self-Ensembling Framework for Test-Time Prompt Tuning

USE:一种用于测试时提示调整的统一自集成框架

Siru Jiang, Jian Liang, Ran He, Tieniu Tan

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院) NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所国家智能机器人实验室及模式识别实验室) Nanjing University(南京大学)

专题命中 指令微调 :language model(abstract);分类 cs.LG

AI总结 重新审视测试时提示调整(TPT),揭示其优化可视为从自生成伪标签隐式学习,在此基础上提出统一自集成框架(USE),优化时引入自集成策略,实验表明USE及其自集成策略表现出色。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02757 2026-07-07 cs.CL cs.SD 新提交 57%

Reinforcement Learning for Data-Efficient Code-Switched ASR

用于数据高效代码混合自动语音识别的强化学习

Ziwei Ye, Peter Vickers

机构 * Spotify Canada(加拿大声田公司)

专题命中 指令微调 :language model(abstract);分类 cs.CL

AI总结 研究针对代码混合语音识别中音频语言模型解码问题,提出基于强化学习的方法,结合错误率奖励、脚本保真度奖励及两阶段过程,用少量数据训练达全量数据微调效果,且增益可零样本转移。

Comments Accepted at Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.24342 2026-07-07 cs.AI 版本更新 57%

A Unified Geometric Space for Topological Alignment Between Transformer-Based Models and Human Brain Networks

基于Transformer的模型与人脑网络之间拓扑对齐的统一几何空间

Silin Chen, Yuzhong Chen, Caiwei Wang, Zifan Wang, Junhao Wang, Zifeng Jia, Keith M Kendrick, Tuo Zhang, Lin Zhao, Dezhong Yao, Tianming Liu, Xi Jiang

机构 * The Clinical Hospital of Chengdu Brain Science Institute, MOE-K Lab for NeuroInformation, Brain‑Apparatus Communication Institute, School of Life Science and Technology, University of Electronic Science and Technology of China(成都脑科学研究院临床医院,MOE-K神经信息实验室,脑-装置通信研究所,电子科技大学生命科学与技术学院) School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院) Department of Biomedical Engineering, New Jersey Institute of Technology(新泽西理工学院生物医学工程系) School of Computing, University of Georgia(佐治亚大学计算机学院)

专题命中 指令微调 :instruction tuning(abstract);分类 cs.AI

AI总结 提出一个模态无关、任务无关的拓扑对齐空间,通过图组织属性将Transformer模型的注意力拓扑映射到人脑固有连接网络,揭示了不同模态和规模模型的连续弧形分布及对齐特性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02708 2026-07-07 cs.CV 新提交 50%

When Does Resolution Help a Frozen Backbone? Global Attention at Resolution Predicts Scalable Adaptation for Camouflaged and Marine Animal Segmentation

分辨率何时有助于冻结的主干网络?分辨率下的全局注意力预测伪装和海洋动物分割的可扩展适应性

Tyler Rust, Chandra Kambhamettu

机构 * University of Delaware(特拉华大学) University of South Florida(南佛罗里达大学)

专题命中 指令微调 :foundation model(abstract)

AI总结 研究适应冻结视觉基础模型进行细粒度分割时主干网络选择的影响,通过控制实验建立主干网络应用全局注意力与分辨率、低秩适配器效果的关系模式,特定主干网络在多数据集上表现优。

Comments 9 pages, 3 figures, 7 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02559 2026-07-07 cs.CV 新提交 50%

How many labels do you need? A decision framework for cross-habitat marine species recognition

你需要多少标签?跨栖息地海洋物种识别的决策框架

Alzayat Saleh, Mostafa Rahimi Azghadi

机构 * College of Science and Engineering, James Cook University(詹姆斯·库克大学科学与工程学院) Centre for AI and Data Science Innovation, James Cook University(詹姆斯·库克大学人工智能与数据科学创新中心)

专题命中 指令微调 :foundation model(abstract)

AI总结 提出跨海洋栖息地转移视觉系统时标记工作量与识别准确性权衡的决策框架,用五个数据集等评估四个模型及策略,发现少量标记图像即可,可据此规划标记工作。

Comments 29 pages, 12 figures, 4 tables. Includes supplementary appendix

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 后训练与偏好优化 34 篇

2604.19139 2026-07-07 cs.CL cs.AI 版本更新 91%

The Rise of Verbal Tics in Large Language Models: A Systematic Analysis Across Frontier Models

大语言模型中言语 tic 的兴起:前沿模型的系统分析

Shuai Wu, Xue Li, Yanna Feng, Yufang Li, Zhijun Wang, Ran Wang

机构 * Lead Researcher(研究员) Research Assistant(研究助理) Academic Advisor(学术顾问) Research Consultant(研究顾问)

专题命中 后训练与偏好优化 :large language model(title,abstract);language model(title,abstract);RLHF(abstract,abstract_cn);LLM(abstract_cn)

AI总结 本文系统分析了八个前沿大语言模型中言语 tic 的现象,通过定制评估框架评估10,000个提示,发现 Gemini 3.1 Pro tic 值最高,DeepSeek V3.2 最低,并揭示了 tic 在多轮对话中的累积效应及跨语言差异。

Comments 17 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.26997 2026-07-07 cs.DC cs.LG 新提交 91%

RolloutPipe: Overlapping Pipelined Rollout and Training in Disaggregated On-Policy LLM Reinforcement Learning

RolloutPipe: 分离式在线策略LLM强化学习中的流水线化Rollout与训练重叠

Rongjian Chen, Jianmin Hu, Kejiang Ye, Minxian Xu

机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院) University of Chinese Academy of Sciences(中国科学院大学) Southern University of Science and Technology(南方科技大学)

专题命中 后训练与偏好优化 :LLM(title,title_cn);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 针对分离式RLVR系统中rollout与训练阶段空闲问题,提出RolloutPipe框架,通过完整组流水线(CGP)和前沿组调度(FGD)实现训练与rollout重叠,保持在线策略正确性,减少训练等待时间30.7%-42.3%。

Comments 15 pages

Journal ref Proceedings of the 2026 International Conference on Cognitive Computing (ICCC 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.15765 2026-07-07 cs.LG cs.GT stat.ML 版本更新 90%

Shapley-based Data Valuation for LLM Alignment via Sequential Preference Optimization

基于Shapley值的大语言模型对齐数据估值:通过顺序偏好优化

Mélissa Tamine, Otmane Sakhi, Benjamin Heymann, Maxime Vono, Patrick Loiseau

机构 * Criteo AI lab(Criteo AI实验室) FairPlay joint team(FairPlay联合团队) CREST ENSAE Institut Polytechnique de Paris(巴黎理工学院) Inria(法国国家科学与技术研究院)

专题命中 后训练与偏好优化 :LLM(title,abstract);preference optimization(title,abstract);large language model(abstract);language model(abstract)

AI总结 研究大语言模型对齐中数据估值问题,针对基于Shapley值估值计算量大的挑战,提出顺序偏好优化方法,可高效近似Shapley值,计算真实偏好数据集的Shapley值并揭示各源对模型对齐的作用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.04136 2026-07-07 cs.AI 版本更新 90%

A Technical Survey of Reinforcement Learning Techniques for Large Language Models

大语言模型强化学习技术的技术综述

Saksham Sahai Srivastava, Vaneet Aggarwal

机构 * University of Georgia(佐治亚大学) Purdue University(普渡大学)

专题命中 后训练与偏好优化 :language model(title,abstract);large language model(title);LLM(abstract);RLHF(abstract)

AI总结 综述强化学习与语言模型整合,介绍如近端策略优化等算法,分析其在各领域应用,对失败模式算法分析,给出分类法,评估趋势并探讨挑战与新兴方向,为研究提供路线图。

Comments Accepted to ACM Transactions on Intelligent Systems and Technology, June 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17673 2026-07-07 cs.CR cs.AI 版本更新 90%

Towards Reliable Local Security Agents: Verifiable Post-Training for Linux Privilege Escalation

在Linux提权中使用可验证奖励进行训练后的本地LLM代理

Philipp Normann, Andreas Happe, Jürgen Cito, Daniel Arp

专题命中 后训练与偏好优化 :LLM(title_cn,abstract);post-training(title,abstract);language model(abstract);分类 cs.AI

AI总结 本文提出一种两阶段训练流程,通过监督微调和强化学习提升Linux提权任务的性能,实现高成功率和低推理成本。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03248 2026-07-07 cs.LG cs.AI 新提交 90%

Unbiased Alignment for Large Language Models with Noisy Preferences

具有噪声偏好的大语言模型的无偏对齐

Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

专题命中 后训练与偏好优化 :large language model(title,abstract);language model(title,abstract);preference optimization(abstract);分类 cs.AI、cs.LG

AI总结 研究大语言模型与人类偏好对齐问题,针对真实偏好数据集中噪声大的问题,提出无偏对齐理论框架,引入新损失函数,能直接从噪声数据集无偏训练模型,实验表明优于现有基线。

Comments Accepted by ICML2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03528 2026-07-07 cs.LG cs.AI cs.CL 新提交 89%

Aligning Language Models with Selective Prediction

通过选择性预测使语言模型对齐

Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun

机构 * Department of Computer Science and Engineering(计算机科学与工程系) Bioinformatics and Computational Biology Program(生物信息学与计算生物学项目) Division of Biostatistics and Health Data Science(生物统计学与健康数据科学部) University of Minnesota Twin Cities(明尼苏达大学双城分校)

专题命中 后训练与偏好优化 :language model(title,abstract);LLM(abstract,abstract_cn);large language model(abstract);post-training(abstract)

AI总结 研究聚焦提升语言模型可靠性,采用选择性预测策略,在模型训练后对齐阶段,提出基于强化学习的框架RLSR,以风险-覆盖曲线下面积为目标,在域内域外任务中风险-覆盖权衡表现更好。

Comments Accepted by ICML 2026 Agents in the Wild: Safety, Security, and Beyond Workshop, Project Page: https://sun-umn.github.io/RLSR

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.28998 2026-07-07 cs.SE cs.AI 版本更新 89%

Reward-Free Code Alignment from Pretrained or Fine-Tuned LLM: Unpacking the Trade-offs for Code Generation

从预训练或微调的大语言模型进行无奖励代码对齐:揭示代码生成中的权衡

Sanjeepan Sivapiran, Gias Uddin

机构 * York University Canada(加拿大约克大学)

专题命中 后训练与偏好优化 :LLM(title,abstract);large language model(abstract);language model(abstract);preference optimization(abstract)

AI总结 本研究通过实证分析,探讨了在代码生成任务中,对预训练或微调后的大语言模型进行无奖励对齐(DPO和BoNBoN)的效果,发现预训练到对齐的路径提升更大,但微调版本基线更高。

Journal ref The ACM International Conference on the Foundations of Software Engineering (FSE) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31876 2026-07-07 cs.AI cs.CV cs.LG 新提交 88%

Harnessing Textual Refusal Directions for Multimodal Safety

利用文本拒绝方向实现多模态安全

Moreno D'Incà, Nicu Sebe, Massimiliano Mancini

机构 * University of Trento(特伦托大学)

专题命中 后训练与偏好优化 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 提出MARS方法,通过从LLM骨干提取的文本拒绝方向泛化到多模态,无需多模态安全数据即可提升安全性,在五个先进MLLM上验证了有效性。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.07468 2026-07-07 cs.LG cs.CL cs.MA 版本更新 88%

Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models

通过在线自我博弈强化学习追踪移动目标以实现更安全的语言模型

Mickel Liu, Liwei Jiang, Yancheng Liang, Simon Shaolei Du, Yejin Choi, Tim Althoff, Natasha Jaques

专题命中 后训练与偏好优化 :language model(title,abstract);LLM(abstract);large language model(abstract);RLHF(abstract)

AI总结 研究传统大语言模型安全对齐问题,引入Self-RedTeam算法,通过在线自我博弈多智能体强化学习持续共同进化攻防策略,有理论安全保障,实证效果好,推动从被动修补到主动协同进化转变。

Comments ICML 2026 Poster

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.08048 2026-07-07 cs.IR cs.AI cs.CL 版本更新 87%

TaoSR-AGRL: Adaptive Guided Reinforcement Learning Framework for E-commerce Search Relevance

TaoSR-AGRL:用于电子商务搜索相关性的自适应引导强化学习框架

Jianhui Yang, Yiming Jin, Pengkun Jiao, Chenhe Dong, Zerui Huang, Shaowei Yao, Xiaojiang Zhou, Dan Ou, Haihong Tang

机构 * Tsinghua University(清华大学) Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团) Fudan University(复旦大学)

专题命中 后训练与偏好优化 :SFT(abstract,abstract_cn);LLM(abstract);large language model(abstract);language model(abstract)

AI总结 电商搜索中查询-产品相关性预测很关键,现有方法有局限。提出TaoSR-AGRL框架,通过规则感知奖励塑造和自适应引导重放两大创新,提升模型推理能力,在实验中表现优于基线,已成功部署。

Comments Accepted to The Web Conference (WWW) 2026, Industry Track, Oral

Journal ref Proceedings of the ACM Web Conference 2026 (WWW '26), 2026, pp. 7955-7966

详情

展开后加载摘要…

URL PDF HTML 收藏