Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models
专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；SFT(abstract)
Comments 22 pages, 6 figures, 7 tables. In ICML 2024
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 指令微调 11547 篇
XFT: Unlocking the Power of Code Instruction Tuning by Simply Merging Upcycled Mixture-of-Experts
专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)
Fine-tuning Language Models with Generative Adversarial Reward Modelling
专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；SFT(abstract)
Comments 22 pages, 9 figures, 12 tables
Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision
专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；SFT(abstract)
Comments Accepted at NeurIPS 2023 (Spotlight). Project page: https://github.com/IBM/Dromedary
Do Language Models Consistently Encode the Current Year?
语言模型是否一致地编码了当前年份？
机构 * Stanford University（斯坦福大学）
专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)；prompting(abstract)
AI总结 该研究探究语言模型对当前年份的编码一致性，设计两项不同任务，发现关联与声明年份的编码机制不同，现有修改方法无法同时调整两者，表明当前年份未被一致编码。
Comments Accepted at the Conference on Language Modeling (COLM) 2026
Building a Strong Instruction Language Model for a Less-Resourced Language
为资源较少的语言构建一个强大的指令语言模型
机构 * University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）
专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；pretraining(abstract)
AI总结 本文提出了一种针对斯洛文尼亚语的高性能开源语言模型GaMS3-12B，通过预训练和微调方法在多个评估任务中优于现有模型。
Comments Currently under review at Natural Language Processing Special Issue on Language Models for Low-Resource Languages
UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity
UniFed-VLM：面向多异质性视觉语言模型的联邦指令调优
专题命中 指令微调 ：language model(title,abstract)；instruction tuning(title,abstract)；分类 cs.LG
AI总结 UniFed-VLM是解决任务、模态、模型架构联合异质性的VLM联邦指令调优框架，含FedCSA与TCoD组件，在多基准数据集上优于现有FL方法。
Exploring Adversarial Robustness and Safety Alignment in Multilingual Multi-Modal Large Language Models
探索多语言多模态大语言模型的对抗鲁棒性与安全对齐
机构 * Mohamed Bin Zayed University of AI, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋） ； Khalifa University, UAE（卡比拉大学，阿联酋） ； Australian National University, Australia（澳大利亚国立大学，澳大利亚）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL
AI总结 本研究通过梯度攻击和跨语言评估，发现多语言多模态大语言模型存在可迁移的对抗脆弱性，并揭示低资源语言因理解失败而呈现的虚假安全现象，提出深层训练整合才能实现真正的多语言安全对齐。
Journal ref The 37th British Machine Vision Conference (BMVC) 2026
Visual Distortion Detection in UGC Images Using Large Multimodal Models
基于大型多模态模型的UGC图像视觉失真检测
专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 针对现有LMM图像失真检测方法准确率不足及合成失真泛化差距问题，提出VIGIL模型，构建VIGIL-140K数据集，利用LLM解码器多层级特征检测并缓解FG-BG分离问题，在两类任务上性能优于基线。
DataRx: Missingness-Aware Sampling for Safer Large Language Model Task-Specific Fine-Tuning
DataRx：面向更安全的大语言模型任务特定微调的缺失感知采样方法
机构 * Northwestern Polytechnical University（西北工业大学）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL
AI总结 本文提出DataRx缺失感知采样方法，通过高维隐表示量化安全信号差距，仅用1% BeaverTails安全样本，即可大幅降低Llama3-8B-Instruct的攻击成功率，还可与现有安全数据合成方法结合提升防御效果。
SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay
SeqLLM：为高风险决策场景下的微信支付增强序列大语言模型（LLM）的行为序列建模能力
专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 SeqLLM是一种在保留LLM语言能力的同时增强其行为序列建模能力的框架，已部署于微信支付，在风险筛查等任务上性能显著优于现有基线。
RetiBridge: Bridging Quantitative Retinal Biomarkers and Qualitative Diagnosis with a Knowledge-Guided Multimodal Large Language Model
RetiBridge：用知识引导的多模态大语言模型连接定量视网膜生物标志物与定性诊断
机构 * University of Liverpool（利物浦大学） ； Institute of Life Course & Medical Sciences（生命课程与医学科学研究院） ； Department of Eye and Vision Sciences（眼科与视觉科学系） ； Computer Science Department（计算机科学系） ； Cardiovascular & Metabolic Medicine（心血管与代谢医学） ； Liverpool Centre for Cardiovascular Science（利物浦心血管科学中心）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.AI
AI总结 该研究提出RetiBridge模型，结合CFP、OCT数据与文本，通过知识引导微调学习定量到定性诊断路径，在眼科理解基准上表现优于开源基线及OpenAI o3，代码数据已公开。
Comments 10 pages, 4 figures, 3 table. Equal contribution: Zhuangzhi Gao and Hongyi Qin. Corresponding author: Yalin Zheng (yzheng@liverpool.ac.uk)
GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model
GemNav：使用多模态大语言模型的离散令牌视觉机器人导航
机构 * CSIRO Technology（联邦科学与工业研究组织）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.AI
AI总结 研究探索基于大型预训练模型的视觉机器人导航策略新方法，提出GemNav，仅对语言塔用LoRA适配冻结的多模态大语言模型用于中短程航点导航，无辅助视觉编码器等，在小语料库上零样本转移到未见环境，提供了数据高效、可部署的导航替代方案。
Search-on-Graph-R1: Training Large Language Models to Search Knowledge Graphs with Reinforcement Learning
搜索图-R1：使用强化学习训练大型语言模型以搜索知识图谱
机构 * Université de Montréal（蒙特利尔大学） ； Mila – Québec AI Institute（米拉-魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Halmstad University College（哈尔姆斯塔德大学学院）
专题命中 指令微调 ：large language model(title)；language model(title)；SFT(abstract,abstract_cn)；LLM(abstract)
AI总结 研究针对知识图谱问答部署成本高的问题，提出搜索图-R1，通过监督微调与强化学习，将导航内化到8B模型。核心是用黄金SPARQL查询搭建教师遍历答案路径。该模型在多个数据集上超越前沿语言模型，推理无需辅助模块，训练无需语言模型评判，且训练阶段互补，可跨模型家族迁移。
Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models
Oyster-II：大语言模型中用于建设性安全对齐的强化学习
机构 * Alibaba AAIG（阿里巴巴人工智能全球研究院）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.AI
AI总结 研究大语言模型安全等问题，指出传统策略不足。基于Oyster-I范式，提出Oyster-II框架，采用强化学习结合零强化学习范式，在多基准测试中安全维度表现出色。
OpenTinker: Separating Concerns in Agentic Reinforcement Learning
OpenTinker：在智能体强化学习中分离关注点
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 介绍OpenTinker，一种用于训练大型语言模型智能体的开放基础设施。通过共享执行资源和多LoRA策略，围绕策略生命周期运行，支持SFT和RL，实现多用户等共享基础模型并隔离更新等。
Mastermind: Strategy-grounded Learning for Repository-Scale Vulnerability Reproduction
Mastermind: 基于策略学习的仓库级漏洞复现
机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；分类 cs.AI
AI总结 提出Mastermind双循环框架，通过策略学习（SFT+GRPO）提升LLM代理在仓库级漏洞复现中的表现，在260个训练任务和200个测试任务上达到84.5%通过率，并成功迁移至不同执行器。
Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use
智能体能否泛化到开放世界？揭示工具使用中静态训练的脆弱性
专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 针对LLM智能体在真实场景中因查询、工具集和交互动态变化而性能下降的问题，形式化定义了开放世界工具使用问题，构建了四层层次的环境偏移框架，并通过实验揭示了监督微调和强化学习训练智能体在面对开放环境偏移时的脆弱性，提出了扰动增强微调策略以提升鲁棒性。
Comments Accepted by ICML 2026
Curvature-Guided Module Localization for Low-Rank Detoxification of Backdoored Large Language Models
曲率引导的模块定位用于后门大语言模型的低秩解毒
机构 * AIVault Inc.（AIVault公司）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI
AI总结 提出一种基于激活修补和Fisher/K-FAC曲率分析的机制引导权重空间修复框架，定位并低秩修复后门大语言模型中最有影响力的模块，有效抑制触发条件恶意行为同时保持良性性能。
The Amplifying Mirror: Locating and Steering the Partisan Direction inside a Large Language Model
放大镜：定位和操控大语言模型内的党派方向
机构 * Vanderbilt University（范德比尔特大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL
AI总结 通过线性探针在Llama 3.1 8B Instruct模型的隐藏状态中定位党派政治身份方向，并利用稀疏自编码器分解为可解释特征，因果干预可系统性改变模型输出，证明党派偏见是可定位和操控的几何特征。
Large Language Models are Perplexed by some Political Parties
大型语言模型对某些政党感到困惑
机构 * Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、信息研究所）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL
AI总结 通过困惑度评估，发现大型语言模型对极右翼和民族主义政党文本的困惑度高于社会民主党，且该偏差源于预训练阶段，指令微调影响甚微。
PuzzleClone: A DSL-Powered Framework for Synthesizing Verifiable Data
PuzzleClone: 一种基于DSL的可验证数据合成框架
机构 * HiThink Research（HiThink研究院） ； HKUST（香港科技大学） ； Zhejiang University（浙江大学）
专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 提出PuzzleClone框架，通过DSL驱动的方法合成大规模、高可靠、多样化的可验证数学逻辑数据集，并构建PC-83K基准，实验表明后训练能显著提升LLM在逻辑与数学任务上的性能。
Identifying and Mitigating Bottlenecks in Role-Playing Agents: A Systematic Study of Disentangling Character Profile Axes
识别与缓解角色扮演代理中的瓶颈：解耦角色档案轴线的系统研究
机构 * Chung-Ang University（Chung-Ang 大学）
专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 本研究通过解耦角色档案的熟悉度、结构和性格三个轴线，系统诊断LLM角色扮演代理的性能瓶颈，并提出无训练的场感知对比解码（FACD）策略来缓解性格带来的性能下降。
Comments 28 pages
DP-SelFT: Differentially Private Selective Fine-Tuning for Large Language Models
DP-SelFT: 大语言模型的差分隐私选择性微调
机构 * Renmin University of China（中国人民大学） ； Nanyang Technological University（南洋理工大学）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG
AI总结 本文提出DP-SelFT框架，通过选择性微调方法在保持差分隐私的同时提升大语言模型的隐私-效用权衡。
In-context Learning vs. Instruction Tuning: The Case of Small and Multilingual Language Models
上下文学习与指令微调：小语言模型和多语言情况的案例
机构 * Fundación Vicomtech, Basque Research and Technology Alliance (BRTA)（维克森科技基金会，巴斯克研究与技术联盟（BRTA）） ； University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）
专题命中 指令微调 ：language model(title,abstract)；instruction tuning(title,abstract)；large language model(abstract)；分类 cs.CL
AI总结 研究评估了上下文学习在非英语语言和不同模型大小下的指令遵循有效性，发现其表现下降，但通过直接偏好优化可部分提升性能。
A Multi-Dimensional Audit of Politically Aligned Large Language Models
对政治倾向大型语言模型的多维审计
机构 * Brown University（布朗大学） ； University of Michigan（密歇根大学） ； Ross School of Business（罗斯商学院）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL
AI总结 本文提出基于哈贝马斯沟通行动理论的多维框架，评估政治倾向语言模型在有效性、公平性、真实性及说服力四方面的表现，揭示大模型在政治角色扮演中更有效但更偏颇的权衡问题。
Preventing Safety Drift in Large Language Models via Coupled Weight and Activation Constraints
通过耦合权重和激活约束防止大语言模型中的安全漂移
机构 * Hunan Normal University（湖南师范大学） ； The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，中国科学院自动化研究所） ； National University of Defense Technology（国防科技大学）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI
AI总结 本文提出耦合权重和激活约束方法，通过同时约束权重更新和关键特征正则化，有效提升大语言模型的安全性，实验显示其在多种任务中表现优于现有方法。
Comments 17 pages, 6 figures, 6 tables, The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)
AgenticAI-DialogGen: Topic-Guided Conversation Generation for Fine-Tuning and Evaluating Short- and Long-Term Memories of LLMs
AgenticAI-DialogGen：基于主题引导的对话生成用于微调和评估LLM的短期和长期记忆
机构 * School of Computing, Macquarie University（麦考瑞大学计算机学院）
专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本文提出AgenticAI-DialogGen框架，通过生成基于角色和主题的对话来微调和评估LLM的短期和长期记忆，引入了TopicGuidedChat数据集以提升对话质量和模型性能。
Comments 13 pages, 5 figures, 5 tables
DeCoVec: Building Decoding Space based Task Vector for Large Language Models via In-Context Learning
DeCoVec：通过上下文学习构建基于解码空间的任务向量以指导大语言模型
机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL
AI总结 DeCoVec通过上下文学习在解码空间中构建任务向量，无需微调或侵入性操作，有效提升大语言模型性能，实验显示在多个数据集上优于基线方法。
Comments Accepted to ACL 2026 Findings
QoS-QoE Translation with Large Language Model
服务质量-用户体验转换与大语言模型
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG
AI总结 本文提出服务质量-用户体验转换数据集，利用大语言模型进行双向转换，展示了在连续值和离散标签预测上的强性能，为多媒体质量预测与优化提供基准。
