语言大模型 / LLM

Divide and Cooperate: Role-Decomposed Multi-Agent LLM Training with Cross-Agent Learning Signals

分工与合作：基于跨智能体学习信号的角色分解多智能体LLM训练

Jaewan Park, Solbee Cho, Jay-Yoon Lee

机构 * Seoul National University（首尔大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出DAC框架，将多步推理分解为搜索和生成两个子任务，分别由专用智能体处理，并通过跨智能体学习信号解决信用分配问题，在QA基准上超越全参数微调的单体模型。

In-Training Defenses against Emergent Misalignment in Language Models

训练过程中对抗语言模型中新兴偏差的防御措施

David Kaczér, Magnus Jørgenvåg, Clemens Vetter, Esha Afzal, Robin Haselhorst, Lucie Flek, Florian Mai

机构 * University of Copenhagen（哥本哈根大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了在训练过程中如何防止语言模型出现新兴偏差，提出了五种训练正则化干预方法，并展示了通过选择对齐模型与偏差模型之间困惑度差异的交错数据可以获得最佳效果。

Comments Accepted at ICML 2026 https://icml.cc/virtual/2026/poster/64303

Test-time reward-guided alignment of language models by importance sampling on pre-logit space

基于预逻辑空间重要性采样的测试时奖励引导语言模型对齐

Sekitoshi Kanai, Tsukasa Yoshida, Hiroshi Takahashi, Haru Kuroki, Kazumune Hashimoto

机构 * NTT, Inc.（NTT公司） ； Toyohashi University of Technology（东邦大学） ； The University of Osaka（大阪大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种基于预逻辑空间自适应重要性采样的测试时对齐方法AISP，通过高斯扰动和重要性采样优化奖励期望，在样本效率上优于最佳-of-n采样和其他测试时对齐方法。

Comments 24 pages, 10 figures

Reconsidering Positional Supervision in Masked Diffusion Language Model Training

重新审视掩码扩散语言模型训练中的位置监督

Mengyu Ye, Keito Kudo, Ryosuke Takahashi, Jun Suzuki

机构 * Tohoku University（东大大学） ； RIKEN（理化学研究所） ； NII LLMC（国家信息研究所LLMC） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 针对掩码扩散语言模型对位置偏移敏感的问题，提出基于连接主义时序分类（CTC）的目标函数，通过引入松弛令牌和更新折叠映射来吸收位置不确定性，从而在开放生成基准上取得一致提升。

Comments preprint, WIP

A Pilot Study on Curator-Guided Multilingual Art Description for Blind and Low-Vision Audiences with Small Vision-Language Models

策展人引导的多语言艺术描述对盲人和低视力观众的小型视觉语言模型试点研究

Iosif Tsangko, Andreas Triantafyllopoulos, George Margetis, Ioana Crihana, Björn W. Schuller

机构 * Technical University of Munich（慕尼黑技术大学） ； Foundation for Research and Technology -- Hellas（希腊研究与技术基金会） ； National University of Science and Technology Politehnica Bucharest（布加勒斯特政治技术科学与技术国家大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究使用小型视觉语言模型Qwen2.5-VL-3B-Instruct，通过策展人引导的方式为盲人和低视力观众生成德语、罗马尼亚语和塞尔维亚语的多语言艺术描述，发现语言特定适配器在控制性和视觉基础描述质量上优于多语言适配器。

Comments 7 pages, 2 figures, 3 tables. Preprint

Beyond Bilingual Transfer: Multilingual Code-Switching in Instruction Tuning

超越双语迁移：指令微调中的多语言代码切换

Shunta Asano, Jeonghun Baek, Toshihiko Yamasaki

机构 * The University of Tokyo（东京大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过跨四种语言的句子级多语言代码切换指令微调，验证了多语言代码切换能有效提升大语言模型的多语言理解性能，超越了传统双语迁移设置。

Knowing When to Ask: Segment-Level Credit Assignment for LLM Tool Use

知道何时求助：面向LLM工具使用的片段级信用分配

Abhijit Kumar, Zoey Wu, Mohit Suley

机构 * Microsoft AI Redmond（微软AI红mond） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出CARL方法，通过强化学习在模型自身轨迹上训练评论家，对每个工具使用片段独立分配信用，使模型学会区分参数知识足够与需要外部帮助的情况，在多个基准上提升准确率并减少不必要的工具调用。

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

SAME: 用于多模态持续指令调优的稳定混合专家模型

Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态持续指令调优中专家路由漂移和专家漂移问题，提出稳定混合专家模型（SAME），通过正交子空间分解路由动态和曲率感知缩放更新专家，实现无重放的状态最优性能。

Comments Accepted to ICML 2026. Code is available at https://github.com/LAMDA-CL/Prism

Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning

Prism：面向可扩展多模态持续指令微调的插件式可复现基础设施

Jun-Tao Tang, Yu-Cheng Shi, Zhen-Hao Xie, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对多模态持续指令微调中工程瓶颈问题，提出Prism插件式代码库，通过轻量级插件注册机制分离算法开发与骨干实现，支持大规模训练流水线，实现可复现、可扩展的实验。

Comments Code is available at https://github.com/LAMDA-CL/Prism

Correcting Stochastic Update Bias in Preconditioned Language Model Optimizers

纠正预条件语言模型优化器中的随机更新偏差

Nikhil Nayak, Julia White, Urchade Zaratiana, Kelton Zhang, Henrijs Princis, Dhruv Atreja, Henry Fawcett, Matthew Thomas, George Hurn-Maloney, Ash Lewis

机构 * Fastino Labs（Fastino实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了预条件优化器中随机更新规则的有限样本偏差问题，提出了一种单批次偏差校正框架，通过交叉拟合预条件估计和方差校正逆运算来减少梯度-预条件器耦合偏差和逆运算偏差，从而提升预条件优化器的性能。

Comments 32 pages, 3 figures, 13 tables

TRIM: Token-wise Attention-Derived Saliency for Data-Efficient Instruction Tuning

TRIM：基于令牌注意力的显著性用于数据高效的指令微调

Manish Nagaraj, Sakshi Choudhary, Utkarsh Saxena, Deepak Ravikumar, Kaushik Roy

机构 * Electrical and Computer Engineering, Purdue University（普渡大学电子与计算机工程系） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 TRIM通过令牌层面的注意力分析提升数据效率，利用少量高质量样本构建指令微调数据集，显著优于现有方法，在部分任务中甚至超越全数据微调。

LLM-Augmented Knowledge Base Construction For Root Cause Analysis

基于大语言模型的知识库构建用于根本原因分析

Nguyen Phuc Tran, Brigitte Jaumard, Oscar Delgado, Tristan Glatard, Karthikeyan Premkumar, Kun Ni

机构 * Department of Computer Science and Software Engineering, Concordia University（计算机科学与软件工程系，康科迪亚大学） ； École de Technologie Supérieure（高级技术学院） ； GAIA-Ericsson Montréal, Canada（蒙特利尔加拿大GAIA-爱立信） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文评估了三种大语言模型方法，用于从支持票中构建根本原因分析知识库，通过词法和语义相似性指标比较其性能，实验表明生成的知识库能有效加速RCA任务并提升网络韧性。

Comments This work has been accepted for publication in IEEE Access. The final published version will be available via IEEE Xplore

Journal ref 2026 IEEE Access

Merging Triggers, Breaking Backdoors: Defensive Poisoning for Instruction-Tuned Language Models

融合触发器，打破后门：面向指令微调语言模型的防御性中毒

San Kim, Gary Geunbae Lee

机构 * Graduate School of Artificial Intelligence, POSTECH, Republic of Korea（POSTECH人工智能研究生院，韩国） ； Department of Computer Science and Engineering, POSTECH, Republic of Korea（POSTECH计算机科学与工程系，韩国） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MB-Defense框架，通过防御性中毒和后门中和两个阶段，提升指令微调语言模型对后门攻击的鲁棒性，实验表明其有效降低攻击成功率并保持指令遵循能力。

Comments 18 pages

Data Selection for Multi-turn Dialogue Instruction Tuning

多轮对话指令微调的数据选择

Bo Li, Shikun Zhang, Wei Ye

机构 * National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心，北京大学） ； School of Computer Science, Peking University（北京大学计算机学院） ； PKU-CMCC(Hubei) Joint Research Lab for LLM Industrial Applications（北京大学-湖北CMCC大模型工业应用联合实验室） 纠错

专题命中 指令微调 ：instruction tuning(title)；LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MDS框架，通过全局覆盖和局部结构阶段选择多轮对话数据，提升指令微调效果，优于现有方法并在多个基准测试中表现最佳。

Comments Github: https://github.com/WisdomShell/MDS Project: https://wisdomshell.github.io/MDS/

Journal ref Findings of ACL 2026

MAny: Merge Anything for Multimodal Continual Instruction Tuning

MAny：为多模态连续指令微调合并任何内容

Zijian Gao, Wangwang Jia, Xingxing Zhang, Pengfei Qian, Tao Sun, Bo Ding, Yong Dou, Huaimin Wang, Kele Xu

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； National Key Laboratory of Parallel and Distributed Computing, National University of Defense Technology（国防科技大学并行与分布式计算国家重点实验室） ； State Key Laboratory of Complex & Critical Software Environment（复杂与关键软件环境国家重点实验室） ； School of Computer Science, Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态连续指令微调中感知漂移和推理崩溃问题，提出MAny框架，通过跨模态投影合并和低秩参数合并实现任务知识融合，提升模型鲁棒性和性能。

Risk Awareness Injection: Calibrating Vision-Language Models for Safety without Compromising Utility

风险感知注入：为安全校准视觉-语言模型而不牺牲实用性

Mengxuan Wang, Yuxin Chen, Gang Xu, Tao He, Hongjie Jiang, Ming Li

机构 * Shien-Ming Wu School of Intelligent Engineering, South China University of Technology（华南理工大学吴贤铭智能工程学院） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳）） ； Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RAI框架，通过增强不安全信号恢复视觉-语言模型的安全识别能力，同时保持语义完整性，实验显示有效降低攻击成功率。

Low-Confidence Gold: Refining Low-Confidence Samples for Efficient Instruction Tuning

低置信度黄金：用于高效指令微调的低置信度样本精炼

Hongyi Cai, Jie Li, Mohammad Mahdinur Rahman, Wenzhen Dong

机构 * Universiti Malaya（马来亚大学） ； University of Science and Technology Beijing（北京科技大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LCG框架，通过聚类和置信度引导选择精炼低置信度样本，提升指令微调效率与性能，实验显示在MT-bench等指标上表现更优。

Comments Accepted to EMNLP Findings 2025

LLM Analysis of 150+ years of German Parliamentary Debates on Migration Reveals Shift from Post-War Solidarity to Anti-Solidarity in the Last Decade

基于150余年德国议会辩论的LLM分析揭示了从战后团结到反团结的转变

Aida Kostikova, Ole Pütz, Steffen Eger, Olga Sabelfeld, Benjamin Paassen

机构 * Bielefeld University（比勒费尔德大学） ； University of Technology Nuremberg（纽伦堡工业大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文利用LLM分析德国议会辩论中的迁移议题，发现战后时期团结程度较高，而2015年后反团结显著上升，提出需通过验证和统计修正来提升LLM在社会科学研究中的应用。

Asymmetric Actor-Critic for Multi-turn LLM Agents

多轮LLM代理的非对称Actor-Critic

Shuli Jiang, Zhaoyang Zhang, Yi Zhang, Shuo Yang, Wei Xia, Stefano Soatto

机构 * AWS Agentic AI 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出非对称Actor-Critic框架，利用专有LLM作为Actor，开源模型作为Critic，提升多轮对话可靠性。实验显示该方法在τ-bench和UserBench上优于单Agent基线，且轻量级Critic表现优异。

Comments 19 pages

Founder effects shape the evolutionary dynamics of multimodality in open LLM families

奠基效应塑造了开放大语言模型家族中多模态的进化动态

Manuel Cebrian

机构 * Center for Automation and Robotics, Spanish National Research Council, Madrid, Spain（自动化与机器人中心，西班牙国家研究委员会，西班牙马德里） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过分析模型谱系数据，发现多模态能力在开放大语言模型家族中通过罕见的奠基事件进入，并在后代谱系中快速扩展，导致多模态能力的采用动态呈现突变特征。

Comments 7 pages, 4 figures, 2 tables

Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning

在不使用学习率衰减的情况下预训练LLM增强了监督微调

Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

机构 * Tohoku University（东大大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文研究了学习率调度在大语言模型预训练中的作用，发现不使用衰减的学习率调度在监督微调后表现更优，且损失景观分析显示其保持更平坦的最小值以支持适应性。

Comments 25 pages, accepted by ICLR 2026 as a conference paper

Greedy Information Projection for LLM Data Selection

贪心信息投影用于大语言模型数据选择

Victor Ye Dong, Kuan-Yun Lee, Jiamei Shuai, Shengfei Liu, Yi Liu, Jian Jiao

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出贪心信息投影框架，通过最大化子集与任务查询信号的互信息，平衡质量与多样性，高效选择数据集进行微调。

Comments Published as a paper at 3rd DATA-FM workshop @ ICLR 2026, Brazil

Text-only adaptation in LLM-based ASR through text denoising

基于文本去噪的LLM语音识别领域适应

Andrés Carofilis, Sergio Burdisso, Esaú Villatoro-Tello, Shashi Kumar, Kadri Hacioglu, Srikanth Madikeri, Pradeep Rangappa, Manjunath K E, Petr Motlicek, Shankar Venkatesan, Andreas Stolcke

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过文本去噪方法实现LLM语音识别领域适应，有效保持跨模态对齐并提升性能，实测在两个数据集上达到22.1%的相对提升。

Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning

令牌清理：面向LLM监督微调的细粒度数据选择

Jinlong Pang, Na Di, Zhaowei Zhu, Jiaheng Wei, Hao Cheng, Chen Qian, Yang Liu

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出了一种令牌清洗方法，通过评估令牌质量并过滤无信息令牌，提升LLM监督微调的下游性能。

Hindsight Credit Assignment for Long-Horizon LLM Agents

长远时间LLM智能体的回顾信用分配

Hui-Ze Tan, Xiao-Wen Yang, Hao Chen, Jie-Jing Shao, Yi Wen, Yuteng Shen, Weihong Luo, Xiku Du, Lan-Zhe Guo, Yu-Feng Li

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 HCAPO通过整合回顾信用分配提升LLM智能体在长期任务中的探索效率和决策简洁性。

Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection

知何时错误：将置信度与正确性对齐以用于LLM错误检测

Xie Xiaohu, Liu Xiaohu, Yao Benjamin

机构 * Alexa AI, Amazon, Seattle, WA, USA（Alexa AI，亚马逊，西雅图，华盛顿州） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出归一化置信度分数和自我评估框架，通过SFT提升LLM置信度可靠性，减少校准误差，提升错误检测效果。

Compact Prompting in Instruction-tuned LLMs for Joint Argumentative Component Detection

在指令调优的LLM中使用紧凑提示进行联合论证组件检测

Sofiane Elguendouze, Erwan Hain, Elena Cabrio, Serena Villata

机构 * Université Côte d’Azur, I3S, CNRS, Inria（法国埃克塞特大学、I3S研究所、国家科学研究中心、法国国家信息与自动化研究所） 纠错

专题命中 指令微调 ：prompting(title)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出利用指令调优的LLM和紧凑提示，将论证组件检测重新建模为生成任务，提升从文本中直接识别论证组件的性能。

Comments Under Review (COLM 2026)

Token-level Data Selection for Safe LLM Fine-tuning

令牌级数据选择用于安全大语言模型微调

Yanping Li, Zhening Liu, Zijian Li, Zehong Lin, Jun Zhang

机构 * The Hong Kong University of Science（香港科学与技术大学） ； School of Data Science, Lingnan University（岭南大学数据科学学院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TOSS框架，通过令牌级数据选择提升LLM微调的安全性，同时在下游任务性能上优于现有样本级防御方法。

Comments Accepted by ICLR 2026

Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data

关系变换器：面向关系数据的零样本基础模型

Rishabh Ranjan, Valter Hudovernik, Mark Znidar, Charilaos Kanatsoulis, Roshan Upendra, Mahmoud Mohammadi, Joe Meyer, Tom Palczewski, Carlos Guestrin, Jure Leskovec

专题命中 指令微调 ：foundation model(title,abstract)；LLM(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 关系变换器通过零样本迁移能力，为关系数据提供高效的基础模型解决方案。

Comments Accepted to ICLR 2026

Self-Destructive Language Model

自我毁灭型语言模型

Yuhui Wang, Rongyi Zhu, Ting Wang

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 SEAM是一种通过自我毁灭机制增强大语言模型安全性的新型防御方法，通过使模型在面对有害数据微调时性能急剧下降，从而有效抵御攻击。

Comments Accepted to ICLR 2026