语言大模型 / LLM

When RL Fails after SFT: Rejuvenating Model Plasticity for Robust SFT-to-RL Handoff

当强化学习在监督微调后失效：恢复模型可塑性以实现稳健的SFT到RL交接

Runze Liu, Jiashun Liu, Xu Wan, Yuqian Fu, Ling Pan

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University（浙江大学） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（多模态人工智能系统国家重点实验室，CASIA） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对SFT过度训练导致RL阶段改进有限的问题，提出Rejuvenation方法，通过基模型锚定融合和神经元重置恢复模型可塑性，在数学推理和智能体任务上提升RL性能。

BudgetThinker: Empowering Budget-aware LLM Reasoning with Control Tokens

BudgetThinker: 通过控制令牌赋能预算感知的LLM推理

Hao Wen, Xinrui Wu, Yi Sun, Feifei Zhang, Liye Chen, Jie Wang, Yunxin Liu, Yunhao Liu, Ya-Qin Zhang, Yuanchun Li

机构 * Institute for AI Industry Research (AIR) Tsinghua University（人工智能产业研究院（AIR）清华大学） ； Global Innovation Exchange & Department of Automation Tsinghua University（全球创新交流中心及自动化系 清华大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 BudgetThinker通过在推理过程中插入控制令牌，使LLM能够精确控制推理过程长度，采用两阶段训练流程提升模型在不同预算下的表现。

Pushing the Limits of LLM Tool Calling via Experiential Knowledge Integration and Activation

通过经验知识集成与激活推动LLM工具调用极限

Yupu Hao, Zhuoran Jin, Huanxuan Liao, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究如何通过经验知识获取、激活和内化提升LLM多步工具调用性能，提出知识增强工具执行框架KATE，结合宽度扩展推理与知识感知训练，在BFCL-V3和AppWorld上显著优于基线。

Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners

迷失在序列化中：LLM图推理器的不变性与泛化能力

Daniel Herbst, Lea Karbevska, Divyanshu Kumar, Akanksha Ahuja, Fatemeh Gholamzadeh Nasrabadi, Fabrizio Frasca

机构 * University of Cambridge（剑桥大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究LLM图推理器对图表示对称性的缺乏不变性，通过分解序列化因素并评估微调影响，发现大模型更鲁棒，微调降低节点重标敏感但增加结构和格式敏感，且不保证泛化。

Comments ICML 2026 Workshop on Graph Foundation Models

KLong: Training LLM Agent for Extremely Long-horizon Tasks

KLong：训练用于超长 horizon 任务的 LLM 代理

Yue Liu

专题命中 指令微调 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 KLong 通过轨迹分割 SFT 和渐进式 RL 训练，解决超长 horizon 任务，实现 106B 模型在 PaperBench 上超越 Kimi K2 Thinking 11.28%。

Comments We request standard withdrawal of this submission because significant errors were discovered in the data after submission, which affect the validity of the results. We may submit a corrected version later

Null-Space Constrained Low-Rank Adaptation for Response-Specified Large Language Model Unlearning

零空间约束的低秩自适应用于指定响应的大型语言模型遗忘

Bocheng Ju, Jianhua Wang, Chengliang Liu, Xiaolin Chang

机构 * Beijing Key Laboratory of Security and Privacy in Intelligent Transportation, Beijing Jiaotong University（北京交通大学智能交通信息安全与隐私保护北京市重点实验室） ； College of Computer Science and Technology, Taiyuan University of Technology（太原理工大学计算机科学与技术学院） ； Institute of Computing Technologies, China Academy of Railway Sciences Corporation Limited（中国铁道科学研究院集团有限公司计算技术研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出零空间约束响应指定遗忘框架，通过正交投影低秩参数化将LoRA更新限制在保留子空间的零空间内，在抑制遗忘知识的同时保持模型效用。

Domain Adapted Large Language Models for Additive Manufacturing

面向增材制造的领域自适应大语言模型

Peter Pak, Amir Barati Farimani

机构 * Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；pretraining(abstract)

AI总结 本文通过约5000万token的小型数据集对开源大语言模型进行领域自适应预训练和指令微调，构建多模态领域自适应模型，在增材制造基准测试中达到90%以上准确率。

AuRA: Internalizing Audio Understanding into LLMs as LoRA

AuRA: 将音频理解内化到LLM中作为LoRA

Bo Cheng, Lei Shi, Zhanyu Ma, Yuan Wu, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He

机构 * Meituan（美团） ； Jilin University（吉林大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AuRA方法，通过层间蒸馏将ASR编码器的语音表示内化到LoRA适配的LLM中，实现紧耦合的语音-语言联合建模和高效并行端到端推理，在多个基准上优于级联系统和现有适应方法。

Two to Tango: Coupled Task-Reference Selection for Safe LLM Fine-tuning

双人探戈：面向安全LLM微调的耦合任务-参考选择

Xinrui Chen, Jianhao Zhang, Ou Wu, Di Gao

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出DualSelect框架，通过耦合任务与安全参考选择，在微调时保持安全对齐，提升安全评分至少5.10点。

EstRTL: Functional Estimation Guided RTL Code Generation

EstRTL：功能估计引导的RTL代码生成

Qi Xiong, Renzhi Chen, Bowei Wang, Yuqing Xiong, Libo Huang, Lei Wang

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； Defense Innovation Institute, Academy of Military Science (AMS)（军事科学院创新院） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； Key Laboratory of Advanced Microprocessor Chips and Systems, Changsha, China, and College of Computer Science and Technology, National University of Defense Technology, Changsha, China（先进微处理器芯片与系统重点实验室，长沙，中国，和国防科技大学计算机科学与技术学院，长沙，中国） ； Defense Innovation Institute, AMS, Beijing, China and Qiyuan Lab, Beijing, China（军事科学院创新院，北京，中国和启元实验室，北京，中国） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出EstRTL框架，通过静态功能评分估计，结合生成、评估和修正三阶段范式，提升LLM生成RTL代码的功能正确性，在通用LLM上正确率提升3.2%-9.0%。

What Really Matters for Table LLMs? A Meta-Evaluation of Model and Data Effects

表格LLM真正重要的是什么？模型与数据影响的元评估

Naihao Deng, Sheng Zhang, Henghui Zhu, Shuaichen Chang, Jiani Zhang, Alexander Hanbo Li, Chung-Wei Hang, Hideo Kobayashi, Yiqun Hu, Patrick Ng

机构 * University of Michigan（密歇根大学） ； AWS AI Labs（AWS人工智能实验室） ； Figma ； OKX ； Google（谷歌） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；foundation model(abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 通过指令微调12个模型并在16个基准上评估，发现基座模型选择比训练数据对性能影响更大，泛化与推理仍是挑战。

Comments EACL 2026 Findings

Divide and Cooperate: Role-Decomposed Multi-Agent LLM Training with Cross-Agent Learning Signals

分工与合作：基于跨智能体学习信号的角色分解多智能体LLM训练

Jaewan Park, Solbee Cho, Jay-Yoon Lee

机构 * Seoul National University（首尔大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出DAC框架，将多步推理分解为搜索和生成两个子任务，分别由专用智能体处理，并通过跨智能体学习信号解决信用分配问题，在QA基准上超越全参数微调的单体模型。

A Unifying Lens on Supervised Fine-Tuning Through Target Distribution Design

通过目标分布设计审视监督微调的统一视角

Tong Xie, Yuanhao Ban, Yunqi Hong, Sohyun An, Yihang Chen, Cho-Jui Hsieh

机构 * University of California, Los Angeles (UCLA)（加州大学洛杉矶分校） ； Arena 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文重新解读监督微调为目标分布设计，提出Q-target框架，将监督分解为对观测token的依赖强度与替代token的概率分配，并基于此提出Target-SFT方法，在多个推理任务中优于现有方法。

Goal-oriented Communication for Fast and Robust Robotic Fault Detection and Recovery

面向快速鲁棒机器人故障检测与恢复的目标导向通信

Shutong Chen, Adnan Aijaz, Yansha Deng

机构 * Department of Engineering, King’s College London（伦敦国王学院工程系） ； Bristol Research and Innovation Laboratory, Toshiba Europe Ltd.（托bsd欧洲有限公司布里斯托尔研究与创新实验室） 纠错

专题命中 指令微调 ：SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 提出目标导向通信框架，通过联合设计通信-计算-控制回路，利用3D场景图检测故障，并微调小语言模型结合知识蒸馏生成恢复动作，实现故障检测与恢复时间降低82.6%，任务成功率提升76%。

Comments Submit to IEEE for potential publication

The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay Scoring

顺序重要：LLaMA的序列微调用于连贯的自动作文评分

Ali Keramati, Mark Warschauer

机构 * University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出对LLaMA-3.1-8B进行任务感知的序列微调，按作文话语结构顺序训练，在PERSUADE 2.0语料上证据F1达65%、结论F1达87%，超越独立训练和70B基线，证明课程设计可提升自动作文评分性能。

Emergent alignment and the projectability of ethical personas

涌现对齐与伦理人格的可投射性

Guillermo Del Pinal, Youngchan Lee, Calum McNamara, Alejandro Perez Carballo

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究微调大语言模型在窄任务上如何引发广泛对齐行为，通过宪法AI方法赋予模型伦理人格，发现窄对齐可投射到未训练类别，并提出对齐策略应评估可投射性。

Supervised Fine-tuning with Synthetic Rationale Data Hurts Real-World Disease Prediction

使用合成理由数据进行监督微调损害真实世界疾病预测

Buxin Su, Bingxuan Li, Cheng Qian, Yiwei Wang, Jin Jin, Bingxin Zhao

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现，在临床预测任务中，使用合成理由数据进行监督微调反而显著降低模型性能，根本原因在于叙事合理性与判别优化之间的结构性冲突。

Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning

哪种LoRA？多语言指令微调中LoRA技术有效性的实证研究

Thamali Wijewardhana, Napoleon H. Reyes, Surangika Ranathunga

机构 * School of Mathematical and Computational Sciences, Massey University（梅西大学数学与计算科学学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.CL

AI总结 通过实验比较基本LoRA与四种变体在多语言指令微调中的效果，发现复杂变体在平衡跨语言迁移与知识保留方面并无显著优势。

A Unified Adaptive Feature Composition Framework for Multi-Task Generalization in Wireless Foundation Models

无线基础模型中多任务泛化的统一自适应特征组合框架

Yuxuan Shi, Tingting Yang, Kangning Ma, Liwen Jing, Yuwei Wang, Mengfan Zheng, Li Sun

机构 * Department of Broadband Communication, Pengcheng Laboratory（宽带通信系，鹏城实验室） ； Purple Mountain Laboratories（紫金山实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出RAFC路由适配器，通过轻量级任务驱动网络动态组合Transformer各层隐藏特征，实现无线基础模型的多任务泛化，仅增加少于50K参数。

RespiraMFM: A Multimodal Foundation Model with Contrastive Audio-Language Alignment for Respiratory Disease Identification

RespiraMFM：一种用于呼吸道疾病识别的对比音频-语言对齐多模态基础模型

Shakhrul Iman Siam, Tiantian Feng, Jiankun Zhang, Shrikanth Narayanan, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； University of Southern California（南加州大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 提出RespiraMFM多模态基础模型，通过对比音频-文本对齐策略整合呼吸音与临床信息，在监督和零样本任务中分别提升AUROC 9.15%和20.98%。

Comments ACL 2026 Main Conference

Small Data, Big Noise: Adversarial Training for Robust Parameter-Efficient Fine-Tuning

小数据，大噪声：面向鲁棒参数高效微调的对抗训练

Eitan Cohen, Idan Simai, Uri Shaham

机构 * Bar-Ilan University（巴伊兰大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.CL

AI总结 提出SDBN框架，将对抗训练与参数高效微调结合，通过离散不确定性集变体增强模型在低资源场景下的鲁棒性和泛化能力。

Comments Accepted to Findings of ACL 2026

A Modular Reference Architecture for MCP-Servers Enabling Agentic BIM Interaction

一种模块化参考架构用于MCP服务器，以实现代理BIM交互

Tobias Heimig-Elschner, Changyu Du, Anna Scheuvens, André Borrmann, Jakob Beetz

机构 * Chair of Design Computation, RWTH Aachen University（设计计算系，亚琛工业大学） ； Chair of Computing in Civil and Building Engineering, Technical University of Munich（土木与建筑工程计算系，慕尼黑技术大学） ； Federal Institute for Research on Building, Urban Affairs and Spatial Development (BBSR)（建筑、都市事务和空间发展研究院） ； TUM Georg Nemetschek Institute（慕尼黑技术大学Georg Nemetschek研究所） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种模块化参考架构，通过解耦MCP接口与特定BIM-API，实现API无关、隔离且可重复的BIM代理交互，提升重用性和研究系统性。

Comments Accepted at the GNI Symposium on Artificial Intelligence for the Built World (Technical University of Munich, May 18--20, 2026)

SARA: Semantically Adaptive Relational Alignment for Video Diffusion Models

SARA: 语义自适应关系对齐用于视频扩散模型

Jiesong Lian, Zixiang Zhou, Ruizhe Zhong, Yuan Zhou, Qinglin Lu, Rui Wang, Long Hu, Yixue Hao, Baoru Huang

机构 * Tencent Hunyuan（腾讯文英） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；foundation model(abstract)

AI总结 提出SARA方法，通过文本条件显著性引导令牌对监督，提升视频扩散模型的文本对齐和运动质量。

EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents

EEVEE：面向真实世界自改进智能体的测试时提示学习

Weixian Xu, Shilong Liu, Mengdi Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出首个多数据集测试时提示学习框架EEVEE，通过路由器与提示协同进化策略解决跨数据集干扰，在异构数据流下提升鲁棒性。

Comments 19 pages, 6 figures

Architect-Ant: Editable Automatic Furnishing of Architectural Floor Plans

Architect-Ant: 可编辑的建筑平面图自动家具布置

Fedor Rodionov, Aleksandar Cvejic, Michael Birsak, John Femiani, Peter Wonka

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Miami University（迈阿密大学） 纠错

专题命中 指令微调 ：language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 提出基于微调视觉语言模型的可编辑自动家具布置框架Architect-Ant，通过领域特定语言编码布局并优化，生成符合建筑约束的合理布局。

Comments 17 pages, 10 figures

Instruction Finetuning DeepSeek-R1-8B Model Using LoRA and NEFTune

使用LoRA和NEFTune对DeepSeek-R1-8B模型进行指令微调

Wu Yuerong, Mingni Luo

机构 * University of Hong Kong（香港大学） ； Northeastern University（东北大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究结合LoRA和NEFTune微调DeepSeek-R1-8B模型，用于金融命名实体识别，在七类实体上达到0.912的微F1分数，优于多个基线模型。

Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs

校准过度自信而不牺牲自信：基于探针条件的头部干预方法用于LLMs

Ke Li, Chongzhe Zhang, Zifan Zeng, Feng Liu, Qunli Zhang, Zheng Hu

机构 * Huawei Heisenberg Research Center（华为海森堡研究中心） ； EPFL（苏黎世联邦理工学院） ； TU Berlin（柏林技术大学） ； TUM（慕尼黑工业大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出PCHI方法，通过冻结探针检测可能错误但自信的响应，并条件性调整注意力头输出，在保持正确自信的同时减少过度自信，将ECE从21.9%降至9.2%。

Comments 11 pages, 4 figures

The Interlocutor Effect: Why LLMs Leak More Personal Data to Agents Than Humans

对话者效应：为什么LLMs向智能体泄露的个人数据比向人类多

Faouzi El Yagoubi, Godwin Badu-Marfo, Ranwa Al Mallah

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究发现LLMs在与AI智能体对话时比与人类对话更易泄露个人身份信息，通过注意力抑制假说解释该现象，实验表明安全对齐注意力头在智能体交互中失活导致泄露增加23个百分点。

Pareto-Guided Teacher Alignment for Fair Personalized Text Generation

帕累托引导的教师对齐用于公平个性化文本生成

Tunazzina Islam

机构 * Purdue University（普渡大学） 纠错

专题命中 指令微调 ：preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出帕累托引导的教师对齐框架，通过修订候选生成、对感知可行性门控、帕累托候选选择和偏好优化，在减少人口统计差异的同时保持个性化保真度，实验表明公平缓解效果依赖于目标且跨域迁移不一致。

Recoverable but Not Stationary:Local Linear Structures in Weights and Activations

可恢复但不稳定：权重和激活中的局部线性结构

Irina Piontkovskaia, Sergey Nikolenko

机构 * St. Petersburg Department of the Steklov Institute of Mathematics（斯捷克洛夫数学研究所圣彼得堡分所） ； St. Petersburg State University（圣彼得堡国立大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究神经网络中线性结构的存在性与尺度，发现局部低秩任务梯度结构，但固定任务平面假设不成立；首次恢复更新形成轨迹前缀基，捕获大部分恢复位移；提出随机搜索理论解释高维随机参数搜索有效性，并验证参数扰动与激活引导的关系。

Comments 23 pages, 8 tables, 9 figures