语言大模型 / LLM

SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning for LLMs

SFT冲突，RL共存：大语言模型多任务学习的理论与实证分析

Kejian Zhu, Zhuoran Jin, Shangqing Tu, Hongbang Yuan, Yushi Bai, Kang Liu, Juanzi Li, Jun Zhao

专题命中 指令微调 ：SFT(title,title_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对大语言模型多任务学习，通过理论与实证分析揭示SFT存在任务冲突而RL可稳定共存的机制，进而提出Parallel-RL范式以解耦多任务训练，提升效率与灵活性。

Comments Code: https://github.com/GaryStack/Parallel-RL

Fine-Tuning Small Language Models for Reliable VASP INCAR Generation

微调小型语言模型以生成可靠的VASP INCAR文件

Xinyue Zhang, Jixiang Li, Bin Shao, Baishun Yang, Zhiyang Liu, Weichao Wang

专题命中 指令微调 ：SLM(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；LLM(abstract)

AI总结 本研究通过微调小型语言模型（SLM）并搭配后处理器VASPGuard构建INCAR-SLM，在INCARBench上优于通用大模型，证明小型模型经适配可可靠生成VASP INCAR文件，适配后性能随规模增长趋于饱和。

Hyper-ES: Effective Evolution Strategies for LLM Reasoning via Descent Direction Merging

Hyper-ES：通过下降方向合并实现LLM推理的有效进化策略

Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

机构 * Southern University of Science and Technology（南方科技大学） ； National University of Singapore（新加坡国立大学） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出Hyper-ES框架，通过梯度微调获取下降方向张成子空间，再用CMA-ES优化DARE-TIES合并系数，在数学推理任务上性能优于GRPO-LoRA，梯度更新量减少10%。

Comments 19 pages, 4 figures, 14 tables. Code: https://github.com/kuangrepi/Hyper-ES

Scaffold-Mediated Post-Training: Co-Evolving Model Parameters and Procedural Scaffold Graphs

支架介导的后训练：协同演化模型参数与程序性支架图

Fei Ding, Yongkang Zhang, Runhao Liu, Yuhao Liao, Zijian Zeng, Huiming Yang

机构 * Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究针对大型语言模型后训练中参数与推理支架脱节的问题，提出支架介导的后训练范式，通过协同演化实现技能提升，在FeatureBench上较标准SFT取得显著性能优势。

Training-Free Token-Level Steering for LLM Personalized Co-Writing

面向LLM个性化协同写作的无训练令牌级引导

Wenhao Mao, Chengbin Hou, Weixiao Wang, Jialiang Zhu, Min Liu, Yibin Hao, Hairong Lv

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对LLM个性化协同写作的需求，提出无训练框架SteerWrite，无需梯度更新即可适配专业领域，在多数据集、指标和模型上实现SOTA性能，大幅降低人工编辑工作量。

Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently

带RL或SFT的Transformer可证明学习稀疏布尔函数，但方式不同

Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

机构 * School of Electronics and Computer Science, University of Southampton, United Kingdom（南安普顿大学电子与计算机科学学院，英国） ； Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.LG

AI总结 本文通过统一分析RL（过程奖励）和SFT微调Transformer学习可递归分解的k-稀疏布尔函数的动态，证明两者都能学习k-PARITY、k-AND、k-OR等函数，但RL同时学习整个CoT链，而SFT逐步学习。

Comments ICML 2026 final version. 50 pages

PolicyGuard: Prompt-Configurable Semantic DLP for LLM Coding Agents

PolicyGuard：面向LLM编码智能体的可配置提示语义数据防泄漏方案

Kyutae Park, Jungwon Kim, Daeyeol Shim

专题命中 指令微调 ：LLM(title,title_cn)

AI总结 针对LLM编码智能体的PolicyGuard框架，以自然语言策略文件引导LLM分类用户提示，在冻结测试集和隐藏保留集上表现优异，泛化与跨模型能力突出。

Comments This paper is being withdrawn because it was submitted prior to completion of a required institutional review process. The authors intend to resubmit after the review is complete

Large Language Models for Low-Resource Languages: A Conceptual Framework for an Electronic Explanatory Dictionary of the Tajik Language

用于低资源语言的大语言模型：塔吉克语电子解释词典的概念框架

Mullosharaf K. Arabov, S. S. Pirov, B. Sultonov

机构 * Kazan Federal University（喀山联邦大学） ； Tajik National University（塔吉克国立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文针对低资源语言塔吉克语，提出结合LLMs与经典词典方法的电子解释词典概念架构，为相关应用NLP任务提供核心资源，适用于计算语言学等领域从业者。

Comments Preprint

PolyAlign: Conditional Human-Distribution Alignment

PolyAlign: 条件性人类分布对齐

L. D. M. S. Sai Teja, Ufaq Khan, Sathira Silva, Xiao Wu, Muhammad Haris Khan

机构 * NIT Silchar（印度国立理工学院锡尔恰尔分校） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)；post-training(abstract)；preference optimization(abstract)

AI总结 提出PolyAlign框架，通过桶感知SFT和人类分布偏好优化，实现语言模型在不同交互上下文中的条件性人类分布对齐，提升自然性和分布忠实度。

Comments 23 pages, 5 Figures, 13 Tables

SemiAdapt-Instruct: Extensible Instruction Tuning via Latent Domain-Specialised Adapters

SemiAdapt-Instruct：通过潜在领域专用适配器实现可扩展的指令微调

Josh McGiff, Salma Mekaoui, Robert Shanahan, Nikola S. Nikolov

机构 * University of Limerick（利默里克大学） 纠错

专题命中 指令微调 ：instruction tuning(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 SemiAdapt-Instruct是一种模块化指令微调框架，可发现潜在指令领域并训练对应LoRA适配器，无需全模型微调即可扩展，性能优于全模型微调且具备整体方法无法实现的可扩展性。

A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination

A-SR：通过分层协调实现符号回归的自进化智能体大语言模型

Wenxiao Zhao, Dong Liu, Kaiyi Xu, Feng Liu, Zhen Zhao, Fei Ben, Shu Wang, Wenhao Li, Ying Nian Wu, Fenghua Ling, Haobo Li, Lei Bai

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 A-SR是一种自进化智能体框架，通过分层协调实现符号回归，在LLM-SRBench科学领域和真实世界任务上显著提升了符号回归的Acc@0.01和归一化均方误差指标。

Comments 18 pages, 8 figures, including appendix

CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning

CP-MoE：一致性保留的混合专家用于持续学习

Yang Liu, Toan Nguyen, Flora D. Salim

机构 * School of Computer Science and Engineering University of New South Wales（计算机科学与工程学院 新南威尔士大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CP-MoE，一种基于瞬时专家的持续学习框架，通过一致性保留的路由偏置和瞬时专家引导的正则化机制，减少参数干扰和遗忘，同时保留跨任务知识转移。

Comments Accepted at CoLLAs 2026

Beyond Full-Model Rollback: AuroSFT for Adapter-State Multi-Task Fine-Tuning

超越全模型回滚：用于适配器状态多任务监督微调的AuroSFT

Yue Han, Ziniu Liu

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.LG

AI总结 针对多任务SFT的全模型回滚成本高的问题，提出参数高效框架AuroSFT，将状态转为可合并的适配器状态，在保留骨干网络的比较中平均准确率达61.36%，优于msft的59.85%。

When Do Corrective Features Help? An Agent for Corrective Feature Discovery on Black-Box Forecasters

纠正特征何时有用？面向黑盒预测器的纠正特征发现智能体

Fangxin Wang, Ziyi Zhang, Diyi Zhuang, Langzhou He, Shiyu Wang, Baichuan Mo, Philip S. Yu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Texas A&M University（德克萨斯农工大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出CRAFTER智能体，挖掘黑盒冻结预测器的残差以生成纠正特征，在6个数据集和6个主干上优于现有系统，使改进翻倍、误差降27%，可归因特征来源。

Comments 23 pages, 14 tables, 4 figures

Cautious Context Steering for Language Model Personalization

用于语言模型个性化的谨慎上下文引导（Cautious Context Steering, CCS）

Gihoon Kim, Jeyoung Lee, Suhan Woo, Sekwon Oh, Minsu Jeon, Hyounsoo Han, Euntai Kim

机构 * Yonsei University（延世大学） ； Hyundai Motors Company（现代汽车公司） ； Korea Institute of Science and Technology（韩国科学技术研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出 CCS 方法，通过轻量适配器动态控制语言模型解码时的上下文影响，在单数据集训练后实现领域内及四个分布外基准的个性化提升，且降低推理成本。

Comments 11 pages, 3 figures

Role Steering of Language Models for Social Simulations

用于社会模拟的语言模型角色引导

Isaac Song, Mohammed Rehan Parwani, Glenn Matlin, Emile Anand, Akhil Theerthala, Arjun Chatterjee, Anthony Wen-Ming Zang, Maria Kostylew, Yonadav G. Shavit, Sebastien Krier, Mark Riedl

机构 * Georgia Institute of Technology（佐治亚理工学院） ； ML Alignment & Theory Scholars (MATS)（ML对齐与理论学者组织（MATS）） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Oxford（牛津大学） ； Google DeepMind（谷歌DeepMind） ； OpenAI（开放人工智能公司） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.AI

AI总结 该研究提出针对语言模型智能体的角色引导筛选工作流，在OLMo-3-7B-Instruct上验证其角色画像对齐度更高且词汇多样性更好，发现需按角色选引导系数而非统一高强度设置。

Comments 35 pages. Published at the Social Sim'26 Workshop, COLM 2026. Code: https://github.com/eilab-gt/casting-call-vectors

GROM: Gradient-Free Rapid One-Shot Machine Unlearning

GROM：无梯度快速一次性机器遗忘

Paweł Batorski, Przemysław Spurek, Paul Swoboda

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GROM是一种无梯度快速一次性机器遗忘方法，通过闭式加性更新实现高效知识移除，在多数据集上取得最优遗忘-效用权衡，且能抵御低比特量化攻击。

AppDeltaWorld: Transition-Grounded Delta Code World Model for Mobile GUI Agents

AppDeltaWorld：面向移动GUI智能体的基于转换的增量代码世界模型

Weikai Xu, Yunren Feng, Haoxiang Lei, Kun Huang, Yuxuan Liu, Kang Zhao, Xiaolin Hu, Shuo Shang, Bo An

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对移动GUI智能体轨迹获取难、模拟环境扩展难等问题，提出AppDeltaWorld增量代码世界模型，在CMGUIBench-500评估中表现最优，支撑的AppDeltaAgent在多基准达SOTA，测试时强化学习可进一步提升性能。

A Study of LLMs' Preferences for Libraries and Programming Languages

对大型语言模型在库和编程语言偏好方面的研究

Lukas Twist, Mark Harman, Don Syme, Joost Noppen, Helen Yannakoudakis, Detlef Nauck, Jie M. Zhang

机构 * King’s College London（伦敦国王学院） ； University College London（伦敦大学学院） ； Digital AI Research, BT Group（BT集团数字人工智能研究） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了大型语言模型在生成代码时对库和编程语言的选择偏好，通过实证研究分析了八种不同大型语言模型在库和语言选择上的倾向，发现模型倾向于使用广泛采用的库如NumPy，并且在某些情况下这种选择并非必要，同时也显示出对Python的偏好，尽管在某些高性能项目初始化任务中Python并非最优选择。

Comments 21 pages, 10 tables, 3 figures. Accepted to Findings of ACL 2026

Journal ref Findings of the Association for Computational Linguistics: ACL 2026

Adapting Vision Foundation Models with Cascaded Semantics

利用级联语义适配视觉基础模型

Xi Xiao, Xingjian Li, Cheng Han, Tianyang Wang, Lin Zhao, Yunbei Zhang, Guosheng Hu, Runmin Jiang, Xi Li, Xiao Wang, Min Xu

机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Missouri–Kansas City（密苏里大学堪萨斯城分校） ； Northeastern University（东北大学） ； Tulane University（杜兰大学） ； University of Bristol（布里斯托大学） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 指令微调 ：foundation model(title)

AI总结 该研究针对现有视觉提示调优（VPT）未利用先验知识的问题，提出向VPT注入两类语义先验的级联方案，在34个图像分类数据集上仅调优0.74%的ViT参数即实现优异下游适配效果。

Comments Accepted by Transactions on Machine Learning Research (TMLR), 2026. Project page: https://xixiaouab.github.io/Cascaded-Semantics/

PaDoc: Layout-Grounded Parallel Decoding for Document Parsing

PaDoc：基于布局的文档并行解码方法

Hao Yu, Jiabo Zhan, Kang Liu, Linnan Zhao, Dongxu Yue, Rui Chen, Jinglin Wang, Chong Sun, Chen Li, Jing Lyu, Chun Yuan

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出PaDoc，一种基于布局的文档并行解码解析器，在OmniDocBench Full数据集上取得优异性能，且在A800 GPU上显著提升端到端文档解析的吞吐量并降低延迟。

When History Lies: Evaluating and Improving Tool Use under Misleading Multi-Turn Histories

当历史失效：在误导性多轮历史下评估与改进工具使用

Xiaoqing Wu, Xingyu Fan, Feifei Li, Wenhui Que

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对多轮历史误导导致的工具调用智能体决策问题，提出可靠状态策略迁移方法，构建配对基准bench，在Qwen3模型上实现了优于多种基线的工具使用准确率。

ChainClaw: A Layered Agent Framework for Reliable On-Chain Execution

ChainClaw：一种用于可靠链上执行的分层智能体框架

Jiacheng Wei, Zhaoxin Fan, Xin Wen, Yuqin Lan, Dongrun Li, Wenjun Wu, Faguo Wu, Xiao Zhang

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, Beihang University（北京航空航天大学未来区块链与隐私计算高精尖创新中心） ； Beihang University（北京航空航天大学） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； School of Mathematical Sciences, Beihang University（北京航空航天大学数学科学学院） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 ChainClaw是基于OpenClaw的分层区块链原生智能体框架，通过三层架构解决链上执行的反应性、不可逆性和可观测性缺口，在自建基准上的安全性和任务完成度均优于代表性基线。

Comments 8 pages,3 figures

Behavioral Canaries: Auditing Private Retrieved Context Usage in RL Fine-Tuning

行为 Canary：在 RL 微调中审计私有检索上下文的使用

Chaoran Chen, Dayu Yuan, Peter Kairouz

机构 * Google（谷歌） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.CL

AI总结 本文提出 Behavioral Canaries 机制，用于审计 RL 微调过程中是否非法使用受保护的检索上下文，通过行为信号检测未经授权的文档条件训练，实现 67% 的检测率。

Investigating Nonlinear Quenching Effects on Polar Field Buildup in the Sun Using Physics-Informed Neural Networks

研究非线性淬灭效应如何影响太阳极场增长

Jithu J. Athalathil, Mohammed H. Talafha, Bhargav Vaidya

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 本文利用物理信息神经网络研究太阳极场增长中的非线性淬灭效应，通过改变输运参数分离TQ和LQ的贡献，发现TQ随扩散率增强而抑制，LQ主导对流主导区域，改进了太阳动力学模型的准确性。

Comments Accepted for publication in The Astrophysical Journal

Journal ref The Astrophysical Journal, 1000:79 (11pp), 2026 March 20

RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs

RefusalGuard：面向大语言模型安全的保几何微调方法

Sadia Asif, Mohammad Mohammadi Amiri

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出保几何微调框架RefusalGuard，解决大语言模型微调时安全对齐退化问题，在多模型及安全、下游任务基准上表现优于基线，平衡安全与任务性能。

Journal ref Conference of Languge Modeling, COLM 2026

Narrowing the solar surface flux transport parameter space through nonlinear feedbacks

通过非线性反馈缩小太阳表面磁通量输运参数空间

M. Alhosani, M. H. Talafha, M. A. Al-Wardat

专题命中 指令微调 ：SFT(abstract,abstract_cn)

AI总结 本研究通过引入倾斜淬灭、纬度淬灭和磁通量衰减机制，扩展了表面磁通量输运模型，并确定了能再现太阳极区磁场观测特征的参数组合，从而缩小了模型的允许参数空间。

Comments 8 pages, 7 figures, Accepted for publication in Astronomy & Astrophysics

Journal ref A&A, 710, A400 (2026)

Visual Intention Grounding for Egocentric Assistants

面向第一人称视角助手的视觉意图定位

Pengzhan Sun, Junbin Xiao, Tze Ho Elden Tse, Yicong Li, Arjun Akula, Angela Yao

机构 * National University of Singapore（新加坡国立大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；instruction tuning(abstract)

AI总结 本文提出首个第一人称视觉意图定位数据集EgoIntention，及推理至定位（RoG）指令微调方法，解决多模态模型在第一人称视角下的意图定位问题，实现了统一的视觉定位能力。

RA-CAD: Learning Post-Execution Critique for State-Aware Text-to-CAD Generation

RA-CAD：学习执行后批判的状态感知文本到CAD生成模型

Shuhao Yan, Changhao He, Xi Peng, Peng Hu

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 该研究针对文本到CAD生成的反馈利用不足问题，提出RA-CAD智能体，通过生成-执行-批判-重写循环结合CCB、FAO优化，在CADFusion和Text2CAD上实现最优性能。

Comments 17 pages, 7 figures, 5tables, 8 listings

Align-RAG: Alignment Is All You Need for TSFM In-Context Learning

Align-RAG：TSFM上下文学习的全部需求在于对齐

Mohammad Asadi, Soheil Hor, Bardiya Akhbari, Jack W. O'Sullivan, Tahoura Nedaee, Layne C. Price, Raviteja Anantha, Euan Ashley, Ehsan Adeli

机构 * Stanford University（斯坦福大学） ； Amazon（亚马逊公司） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 提出无需训练的Align-RAG方法，通过闭式对齐检索窗口，在冻结TSFM上提升检索增强预测性能，证明冻结TSFM可动态整合检索结果，闭式对齐可作为默认基线。