Gradient Immunity: Null-Space Resistance to Malicious Fine-Tuning
梯度免疫：对恶意微调的零空间抗性
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 针对部分保护开放权重（PPOW）发布场景的大型语言模型，提出单向安全门（USG）防御，可抑制恶意微调的有害梯度，提升恶意下游适应的成本且无需下游用户配合。
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 指令微调 885 篇
A Model Merging Approach for Continual MLLM Unlearning
面向持续多模态大语言模型（MLLM）遗忘的模型合并方法
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对现有MLLM遗忘方法无法应对持续场景的问题，本文提出MCU方法，通过动态合并遗忘适配器缓解跨任务依赖的干扰，在多个基准测试中实现了更优的遗忘效果与知识保留。
Comments 17 pages, 5 figures
SpecDrop: Parameter-Free Category-Conditioned Routing for Modular Specialization
SpecDrop：无参数类别条件路由的模块化专业化方法
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG
AI总结 本文提出无参数类别条件路由方法SpecDrop，在视觉任务上性能优于参数匹配基线，表明路由的有效性取决于训练信号粒度与类别的对齐而非路由算法。
Comments 35 pages, 6 figures. Code: https://github.com/Beryex/SpecDrop
Training Documents Reranker with Search Rubrics for Deep Research Agent
面向深度研究智能体的、基于搜索 rubrics 的训练文档重排序器
专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI
AI总结 针对现有检索器无法满足深度研究智能体复杂信息需求的问题，提出搜索 rubrics 并训练文档重排序器 RubricRanker，在多基准上取得优于基线的性能且泛化性良好。
Comments 28 pages
Sheaf-theoretic Signal Processing on Graphs: Spectral Theory, Filtering, and Sampling
基于层论的图上信号处理：谱理论、滤波与采样
专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 本文开发了统一的层信号处理框架，将信号处理基本操作扩展到异构局部空间，提出层傅里叶变换等方法，在多类数据集上验证其性能优于经典图信号处理基线。
FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA
FedWeave：重新思考异构联邦MoE-LoRA中的专业化单元
专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG
AI总结 FedWeave针对异构联邦MoE-LoRA中客户端粒度专业化的局限，提出非对称聚合框架，分离专家聚合与路由优化，在异构多任务基准上优于强基线，实现高效联邦大模型适配。
Comments 14 pages, 4 figures, 5 tables
Retraction-Free Optimization over the Stiefel Manifold for the LoRA Fine-Tuning
用于LoRA微调的Stiefel流形上无回缩优化
机构 * Center for Data Science, Peking University（北京大学数据科学中心） ； Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心） ； Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心） ； Department of Mathematics, University of California, Berkeley（美国加州大学伯克利分校数学系） ； Center for Machine Learning Research and Changsha Institute for Computing and Digital Economy, Peking University（北京大学机器学习研究中心和长沙计算与数字经济研究院）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对Stiefel流形优化中现有方法的问题，提出无回缩且无惩罚参数算法，利用相关特性建立收敛保证。将LoRA微调问题转为流形优化问题，引入Manifold-LoRA，经实验验证其在加速训练及下游性能方面的优势。
Aletheia: An Offline-First Clinical Decision Support System for Differential Diagnosis in Low-Resource Healthcare Settings
Aletheia：用于低资源医疗环境中鉴别诊断的离线优先临床决策支持系统
机构 * Soroti University（索罗蒂大学）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对撒哈拉以南非洲低资源医疗环境，提出基于Qwen2.5 - 3B - Instruct并经QLoRA微调的Aletheia临床决策支持系统，评估显示其在诊断准确率等指标上表现良好，证明在无云设施的资源受限环境初级保健层部署大语言模型临床推理的可行性。
Comments 8 pages, 11 figures, 4 tables
Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
小模型会遵循你赋予它们的法律吗？孟加拉国法律问答的上下文注入微调
机构 * North South University（南北大学） ； BRAC University（BRAC大学）
专题命中 指令微调 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI
AI总结 研究孟加拉国法律问答，通过整理双语问答记录对不同参数的Qwen3.5进行微调，发现微调能提升部分模型表现，降低答案语言偏差，表明检索质量非唯一瓶颈，小型双语法律模型运用法律和语言回答有差异。
TokenMem: Faithful Knowledge Injection for Frozen LLMs
TokenMem：为冻结的语言模型进行忠实的知识注入
机构 * South China University of Technology（华南理工大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对RAG增强LLMs时的知识冲突问题，提出TokenMem轻量级记忆系统，通过专用通道向冻结LLMs注入知识，经两阶段课程训练薄门控适配器，实验显示其在反事实基准上知识一致性远超普通RAG，两阶段课程关键，门控适配器能自主学习策略。
Comments 15 pages, 3figures
Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders
用自然语言自动编码器探究Qwen2.5 - 7B中潜在的哥伦比亚身份推断
机构 * Universidad Autónoma de Occidente（西自治大学）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 研究Qwen2.5 - 7B - Instruct处理提示时是否表征哥伦比亚相关信息，用自然语言自动编码器转化残差流激活，通过含30个提示的数据集进行研究，将激活可解释性与西班牙语变体偏差评估相联系。
Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures
过程性知识不是低秩的：为什么LoRA无法内化多步骤过程
机构 * University of Melbourne（墨尔本大学）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究发现对于过程性知识，LoRA在保持效率优势的秩上无法与完全微调匹配。通过实验表明在旅行预订等任务中LoRA配置失败，跨域复制也证实其普遍不佳，分析指出完全微调权重变化的有效秩高，LoRA难以企及，这是智能体应用的基本限制。
Comments 14 pages
Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models
在大规模视觉-语言-动作模型中利用离线监督实现高效且通用的强化学习
专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 研究在大规模视觉-语言-动作模型中，通过将离线监督纳入强化学习，结合离线与在线训练优点，提升训练效率。经实验验证，该混合方法在保持强大分布外能力的同时，所需训练预算减半，实现效率与性能双赢。
SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling
SOS-LoRA：具有固定多尺度缩放的静态正交子空间低秩自适应
机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（教育部知识驱动的人机智能工程研究中心） ； International Center of Future Science, Jilin University（吉林大学未来科学国际合作中心）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对大语言模型中LoRA方法的不足，提出SOS-LoRA，将秩更新重参数化为多个静态低秩专家之和，通过分解总秩、固定多尺度缩放及正交初始化等，实现性能提升且可完全合并，实验证明其优于基线和变体。
PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer
PoLoRA：一种预处理正交化的LoRA优化器
机构 * Center for Computational Mathematics, Flatiron Institute（计算数学中心，熨斗研究院）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG
AI总结 研究针对LoRA优化问题，提出PoLoRA优化器，由乘积感知谱更新方向、曲率预处理及幅度规则构成。在多模型指令调优数据集上评估，结果显示它步数减少，开销增加少，对学习率不敏感，最优学习率稳定。
The Perplexity Trap: When Patent Law Makes Human Writing Look Like AI
困惑陷阱：专利法何时让人类写作看起来像人工智能
机构 * European Patent Office（欧洲专利局）
专题命中 指令微调 ：LLM(abstract)；prompting(abstract)；分类 cs.CL、cs.AI
AI总结 研究针对专利法下筛选疑似人工智能生成专利文本的难题，在消费级硬件条件下用多种策略进行基准测试，发现现有检测器误报率高，问题是结构性的，提出七特征语言复杂性逻辑回归方法，提升了准确率。
Journal ref Proceedings of the ICML 2026 Workshop on AI4Law
A Shared Subcircuit Lets LLMs Count Down Across Tasks
一个共享子电路使大语言模型能够跨任务进行倒计时
机构 * Yale University（耶鲁大学） ； Anthropic
专题命中 指令微调 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG
AI总结 研究发现Llama-3.1-70B-Instruct中有个“倒计时子电路”可跨任务执行特定任务，先在受控设置中分离它，再研究其表示几何结构，发现与另一模型有相同模式，还通过无监督探测找到其用于多种任务的情况，有助于理解行为推广。
Comments 12 pages, 11 figures
Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning
用于联邦多模态大语言模型微调的弹性正则化和合成重放持续学习
机构 * The University of British Columbia（英属哥伦比亚大学） ； Fudan University（复旦大学） ； Royal College of Science, Imperial College London（伦敦帝国理工学院皇家科学学院） ； Dyson School of Design Engineering（戴森设计工程学院） ； Suzhou Institute of Biomedical Engineering and Technology (SIBET), Chinese Academy of Sciences（中国科学院苏州生物医学工程技术研究所） ； East China Normal University（华东师范大学）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对联邦多模态大语言模型微调中灾难性遗忘问题，提出FedCMM框架，在参数、数据、聚合三个层面嵌入持续学习保障，经实验验证该框架在准确性和反向迁移上优于基线，能实现跨异构网络AI部署的稳健进化适应。
Comments submitted to IEEE JSTSP
PFAdapter: Hierarchical LoRA Decomposition for Personalized Federated MLLMs
PFAdapter：用于个性化联邦多模态大语言模型的分层LoRA分解
机构 * College of Future Information Technology, Fudan University（复旦大学未来信息技术学院） ； Division of Natural and Applied Sciences, Duke Kunshan University（昆山杜克大学自然科学与应用科学部） ； Department of Electrical and Computer Engineering, The University of British Columbia（英属哥伦比亚大学电气与计算机工程系） ； Ant Group（蚂蚁集团） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University & Fysics AI（复旦大学智能机器人与先进制造学院及复肆智能科技（上海）有限公司） ； Xiaomi EV, Xiaomi Campus（小米汽车、小米园区） ； Information and Communications Technology Cluster, Singapore Institute of Technology (SIT)（新加坡理工学院信息通信技术集群） ； College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对分布式网络中联邦微调平衡全局知识与局部适应的挑战，提出PFAdapter框架，用分层LoRA分解将适配器参数分离，通过正交正则化和选择性聚合协议减少通信成本，实验证明该框架在多数据集上性能优于基线，为智能AI部署提供有效方案。
Comments submitted to IEEE TCCN
Filtering Harmful Actions Isn't Enough: Phantom Transfer in Agentic SDF
过滤有害行为是不够的：智能体自反决策函数中的幻影转移
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究在含对抗交互的合成智能体轨迹训练的影响，通过微调Llama 3.3 70B Instruct并评估，发现有害行为过滤不足，生成过程引入失调倾向且分散编码，依赖生成模型，安全基准难区分影响，强调动作级过滤无法确保合成智能体训练数据安全。
Conditional Optimal Bridge for Riemannian Activation Steering
用于黎曼激活控制的条件最优桥
机构 * The Pennsylvania State University（宾夕法尼亚州立大学）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 研究针对大语言模型推理时激活控制问题，提出\textsc{Cobras}方法，将其视为残差流超球面上的薛定谔桥，从优化问题推导控制目标，使控制方向查询自适应，实验显示该方法性能优于基线且避免分布外性能下降。
Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning
超调优：从激活感知剪枝到稀疏微调
机构 * KAUST（沙特阿卜杜拉国王科技大学） ； ISTA（奥地利科学技术研究所） ； Yandex Research（Yandex 研究院）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG
AI总结 研究大型语言模型微调成本高的问题，提出Super和Supra方法，利用剪枝显著性信号，结合Wanda分数与LoRA，通过预算分配规则保持参数预算，在算术实验中取得高准确率，证明简单排序可为PEFT提供支持。
Comments 26 pages, 3 figures, 19 tables. Code: https://github.com/vectozavr/SuperTuning
When Should LLMs Search? Counterfactual Supervision for Search Routing
大语言模型何时应进行搜索？搜索路由的反事实监督
机构 * Minho Kim
专题命中 指令微调 ：language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI
AI总结 研究大语言模型搜索路由问题，通过比较无搜索和强制搜索结果构建预言机，以其为评估标准和学习信号，用监督微调及偏好优化训练策略，提升了Gemma E2B和Qwen3.5 - 4B的路由宏F1，减少特定模型路由失败并揭示相关瓶颈。
Comments 20 pages, 10 figures. Accepted at the FAGEN Workshop at ICML 2026
Decomposer: Learning to Decompile Symbolic Music to Programs
Decomposer: 学习将符号音乐反编译为程序
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 指令微调 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG
AI总结 提出Decomposer框架，通过两阶段方法（合成数据微调+强化学习优化）将符号音乐反编译为可读、可编辑的程序，在MIDI重建保真度和代码可读性上优于基线。
Comments Project page: https://yewon-kim.com/decomposer
Signed-Permutation Coordinate Transport for RMSNorm Transformers
RMSNorm Transformer的有符号排列坐标传输
机构 * Sideplane AI
专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG
AI总结 针对RMSNorm模型，提出有符号排列坐标传输方法，解决排列对齐不完整问题，在跨运行坐标恢复、工具迁移和训练状态保持上显著优于纯排列方法。
Comments 31 pages, 2 figures, 26 tables
The Generalization Spectrum: A Chromatographic Approach to Evaluating Learning Algorithms
泛化谱：一种评估学习算法的色谱方法
机构 * ByteDance Seed（字节跳动Seed） ； Hong Kong University of Science and Technology（香港科技大学） ； Princeton University（普林斯顿大学） ； University of Oxford（牛津大学）
专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG
AI总结 提出泛化谱框架，通过构建从精确回忆到跨语言实现转移等不同转移距离的测试变体，揭示算法从单个样本泛化到其他样本的程度，并应用于竞争编程任务评估不同学习范式。
Comments Accepted at ICML 2026. 30 pages, 6 figures
GRAG: Generic Response-Augmented Generation Framework for Personalized Conversational Systems
GRAG：面向个性化对话系统的通用响应增强生成框架
机构 * North Carolina State University（北卡罗来纳州立大学） ； Lirio, Inc.（Lirio公司）
专题命中 指令微调 ：LLM(abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG
AI总结 提出GRAG框架，通过离线通用响应解耦内容基础与个性化，使小模型在资源受限环境中专注于个性化注入，性能提升显著。
SARA: Unlocking Multilingual Knowledge in Mixture-of-Experts via Semantically Anchored Routing Alignment
SARA: 通过语义锚定路由对齐解锁混合专家模型中的多语言知识
机构 * TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院TJUNLP实验室） ； Alibaba Group, China（阿里巴巴集团）
专题命中 指令微调 ：LLM(abstract_cn)；instruction tuning(abstract)；分类 cs.CL、cs.AI
AI总结 针对低资源语言在稀疏MoE架构中路由不一致的问题，提出SARA框架，利用对称JS散度约束对齐多语言输入与高资源语义锚点的路由分布，提升低资源语言性能。
Fast and Slow Variational Continual Learning
快慢变分持续学习
机构 * University of Bremen（不来梅大学） ； Jeonbuk National University（全北国立大学） ； TU Darmstadt（达姆施塔特工业大学） ； RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心） ； Hessian Center for AI (hessian.AI)（黑森人工智能中心） ； University College London（伦敦大学学院）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出通过合并过去后验实现慢适应，在IVON优化器中无缝集成快慢更新，形成持续IVON（CoVON）优化器，在领域增量学习、持续预训练和大语言模型微调中优于现有方法。
First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers
首个令牌广播者：Transformer中语言身份与分布式鲁棒性的机制起源
机构 * Irvington High School（欧文顿高中） ； GenAI4E ； Mapua University（马普阿大学）
专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI
AI总结 通过因果干预方法LIHA，发现Transformer中少量注意力头（如GPT-2的L6H1）持续关注首个令牌并广播语言信号，且消融后补偿呈现层级前馈模式；指令微调将语言身份电路重组至早期层。
Comments Under review at BlackboxNLP (EMNLP 2026)
