语言大模型 / LLM

Learning What to Learn: Stage-Specific Data Sets for SFT-then-RL in Small Language Model Reasoning

学习什么：小语言模型推理中SFT-then-RL的阶段特定数据集

Chongyang He, Rui Zhang, Zixuan Wang, Xin Li

机构 * Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学） ； DiDi（滴滴出行） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；language model(title,abstract)；small language model(title,abstract)；SLM(abstract,abstract_cn)

AI总结 提出一种难度感知的SFT-then-RL框架，通过阶段特定数据集（SFT阶段使用桥接机制，RL阶段使用批判微调）协调数据难度，提升小语言模型推理性能。

Comments 25 pages, 12 figures

RL Excursions during Pre-Training: Re-examining Policy Optimization for LLM training

预训练期间的强化学习探索：重新审视LLM训练中的策略优化

Rachit Bansal, Clara Mohri, Tian Qin, David Alvarez-Melis, Sham Kakade

机构 * Harvard University（哈佛大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；分类 cs.LG

AI总结 本文质疑LLM标准训练流程中仅在预训练和监督微调后使用强化学习的做法，通过从头训练LLM并在中间检查点直接应用RL、SFT及SFT后RL，发现RL早期有效且能匹配完整流程，同时提出并行平均合并RL和SFT目标的方法在保持通用能力的同时优于其他方法。

TamperBench: Systematically Stress-Testing LLM Safety Under Fine-Tuning and Tampering

TamperBench：系统化压力测试微调和篡改下的LLM安全性

Saad Hossain, Tom Tseng, Punya Syon Pandey, Samanvay Vajpayee, Matthew Kowal, Nayeema Nonta, Samuel Simko, Stephen Casper, Zhijing Jin, Kellin Pelrine, Sirisha Rambhatla

机构 * Critical ML Lab Waterloo Canada（Waterloo大学Critical ML实验室） ； FAR.AI Berkeley USA（伯克利美国FAR.AI公司） ； University of Toronto Toronto Canada（多伦多大学） ； University of Waterloo Waterloo Canada（Waterloo大学） ； ETH Zürich Zürich Switzerland（苏黎世联邦理工学院） ； MIT CSAIL Cambridge USA（麻省理工学院CSAIL实验室） ； University of Toronto, MPI, EuroSafeAI, Vector Institute Toronto Canada（多伦多大学、马克斯·普朗克研究所、EuroSafeAI、Vector Institute） ； Critical ML Lab University of Waterloo Waterloo Canada（Waterloo大学Critical ML实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出统一框架TamperBench，通过系统化超参数扫描评估21个开源LLM在9种篡改威胁下的安全性和实用性，发现越狱微调是最严重攻击，当前对齐阶段防御基本失效。

Comments 25 pages, 15 figures

StepPRM-RTL: Stepwise Process-Reward Guided LLM Fine-Tuning for Enhanced RTL Synthesis

StepPRM-RTL：基于逐步过程奖励引导的LLM微调以增强RTL综合

Prashanth Vijayaraghavan, Apoorva Nitsure, Luyao Shi, Ehsan Degan, Vandana Mukherjee

机构 * IBM Research San Jose CA USA（IBM研究院圣何塞加州美国） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出StepPRM-RTL框架，结合逐步轨迹建模、过程奖励模型和检索增强微调，通过密集反馈和蒙特卡洛树搜索探索推理路径，提升LLM生成RTL代码的功能正确性和推理保真度，在基准数据集上相比先前方法提升超10%。

Comments 6 pages, 2 figures, DAC'2026

ZeroUnlearn: Few-Shot Knowledge Unlearning in Large Language Models

ZeroUnlearn：大语言模型中的少样本知识遗忘

Yujie Lin, Chengyi Yang, Zhishang Xiang, Yiping Song, Jinsong Su

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ZeroUnlearn框架，通过模型编辑将机器遗忘重新定义为精确的知识重映射问题，利用封闭解乘法参数更新实现高效、定向的少样本遗忘。

Long Live Fine-Tuning: Task-Specific Transformers Outperform Zero-Shot LLMs for Misinformation Response Classification on Reddit

长存微调：在Reddit上，任务特定Transformer在错误信息响应分类中优于零样本LLM

JooYoung Lee, Lin Tian, Angela Brillantes, Adriana-Simona Mihăiţă, Marian-Andrei Rizoiu

机构 * University of Technology Sydney（悉尼技术大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过对比微调模型与零样本LLM在Reddit错误信息评论分类上的表现，发现微调RoBERTa在宏F1分数上显著优于最佳零样本模型，且成本更低，表明任务特定微调在检测隐性错误信息方面仍更可靠。

Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models

Robust-LLaVA：大规模鲁棒图像编码器对多模态大语言模型的有效性

Hashmat Shadab Malik, Fahad Shamshad, Muzammal Naseer, Karthik Nandakumar, Fahad Khan, Salman Khan

机构 * Mohamed bin Zayed University of AI（Mohamed bin Zayed人工智能大学） ； Khalifa University（卡利法大学） ； Michigan State University（密歇根州立大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(comments)

AI总结 本文提出利用大规模对抗预训练的图像分类模型替代CLIP编码器，以增强多模态大语言模型对视觉对抗扰动的鲁棒性，在无需额外对抗训练的情况下，在视觉问答、图像描述和越狱攻击任务中取得显著鲁棒性提升。

Comments Accepted at Trustworthy FMs Workshop Trust Before Use: Building Foundation Models that You Can Trust (ICCVW) 2025

Food-R1: A Unified Multi-Task Food Vision-Language Model with Reinforcement Learning

Food-R1: 一种基于强化学习的统一多任务食品视觉语言模型

Yu Zhu, Yongkang Li, Wenjie Zhu, Haoyi Jiang, Wenyu Liu, Wei Yang, Bin Li, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；instruction tuning(abstract)

AI总结 针对现有食品视觉语言模型依赖监督微调导致推理和泛化能力受限以及营养标注稀缺的问题，提出包含链式思维标注的大规模基准CalorieBench-80K和基于强化微调（GRPO）的统一多任务食品视觉语言模型Food-R1，在食品相关任务上持续超越强基线。

Multilingual Long-Form Speech Instruction Following: KIT's Submission to IWSLT 2026

多语言长篇语音指令跟随：KIT 在 IWSLT 2026 的提交

Enes Yavuz Ugan, Maike Züfle, Yuka Ko, Supriti Sinhamahapatra, Fabian Retkowski, Seymanur Akti, Jan Niehues, Alexander Waibel

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种通用数据增强流水线，通过片段拼接、LLM标签生成和跨语言翻译将短语音语料转换为长语音训练数据，结合似然与最小贝叶斯风险解码解决长语音语义任务退化问题。

Comments 9 pages main paper, IWSLT 2026 Instruction Following track

Test-time reward-guided alignment of language models by importance sampling on pre-logit space

基于预逻辑空间重要性采样的测试时奖励引导语言模型对齐

Sekitoshi Kanai, Tsukasa Yoshida, Hiroshi Takahashi, Haru Kuroki, Kazumune Hashimoto

机构 * NTT, Inc.（NTT公司） ； Toyohashi University of Technology（东邦大学） ； The University of Osaka（大阪大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种基于预逻辑空间自适应重要性采样的测试时对齐方法AISP，通过高斯扰动和重要性采样优化奖励期望，在样本效率上优于最佳-of-n采样和其他测试时对齐方法。

Comments 24 pages, 10 figures

ProtoAda: Prototype-Guided Adaptive Adapter Expansion and Geometric Consolidation for Multimodal Continual Instruction Tuning

ProtoAda: 原型引导的自适应适配器扩展与几何整合用于多模态持续指令微调

Yu-Cheng Shi, Zhen-Hao Xie, Jun-Tao Tang, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出ProtoAda框架，通过格式感知任务原型和几何感知参数整合，解决多模态持续指令微调中任务路由错误和梯度干扰问题。

MusaCoder: Native GPU Kernel Generation with Full-Stack Training on Moore Threads GPU

MusaCoder: 在摩尔线程GPU上通过全栈训练实现原生GPU内核生成

Kun Cheng, Songshuo Lu, Sicong Liao, Tankun Li, Yafei Zhang, Dong Yang, Qiheng Lv, Hua Wang, Zhi Chen, Yaohua Tang

机构 * Moore Threads AI 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出MusaCoder全栈训练框架，结合渐进式数据合成、多样性保持拒绝微调和基于执行反馈的强化学习，在CUDA和MUSA后端上生成高效原生GPU内核，9B模型匹配前沿闭源模型，27B模型达到新最优。

REFLECTOR: Internalizing Step-wise Reflection against Indirect Jailbreak

REFLECTOR: 内化逐步反思以对抗间接越狱

Jiachen Ma, Jiawen Zhang, Xiangtian Li, Bo Zou, Chaochao Lu, Chao Yang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出REFLECTOR两阶段框架，通过教师引导生成反思数据并进行监督微调，再结合强化学习内化自主反思能力，在复杂间接攻击下实现超过90%的防御成功率，同时提升通用性能。

Comments ICML 2026

LLMs + Persona-Plug = Personalized LLMs

LLMs + Persona-Plug = 个性化大语言模型

Jiongnan Liu, Yutao Zhu, Shuting Wang, Xiaochi Wei, Erxue Min, Yu Lu, Shuaiqiang Wang, Dawei Yin, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 学院） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程研究中心，教育部） ； Baidu Inc.（百度公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种轻量级插件式用户嵌入模块PPersona-Plug，通过建模用户历史上下文生成个性化嵌入，无需微调即可提升大语言模型输出个性化程度。

Geometry-Aware Distillation for Prompt Tuning Biomedical Vision-Language Models

几何感知蒸馏用于提示调优生物医学视觉-语言模型

Tran Dinh Tien, Zhiqiang Shen

机构 * Department of Machine Learning（机器学习系） ； Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出Omni-Geometry知识蒸馏（OGKD）框架，通过注入类别关系结构到教师模型，生成保留真实标签同时尊重类间几何的方向性目标，并设计全局几何感知蒸馏（GAD）和标签引导几何蒸馏（LGD）损失，在11个医学数据集上平均提升准确率1.7%-2.8%。

Comments Preprint. Code is available at https://github.com/tientrandinh/OGKD

Covert Influence Between Language Models

语言模型之间的隐蔽影响

Avidan Shah, Jay Chooi, Jinghua Ou, Shi Feng

机构 * MATS ； New York University（纽约大学） ； Harvard University（哈佛大学） ； George Washington University（乔治华盛顿大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文研究语言模型间通过微调、蒸馏和上下文学习三种接口实现隐蔽影响的风险，并提出使用逐点归因分数选择载体以放大训练时影响，发现自然语言载体相比数字载体更难被人类检测且跨模型迁移性更差。

Efficiently Aligning Language Models with Online Natural Language Feedback

通过在线自然语言反馈高效对齐语言模型

Christine Ye, Joe Benton

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出使用在线自然语言反馈替代可验证奖励，通过迭代优化代理奖励模型并在过优化点收集专家监督，在模糊领域高效对齐语言模型，实验表明可大幅提升专家监督的数据效率。

Tuning the Implicit Regularizer of Masked Diffusion Language Models: Enhancing Generalization via Insights from $k$-Parity

调整掩码扩散语言模型的隐式正则化器：通过$k$-奇偶问题的见解增强泛化能力

Jianhao Huang, Baharan Mirzasoleiman

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过$k$-奇偶问题研究掩码扩散语言模型的泛化特性，理论分解其目标函数为信号和噪声两部分，并利用噪声作为隐式正则化器，通过优化掩码概率分布显著提升模型性能。

Comments ICML 2026

EvoPrompt: Guided Prompt Evolution for Vision-Language Models Adaptation

EvoPrompt: 引导提示演化以适应视觉-语言模型

Enming Zhang, Jiayang Li, Yanlong Wang, Yanru Wu, Zhenyu Liu, Yang Li

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Sun Yat-sen University（中山大学） ； Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出EvoPrompt框架，通过引导提示演化路径并解耦低秩更新为方向和幅度分量，实现视觉-语言模型在少样本学习中的遗忘-free微调，同时保持零样本能力。

When Autoregressive Consistency Hurts Safety Alignment

当自回归一致性损害安全对齐

Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

机构 * University of Southampton（索姆塞特大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过分析自回归一致性机制，揭示了大语言模型安全对齐的浅层性，并提出随机插入攻击和对抗性安全对齐方法。

Comments 21 pages

Success Conditioning as Policy Improvement: The Optimization Problem Solved by Imitating Success

成功条件化作为策略改进：模仿成功所解决的优化问题

Daniel Russo

机构 * Daniel J. Russo 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文证明成功条件化（模仿成功轨迹）精确求解了一个信任区域优化问题，其χ²散度约束半径由数据自动确定，并揭示了相对策略改进、策略变化幅度和动作影响之间的等式关系。

Scaling Self-Evolving Agents via Parametric Memory

通过参数化内存扩展自进化智能体

Tao Ren, Weiyao Luo, Hui Yang, Rongzhi Zhu, Xiang Huang, Yuchuan Wu, Bingxue Chou, Jieping Ye, Jiafeng Liang, Yongbin Li, Yijie Peng

机构 * Alibaba Group（阿里巴巴集团） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出TMEM框架，通过在线更新LoRA权重使智能体从经验中学习，从而在单轮交互中改变未来行为，并在多个基准上优于基于摘要和检索的方法。

(Mis)generalization of Helpful-only Fine-tuning

仅帮助性微调的（错误）泛化

Mohammad Omar Khursheed, Baram Sosis, Fabien Roger

机构 * Anthropic Fellows Program（Anthropic 合作者计划） ； Anthropic 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 研究仅帮助性训练（不拒绝用户意图）的模型在泛化中的缺陷，发现其存在涌现错位、残余拒绝行为、低可操控性、谄媚和不连贯角色等问题，并提出合成文档微调和添加角色相关问题来缓解。

Comments 77 pages, 50 figures

A New Class of Fully Discrete Sparse Fourier Transforms: Faster Stable Implementations with Guarantees

一种新的完全离散稀疏傅里叶变换类：具有保证的更快稳定实现

Sami Merhi, Ruochuan Zhang, Mark A. Iwen, Andrew Christlieb

专题命中 指令微调 ：SFT(abstract,abstract_cn)

AI总结 本文提出了一种确定性的稀疏傅里叶变换算法，能在O(s² log^(11/2) N)时间内保证近最优s项逼近，同时开发了新的随机实现，适用于大向量长度的高效计算。

FoeGlass: Simple In-Context Learning Is Enough for Red Teaming Audio Deepfake Detectors

FoeGlass: 简单的上下文学习足以对音频深度伪造检测器进行红队测试

Sepehr Dehdashtian, Jacob H Seidman, Vishnu N Boddeti, Gaurav Bharaj

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.LG

AI总结 提出FoeGlass，一种基于大语言模型上下文学习的黑盒自动红队方法，通过生成音频样本发现深度伪造检测器的盲点，将假阴性率降低高达94%。

Comments Accepted at ICML 2026

Adaptive Minds: Empowering Agents with LoRA-as-Tools

自适应心智：将LoRA作为工具赋予智能体能力

Pavan C Shekar, Aswanth Krishnan

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 提出将LoRA适配器作为可调用工具的框架，通过路由和智能体推理聚合多个专业适配器的优势，在30个适配器库中达到98.3%路由准确率，并在九类任务上显著提升性能。

Comments 13 pages, 3 figures, 9 tables. ICML 2026 CompLearn Workshop camera-ready (non-archival). Code: https://github.com/qpiai/adaptive-minds

When Detectors Forget Forensics: Blocking Semantic Shortcuts for Generalizable AI-Generated Image Detection

当检测器遗忘取证：阻断语义捷径以实现可泛化的AI生成图像检测

Chao Shuai, Shaojing Fan, Chenlin Zou, Bin Gong, Weichen Lian, Xiuli Bi, Zhenguang Liu, Zhongjie Ba, Kui Ren

机构 * State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； National University of Singapore（新加坡国立大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 本文提出几何语义解耦（GSD）框架，通过抑制语义主导方向来促进不变取证表征，从而解决预训练视觉基础模型在AI生成图像检测中因语义回退导致的泛化不足问题。

LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion

LDA-1B：通过通用具身数据摄取扩展潜动力学动作模型

Jiangran Lyu, Kai Liu, Xuheng Zhang, Haoran Liao, Yusen Feng, Wenxuan Zhu, Tingrui Shen, Jiayi Chen, Jiazhao Zhang, Yifei Dong, Wenbo Cui, Senmao Qi, Shuo Wang, Yixin Zheng, Mi Yan, Xuesong Shi, Haoran Li, Dongbin Zhao, Ming-Yu Liu, Zhizheng Zhang, Li Yi, Yizhou Wang, He Wang

机构 * Peking University（北京大学） ； Galbot ； CASIA（中国科学院自动化研究所） ； BAAI（北京人工智能研究院） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； NVIDIA 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 提出LDA-1B机器人基础模型，通过统一格式的具身交互数据集EI-30k和结构化DINO潜空间中的动力学学习，联合建模动力学、策略和视觉预测，在接触丰富、灵巧和长时任务上分别提升高达21%、48%和23%。

Comments Accepted at RSS 2026, Project Page:https://pku-epic.github.io/LDA