语言大模型 / LLM

SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

SFTMix：通过混合配方提升语言模型指令微调

Yuxin Xiao, Shujian Zhang, Wenxuan Zhou, Marzyeh Ghassemi, Sanqiang Zhao

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Zoom Video Communications（Zoom视频通讯） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 本文提出SFTMix方法，通过混合不同置信度的数据提升指令微调效果，适用于指令遵循和医疗特定任务，展示了在不同模型和数据集上的广泛适用性。

Comments Accepted by ACL 2026

Can LLM-Generated Text Empower Surgical Vision-Language Pre-training?

LLM生成文本能否增强外科视觉-语言预训练？

Chengan Che, Chao Wang, Jiayuan Huang, Xinyue Chen, Luis C. Garcia-Peraza-Herrera

机构 * Visual Understanding Research Group, Department of Informatics, King’s College London, UK（视觉理解研究组，信息学院，伦敦国王学院，英国） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出SurgLIME框架，利用LLM生成的文本进行多模态预训练，以解决标注成本高的问题，通过LoRA适配和自适应置信度估计机制提升模型鲁棒性。

Comments Accepted at CVPRW 2026 (AI4RWC Oral presentationn)

FedLLM: A Privacy-Preserving Federated Large Language Model for Explainable Traffic Flow Prediction

FedLLM: 一种用于可解释交通流预测的隐私保护联邦大语言模型

Seerat Kaur, Sukhjit Singh Sehra, Dariush Ebrahimi

机构 * Department of Physics & Computer Science, Wilfrid Laurier University, Waterloo, Canada（物理与计算机科学系，威尔弗里德·劳里尔大学，多伦多，加拿大） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 FedLLM提出一种隐私保护的联邦大语言模型框架，用于可解释的多时间尺度短时交通流预测，通过复合选择分数、领域适应的LLM微调、轻量级参数交换和结构化提示表示提升预测性能与可解释性。

Evaluating Robustness of Large Language Models Against Multilingual Typographical Errors

评估大型语言模型对多语言拼写错误的鲁棒性

Raoyuan Zhao, Yihong Liu, Lena Altinger, Hinrich Schütze, Michael A. Hedderich

机构 * Center for Information and Language Processing（信息与语言处理中心） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；instruction tuning(abstract)

AI总结 本文提出MulTypo算法，评估18种开源LLM在多语言拼写错误下的表现，发现拼写错误显著降低性能，尤其在生成任务和推理任务中，且语言和任务类型影响鲁棒性，强调需关注噪声训练和多语言鲁棒性评估。

Comments ACL 2026

On the Robustness of LLM-Based Dense Retrievers: A Systematic Analysis of Generalizability and Stability

基于LLM的密集检索器的鲁棒性：通用性和稳定性系统分析

Yongkang Li, Panagiotis Eustratiadis, Yixing Fan, Evangelos Kanoulas

机构 * University of Amsterdam（阿姆斯特丹大学） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文系统分析了基于LLM的密集检索器的通用性和稳定性，发现指令微调模型在复杂推理任务中存在'专业化税'，而嵌入几何结构对鲁棒性有预测作用。

Different Paths to Harmful Compliance: Behavioral Side Effects and Mechanistic Divergence Across LLM Jailbreaks

有害合规的不同路径：跨大语言模型劫持的行为主效应和机制差异

Md Rysul Kabir, Zoran Tiganj

机构 * Department of Computer Science（计算机科学系） ； Luddy School of Informatics, Computing, and Engineering（信息学、计算与工程学院） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 指令微调 ：LLM(title,abstract)；SFT(summary_cn,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了三种不同劫持方法对模型行为和机制的影响，发现RLVR劫持模型在安全性和合规性上表现更稳定，而SFT和ablation劫持则导致显著的性能下降和行为漂移。

Enhancing Trust in Large Language Models via Uncertainty-Calibrated Fine-Tuning

通过不确定性校准微调增强大语言模型的信任

Ranganath Krishnan, Piyush Khanna, Omesh Tickoo

机构 * Capital One, AI Labs（Capital One人工智能实验室） ； Wayve Technologies（Wayve技术公司） ； Intel Corporation（英特尔公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种不确定性感知微调方法，用于提升大语言模型在自然语言生成任务中的不确定性估计能力，从而提高生成响应的可信度并减少幻觉现象。

Comments ICLR 2026 Trustworthy AI workshop

Guardrails in Logit Space: Safety Token Regularization for LLM Alignment

对数空间中的Guardrails：用于LLM对齐的安全令牌正则化

Thong Bach, Truyen Tran

机构 * Applied Artificial Intelligence Initiative (A2I2)（应用人工智能倡议（A2I2）） ； Deakin University（德克萨斯大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出安全令牌正则化（STR）方法，通过约束关键令牌的logits来保持细调模型的安全性，实验显示其在安全性和任务性能方面表现优异。

Comments 10 pages, 3 figures

Training and Agentic Inference Strategies for LLM-based Manim Animation Generation

基于LLM的Manim动画生成的训练与代理推理策略

Ravidu Suien Rammuni Silva, Ahmad Lotfi, Isibor Kennedy Ihianle, Golnaz Shahtahmassebi, Jordan J. Bird

机构 * Department of Computer Science, Nottingham Trent University, Nottingham, United Kingdom（计算机科学系，诺丁汉特伦特大学，诺丁汉，英国） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出ManimTrainer和ManimAgent，结合监督微调与强化学习，提升文本到代码到视频的转换性能，通过ManimBench评估17种模型，结果显示GRPO和RITL-DOC策略显著提升动画生成质量。

MaLoRA: Gated Modality LoRA for Key-Space Alignment in Multimodal LLM Fine-Tuning

MaLoRA：基于关键空间对齐的门控模态LoRA

Xinhan Zheng, Huyu Wu, Xueting Wang, Duo Su, Haiyun Jiang

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-鲁维尔研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Palmer Research Laboratories（帕勒实验室） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出MaLoRA，通过门控机制对齐多模态LLM微调中的关键空间，揭示文本偏见源于注意力键空间内在不匹配。

Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance

评估用户提示分布转移及其对LLM性能的影响

Parker Seegmiller, Sarah Masud Preum

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究用户提示分布转移对部署LLM性能的影响，通过大规模评估发现提示行为的适度变化会导致LLM性能显著下降，强调了数据驱动监控的重要性。

Comments Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)

Training Language Models for Bilateral Trade with Private Information

利用私人信息训练语言模型进行双边贸易

Dirk Bergemann, Soheil Ghili, Xinyang Hu, Chuanhao Li, Zhuoran Yang

机构 * Department of Economics, Yale University（耶鲁大学经济学系） ； Yale School of Management, Yale University（耶鲁大学管理学院） ； Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系） ； Department of Industrial Engineering, Tsinghua University（清华大学工业工程系） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 本文研究了在不完全信息下双边谈判中语言模型的能力，通过结构化谈判环境评估模型表现，发现有效策略通过连续报价实现价格歧视，训练实验表明监督微调和强化学习影响收益分配和交易完成率。

Comments 67 pages, 34 figures

RePrompT: Recurrent Prompt Tuning for Integrating Structured EHR Encoders with Large Language Models

RePrompT：基于结构化电子健康记录编码器的循环提示微调

Arya Hadizadeh Moghaddam, Drew Ross, Mohsen Nayebi Kerdabadi, Dongjie Wang, Zijun Yao

机构 * University of Kansas（堪萨斯大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 RePrompT通过循环整合结构化EHR编码器与大语言模型，解决时间序列信息丢失和代码身份模糊问题，提升临床预测性能。

Comments Finding of ACL 2026 - Accepted Paper

Compositional Steering of Large Language Models with Steering Tokens

通过引导标记对大型语言模型进行组合引导

Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

机构 * NEC Laboratories Europe（NEC欧洲实验室） ； University of Edinburgh（爱丁堡大学） ； Center for Artificial Intelligence and Data Science（人工智能与数据科学中心） ； University of Würzburg（乌尔姆大学） ； CAIR, Ss. Cyril and Methodius University of Skopje（CAIR，斯·西里尔和方法ius大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出组合引导标记，用于多行为引导，通过自蒸馏将自然语言指令嵌入专用标记，实现更有效的零样本组合，实验表明其在可验证约束上的表现优于其他方法。

Comments Accepted at ACL 2026

Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints

基于规则的音乐约束对齐语言模型用于歌词到旋律生成

Hao Meng, Siyuan Zheng, Shuran Zhou, Qiangqiang Wang, Yang Song

机构 * Zuoyebang Education Technology（中关村教育科技） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；preference optimization(abstract)

AI总结 本文提出基于规则的音乐约束对齐框架，通过DPO和KTO优化减少旋律生成中的约束违规，提升音乐性和连贯性。

Comments Accepted by IEEE ICASSP 2026

Downgrade to Upgrade: Optimizer Simplification Enhances Robustness in LLM Unlearning

降级到升级：优化器简化增强了大语言模型去学习的鲁棒性

Yicheng Lang, Yihua Zhang, Chongyu Fan, Changsheng Wang, Jinghan Jia, Sijia Liu

机构 * The OPTML Lab, Dept. CSE, Michigan State University（奥普特ML实验室，计算机科学与工程系，密歇根州立大学） ； MIT-IBM Watson AI Lab, IBM Research（MIT-IBM沃森人工智能实验室，IBM研究院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文研究优化器对大语言模型去学习鲁棒性的影响，发现降级优化器能提升鲁棒性，提出混合优化器提升去学习效果。

TLoRA: Task-aware Low Rank Adaptation of Large Language Models

TLoRA：面向任务的大型语言模型低秩适应

Weicheng Lin, Yi Zhang, Jiawei Dang, Liang-Jie Zhang

机构 * College of Computer Science and Software Engineering, Shenzhen University, China（深圳大学计算机科学与软件工程学院，中国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 TLoRA通过联合优化初始化和资源分配，提升LoRA在不同任务中的性能，减少可训练参数数量。

Comments Accept to ACL 2026

SafeAnchor: Preventing Cumulative Safety Erosion in Continual Domain Adaptation of Large Language Models

SafeAnchor：在大语言模型连续领域适应中防止累积安全性侵蚀

Dongxin Guo, Jikun Wu, Siu Ming Yiu

机构 * The University of Hong Kong（香港大学） ； Brain Investing Limited 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 SafeAnchor通过识别低秩安全子空间并约束梯度更新，有效防止连续领域适应中的安全性侵蚀，实验显示其在多个领域任务中保持了较高的安全性对齐度。

Comments 16 pages (12 main + 4 appendix), 2 figures, 12 tables

Aligning Backchannel and Dialogue Context Representations via Contrastive LLM Fine-Tuning

通过对比式LLM微调对齐反馈通道和对话上下文表示

Livia Qian, Gabriel Skantze

机构 * Department for Speech, Music and Hearing（语音、音乐与听觉系） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出双阶段框架，通过对话转录微调大语言模型获取上下文表示，并学习对话上下文和反馈通道表示的联合嵌入空间，实验表明学习的投影显著提升了上下文-反馈通道检索性能。

Comments Association for Computational Linguistics (ACL), 2026

JudgeMeNot: Personalizing Large Language Models to Emulate Judicial Reasoning in Hebrew

JudgeMeNot: 为 Hebrew 语境下的司法推理个性化大型语言模型

Itay Razumenko, Arnon Sturm, Nir Grinberg

机构 * Computer and Information Science Ben-Gurion University of the Negev（计算机与信息科学贝内尔·加隆大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出一种合成有机监督流程，通过将原始司法判决转化为指令微调数据，实现低资源环境下对法官个性化模型的高效微调，并在三个任务中验证了因果语言模型结合合成指令微调的优越性。

Comments To appear in Findings of the ACL 2026

Beyond the Basics: Leveraging Large Language Model for Fine-Grained Medical Entity Recognition

超越基础：利用大语言模型进行细粒度医学实体识别

Nwe Ni Win, Jim Basilakis, Steven Thomas, Seyhan Yazar, Laura Pierce, Stephanie Liu, Paul M. Middleton, Nasser Ghadiri, X. Rosalind Wang

机构 * Western Sydney University（西悉尼大学） ； South Western Emergency Research Institute（西南急救研究所） ； Garvan Institute of Medical Research（加文医学研究所以） ； University of New South Wales（新南威尔士大学） ； Liverpool Hospital（利物浦医院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文研究了大语言模型在细粒度医学实体识别中的应用，通过评估LLaMA3模型在18种临床详细类别中的表现，采用零样本、少样本和LoRA微调等方法，提升了细粒度实体识别的准确率。

MNAFT: modality neuron-aware fine-tuning of multimodal large language models for image translation

MNAFT：多模态大语言模型的模态神经感知微调用于图像翻译

Bo Li, Ningyuan Deng, Tianyu Dong, Shaobo Wang, Shaolin Zhu, Lijie Wen

机构 * School of Computer Science and Technology, Tianjin University, Tianjin, China（天津大学计算机科学与技术学院） ； School of Software, Tsinghua University, Beijing, China（清华大学软件学院） ； School of Information Resource Management, Renmin University of China,Beijing, China（中国人民大学信息资源管理学院） ； School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China（上海交通大学人工智能学院） ； Baidu Inc., Beijing, China（百度公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出MNAFT，通过识别视觉和语言模块中语言无关和语言特定的神经元，改进多模态大语言模型在图像翻译中的表现，实验表明其优于现有方法。

Comments Accepted by SCIS (SCIENCE CHINA Information Science)

DART: Mitigating Harm Drift in Difference-Aware LLMs via Distill-Audit-Repair Training

DART：通过蒸馏-审计-修复训练缓解差异意识LLM中的危害漂移

Ziwen Pan, Zihan Liang, Jad Kabbara, Ali Emami

机构 * Emory University（埃默里大学） ； MIT（麻省理工学院） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出DART方法，通过蒸馏、审计和修复训练缓解LLM中因准确性提升导致的危害漂移问题，提升模型在处理差异相关任务时的准确性和安全性。

Comments Accepted to Findings of ACL 2026

POLAR: Online Learning for LoRA Adapter Caching and Routing in Edge LLM Serving

POLAR：边缘大语言模型服务中的LoRA适配器缓存与路由在线学习

Shaoang Li, Jian Li

机构 * Stony Brook University（石英溪大学） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出POLAR算法，通过在线学习解决边缘LLM服务中LoRA适配器的缓存与路由问题，结合缓存控制与路由策略，实现子线性 regrets 的理论保证和实验验证。

Comments 15pages

Program Structure-aware Language Models: Targeted Software Testing beyond Textual Semantics

基于程序结构的语言模型：超越文本语义的针对性软件测试

Khang Tran, Khoa Nguyen, Cristian Borcea, NhatHai Phan

机构 * New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.LG

AI总结 本文提出GLMTest框架，通过整合代码属性图和语义，利用图神经网络和语言模型生成针对性测试用例，提升分支覆盖和漏洞发现能力。

Comments Accepted in The 64th Annual Meeting of the Association for Computational Linguistics (ACL Findings 2026)

User-Assistant Bias in LLMs

大语言模型中的用户-助手偏见

Xu Pan, Jingxuan Fan, Zidi Xiong, Ely Hahami, Jorin Overwiening, Ziqian Xie

机构 * Harvard University（哈佛大学） ； University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文研究了大语言模型中因角色标签训练数据不一致导致的用户-助手偏见，通过UserAssist基准测试发现指令微调模型存在强用户偏见，而基础和推理模型接近中性，揭示了角色标签训练的潜在影响。

BEFT: Bias-Efficient Fine-Tuning of Language Models in Low-Data Regimes

BEFT: 在低数据环境下高效优化语言模型的偏置项

Baichuan Huang, Ananth Balashankar, Amir Aminifar

机构 * Lund University（Lund 大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了在低数据环境下优化语言模型偏置项（b_q, b_k, b_v）对下游任务性能的影响，发现直接优化b_v能显著提升性能。

Writing-RL: Advancing Long-form Writing via Adaptive Curriculum Reinforcement Learning

Writing-RL: 通过自适应课程强化学习推进长文本写作

Xuanyu Lei, Chenliang Li, Yuning Wu, Kaiming Liu, Weizhou Shen, Peng Li, Ming Yan, Fei Huang, Ya-Qin Zhang, Yang Liu

机构 * Institute for AI Industry Research (AIR)（人工智能产业研究院） ； Tsinghua University（清华大学） ； Dept. of Comp. Sci. & Tech.（计算机科学与技术系） ； Institute for AI（人工智能研究院） ； Institute of Intelligent Computing（智能计算研究院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Writing-RL框架，通过自适应课程强化学习提升长文本写作能力，克服SFT的局限，实验表明其在长文本生成任务中优于基线模型。

Comments Code is released at https://github.com/Tongyi-Zhiwen/Writing-RL

Merging Triggers, Breaking Backdoors: Defensive Poisoning for Instruction-Tuned Language Models

融合触发器，打破后门：面向指令微调语言模型的防御性中毒

San Kim, Gary Geunbae Lee

机构 * Graduate School of Artificial Intelligence, POSTECH, Republic of Korea（POSTECH人工智能研究生院，韩国） ； Department of Computer Science and Engineering, POSTECH, Republic of Korea（POSTECH计算机科学与工程系，韩国） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MB-Defense框架，通过防御性中毒和后门中和两个阶段，提升指令微调语言模型对后门攻击的鲁棒性，实验表明其有效降低攻击成功率并保持指令遵循能力。

Comments 18 pages

Data Selection for Multi-turn Dialogue Instruction Tuning

多轮对话指令微调的数据选择

Bo Li, Shikun Zhang, Wei Ye

机构 * National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心，北京大学） ； School of Computer Science, Peking University（北京大学计算机学院） ； PKU-CMCC(Hubei) Joint Research Lab for LLM Industrial Applications（北京大学-湖北CMCC大模型工业应用联合实验室） 纠错

专题命中 指令微调 ：instruction tuning(title)；LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MDS框架，通过全局覆盖和局部结构阶段选择多轮对话数据，提升指令微调效果，优于现有方法并在多个基准测试中表现最佳。

Comments Github: https://github.com/WisdomShell/MDS Project: https://wisdomshell.github.io/MDS/

Journal ref Findings of ACL 2026