语言大模型 / LLM

Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning

增强软件漏洞预测的持续学习：通过混合-置信度感知选择性重放应对灾难性遗忘

Xuhui Dou, Hayretdin Bahsi, Alejandro Guerra-Manzanares

机构 * School of Computer Science, University of Nottingham, Nottingham, United Kingdom（诺丁汉大学计算机科学学院） ； School of Informatics and Computing, Northern Arizona University, Flagstaff, United States of America（北亚利桑那大学信息学院） ； School of Computer Science, University of Nottingham, Ningbo, China（诺丁汉大学宁波校区） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Hybrid-CASR方法，通过置信度感知和类平衡的选性重放，提升LLM在时间漂移下的漏洞检测准确率和效率。

Comments Accepted for publication in the Proceedings of the 2026 International Conference on Information Systems Security and Privacy (ICISSP)

Journal ref Proceedings of the 12th International Conference on Information Systems Security and Privacy - Volume 1, ISBN 978-989-758-800-6, ISSN 2184-4356, pages 474-485, 2026

State of the Art in Text Classification for South Slavic Languages: Fine-Tuning or Prompting?

南斯拉夫语言文本分类的现状：微调还是提示？

Taja Kuzman Pungeršek, Peter Rupnik, Ivan Porupski, Vuk Dinić, Nikola Ljubešić

机构 * Jožef Stefan Institute（乔泽夫·斯塔芬研究所） ； Faculty of Computer and Information Science（计算机与信息科学系） ； University of Ljubljana（卢布尔雅纳大学） ； Institute of Contemporary History（当代历史研究所） 纠错

专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文比较了南斯拉夫语言文本分类中微调BERT模型与LLMs的性能，发现LLMs在零样本设置下表现优异，但存在推理慢和计算成本高等问题，故微调模型仍更实用。

Comments 17 pages; 4 figures; 3 tables. Submitted to the LLMs4SSH workshop, co-located with the LREC 2026 conference

How to Train Your LLM Web Agent: A Statistical Diagnosis

如何训练你的LLM网络代理：一种统计诊断

Dheeraj Vattikonda, Santhoshi Ravichandran, Emiliano Penaloza, Hadi Nekoei, Megh Thakkar, Thibault Le Sellier de Chezelles, Nicolas Gontier, Miguel Muñoz-Mármol, Sahar Omidi Shayegan, Stefania Raimondo, Xue Liu, Alexandre Drouin, Laurent Charlin, Alexandre Piché, Alexandre Lacoste, Massimo Caccia

机构 * ServiceNow AI Research（ServiceNow人工智能研究） ； Mila-Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；post-training(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于统计的计算分配方法，通过结合监督微调与基于策略的强化学习，有效提升LLM网络代理性能，减少计算成本，缩小与闭源模型的差距。

Patch the Distribution Mismatch: RL Rewriting Agent for Stable Off-Policy SFT

修补分布不匹配：用于稳定离策略SFT的RL重写代理

Jiacheng Wang, Ping Jian, Zhen Yang, Zirong Chen, Keren Liao, Zhongbin Guo

机构 * School of Computer Science & Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） 纠错

专题命中 指令微调 ：SFT(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出基于强化学习的RL重写代理，通过优化分布对齐和多样性，提升下游SFT效果并减少遗忘。

MapCoder-Lite: Distilling Multi-Agent Coding into a Single Small LLM

MapCoder-Lite：将多智能体编码 distilling 进单一小型 LLM

Woongkyu Lee, Junhee Cho, Jungwook Choi

机构 * Hanyang University（翰阳大学） ； Samsung SDS（三星SDS） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 MapCoder-Lite通过三支柱方法将多智能体编码distilling进单一7B模型，显著提升代码生成性能并降低资源消耗。

Merging Beyond: Streaming LLM Updates via Activation-Guided Rotations

超越合并：通过激活引导的旋转进行流式LLM更新

Yuxuan Yao, Haonan Sheng, Qingsong Lv, Han Wu, Shuqi Liu, Zehua Liu, Zengyan Liu, Jiahui Gao, Haochen Tan, Xiaojin Fu, Haoli Bai, Hing Cheung So, Zhijiang Guo, Linqi Song

机构 * City University of Hong Kong, Hong Kong SAR（香港城市大学） ； Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab, Hong Kong SAR（华为诺亚实验室（香港）） ； University of Hong Kong（香港大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出ARM策略，通过激活引导的旋转实现流式LLM更新，有效超越收敛模型，提供高效适应框架。

Learning to Collaborate: An Orchestrated-Decentralized Framework for Peer-to-Peer LLM Federation

学习协作：一种协同-去中心化框架用于点对点大语言模型联邦

Inderjeet Singh, Eleonore Vissol-Gaudin, Andikan Otung, Motoyoshi Sekiya

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 KNEXA-FL通过协同去中心化框架提升点对点大语言模型联邦学习的效率与稳定性

Comments Accepted to AAAI 2026. 13 pages, 3 figures, 10 tables. Code available at: https://github.com/FujitsuResearch/knexa-fl

Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection

Hi-ZFO：通过重要性引导的张量选择实现层次化零阶和一阶LLM微调

Feihu Jin, Ying Tan

机构 * School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 Hi-ZFO通过结合一阶和零阶优化，提升LLM微调的精度与探索能力，有效解决训练中的局部极小值问题。

Comments 13 pages, 4 figures

Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning

基于比率方差正则化的策略优化用于高效的LLM微调

Yu Luo, Shuo Han, Yihan Hu, Dong Li, Jianye Hao

机构 * Department of Foundation Model, 2012 Labs, Huawei（华为2012实验室基础模型部门） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 R²VPO通过正则化策略比率的方差，提升LLM微调的稳定性和数据效率。

Reliability Under Randomness: An Empirical Analysis of Sparse and Dense Language Models Across Decoding Temperatures

可靠性与随机性：在解码温度下对稀疏和密集语言模型的实证分析

Kabir Grover

机构 * Kabir Grover（独立研究者） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了稀疏和密集语言模型在不同解码温度下的可靠性，发现指令微调比架构稀疏性对稳定性影响更大。

Towards Efficient Post-Training via Fourier-Driven Adapter Architectures

面向通过傅里叶驱动适配架构的高效后训练

Donggyun Bae, Jongil Park

机构 * Konkuk University（韩国康 kuk 大学） 纠错

专题命中 指令微调 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 FAA通过傅里叶驱动的适配架构实现大型语言模型的高效后训练，通过频率感知调节提升性能并降低计算开销。

Comments 10 pages, 5 figures

GradientSpace: Unsupervised Data Clustering for Improved Instruction Tuning

GradientSpace: 无监督数据聚类以提升指令微调

Shrihari Sridharan, Deepak Ravikumar, Anand Raghunathan, Kaushik Roy

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 GradientSpace通过直接在梯度空间中聚类样本，提升指令微调效果，减少推理延迟并提高准确性。

How to Train Long-Context Language Models (Effectively)

如何有效训练长上下文语言模型

Tianyu Gao, Alexander Wettig, Howard Yen, Danqi Chen

机构 * Princeton Language and Intelligence（普林斯顿语言与智能） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

AI总结 ProLong-8B 通过有效利用长上下文数据，实现了在长上下文任务上的卓越性能，尽管训练数据量仅为 Llama-3.1-8B-Instruct 的 5%。

Comments Accepted to ACL 2025. Our code, data, and models are available at https://github.com/princeton-nlp/ProLong

TabTune: A Unified Library for Inference and Fine-Tuning Tabular Foundation Models

TabTune：用于推理和微调表格基础模型的统一库

Aditya Tanna, Pratinav Seth, Mohamed Bouadi, Utsav Avaiya, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；pretraining(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 TabTune是一个统一库，通过单一接口标准化表格基础模型的完整工作流程，支持多种适应策略并提升评估一致性。

Comments The library is open source and available at https://github.com/Lexsi-Labs/TabTune

Personalized LLM Decoding via Contrasting Personal Preference

通过对比个人偏好实现个性化大语言模型解码

Hyungjune Bu, Chanjoo Jung, Minjae Kang, Jaehyung Kim

机构 * Yonsei University（延世大学） ； Opt-AI Inc.（Opt-AI公司） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CoPe方法，通过奖励引导解码实现个性化，提升ROUGE-L指标10.57%。

Comments EMNLP 2025 Main

Do Retrieval Augmented Language Models Know When They Don't Know?

Youchao Zhou, Heyan Huang, Yicheng Liu, Rui Dai, Xinglin Wang, Xingchen Zhang, Shumin Shi, Yang Deng

机构 * SMU（南密西西比大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

Comments AAAI 2026 camera ready version. Extended version with Appendix is coming soon

GMTRouter: Personalized LLM Router over Multi-turn User Interactions

Encheng Xie, Yihang Sun, Tao Feng, Jiaxuan You

机构 * Antiquus S. Hippocampus, Natalia Cerebro & Amelie P. Amygdale Department of Computer Science Cranberry-Lemon University Pittsburgh, PA 15213, USA（计算机科学系，Cranberry-Lemon大学） ； Ji Q. Ren & Yevgeny LeNet Department of Computational Neuroscience University of the Witwatersrand Joburg, South Africa（计算神经科学系，沃特瓦特斯兰大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Preprint

E2E-VGuard: Adversarial Prevention for Production LLM-based End-To-End Speech Synthesis

Zhisheng Zhang, Derui Wang, Yifan Mi, Zhiyong Wu, Jie Gao, Yuxin Cao, Kai Ye, Minhui Xue, Jie Hao

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； CSIRO’s Data61（CSIRO数据61） ； Responsible AI Research (RAIR) Centre, The University of Adelaide（阿德莱德大学负责任人工智能研究（RAIR）中心） ； National University of Singapore（新加坡国立大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted to NeurIPS 2025

Brotherhood at WMT 2024: Leveraging LLM-Generated Contextual Conversations for Cross-Lingual Image Captioning

Siddharth Betala, Ishan Chokshi

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted at the Ninth Conference on Machine Translation (WMT24), co-located with EMNLP 2024

Journal ref https://aclanthology.org/2024.wmt-1.81/

Teaching According to Talents! Instruction Tuning LLMs with Competence-Aware Curriculum Learning

Yangning Li, Tingwei Lu, Yinghui Li, Yankai Chen, Wei-Chieh Huang, Wenhao Jiang, Hui Wang, Hai-Tao Zheng, Philip S. Yu

机构 * Tsinghua University（清华大学） ； Peng Cheng Laboratory（鹏城实验室） ； Cornell University（康奈尔大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Guangming Laboratory（光明实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025 Findings

Low-Rank Adaptation for Foundation Models: A Comprehensive Review

Menglin Yang, Jialin Chen, Jinkai Tao, Yifei Zhang, Jiahong Liu, Jiasheng Zhang, Qiyao Ma, Harshit Verma, Regina Zhang, Min Zhou, Irwin King, Rex Ying

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Yale University（耶鲁大学） ； Nanyang Technological University（南洋理工大学） ； Central University of Finance and Economics（中央财经大学） ； The Chinese University of Hong Kong（香港中文大学） ； Xi’an University of Electronic Science and Technology（西安电子科技大学） ； University of California, Davis（加州大学戴维斯分校） ； The University of Cambridge（剑桥大学） ； LOGS AI 纠错

专题命中 指令微调 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Loquetier: A Virtualized Multi-LoRA Framework for Unified LLM Fine-tuning and Serving

Yuchen Zhang, Hanyue Du, Chun Cao, Jingwei Xu

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 26 pages including 10 pages of main text, 6 figures, 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

S'MoRE: Structural Mixture of Residual Experts for Parameter-Efficient LLM Fine-tuning

Hanqing Zeng, Yinglong Xia, Zhuokai Zhao, Chuan Jiang, Qiang Zhang, Jiayi Liu, Qunshu Zhang, Lizhu Zhang, Xiangjun Fan, Benyu Zhang

机构 * Meta AI 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments NeurIPS 2025

Group-in-Group Policy Optimization for LLM Agent Training

Lang Feng, Zhenghai Xue, Tingcong Liu, Bo An

机构 * Nanyang Technological University（南洋理工大学） ； Skywork AI 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025

Prompting is not Enough: Exploring Knowledge Integration and Controllable Generation

Tingjia Shen, Hao Wang, Chuan Qin, Ruijun Sun, Yang Song, Defu Lian, Hengshu Zhu, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； Chinese Academy of Sciences（中国科学院） ； BOSS Zhipin Career Science Lab（BOSS智联招聘科研实验室） 纠错

专题命中 指令微调 ：prompting(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments 13 pages, 5 figures

VESSA: Video-based objEct-centric Self-Supervised Adaptation for Visual Foundation Models

Jesimon Barreto, Carlos Caetano, André Araujo, William Robson Schwartz

机构 * Departamento de Ciência da Computação, Universidade Federal de Minas Gerais (UFMG)（巴西联邦大学矿务学院计算机科学系（UFMG）） ； Recod.ai, Instituto de Computação, Universidade Estadual de Campinas (UNICAMP)（Recod.ai，计算机学院，坎皮纳斯州立大学（UNICAMP）） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Comments Conference on Neural Information Processing Systems (NeurIPS 2025)

Zhyper: Factorized Hypernetworks for Conditioned LLM Fine-Tuning

M. H. I. Abdalla, Zhipin Wang, Christian Frey, Steffen Eger, Josif Grabocka

机构 * Department of Computer Science University of Technology Nuremberg（计算机科学系图腾技术大学纽伦堡） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Repurposing Annotation Guidelines to Instruct LLM Annotators: A Case Study

Kon Woo Kim, Rezarta Islamaj, Jin-Dong Kim, Florian Boudin, Akiko Aizawa

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 11 pages, 2 figures, 3 tables, This is a preprint of the article accepted at NLDB 2025 (Springer LNCS). The final version is available at https://doi.org/10.1007/978-3-031-97144-0_13

Journal ref In International Conference on Applications of Natural Language to Information Systems, pp. 140-151. Cham: Springer Nature Switzerland, 2025

Self-Evolving LLMs via Continual Instruction Tuning

Jiazheng Kang, Le Huang, Cheng Hou, Zhe Zhao, Zhenxiang Yan, Ting Bai

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

MoRA: On-the-fly Molecule-aware Low-Rank Adaptation Framework for LLM-based Multi-Modal Molecular Assistant

Tao Yin, Xiaohong Zhang, Jiacheng Zhang, Li Huang, Zhibin Zhang, Yuansong Zeng, Jin Xie, Meng Yan

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG