语言大模型 / LLM

Early Detection and Reduction of Memorisation for Domain Adaptation and Instruction Tuning

Dean L. Slack, Noura Al Moubayed

机构 * Durham University（杜伦大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to Transactions of the ACL (TACL), 2025. 15 pages, 6 figures, 3 tables

Fine-tuning with RAG for Improving LLM Learning of New Skills

Humaid Ibrahim, Nikolai Rozanov, Marek Rei

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Under review at ICLR 2026

UniErase: Towards Balanced and Precise Unlearning in Language Models

Miao Yu, Liang Lin, Guibin Zhang, Xinfeng Li, Junfeng Fang, Xingrui Yu, Ivor Tsang, Ningyu Zhang, Kun Wang, Yang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； University of the Chinese Academy of Sciences（中国科学院大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； A*STAR（科技研究局） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

ClaimIQ at CheckThat! 2025: Comparing Prompted and Fine-Tuned Language Models for Verifying Numerical Claims

Anirban Saha Anik, Md Fahimul Kabir Chowdhury, Andrew Wyckoff, Sagnik Ray Choudhury

机构 * Department of Data Science, University of North Texas, Denton, TX, USA（数据科学系，北卡罗来纳州立大学，德顿，得克萨斯州，美国） ； Department of Computer Science and Engineering, University of North Texas, Denton, TX, USA（计算机科学与工程系，北卡罗来纳州立大学，德顿，得克萨斯州，美国） ； Department of Computer Science（计算机科学系） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments Notebook for the CheckThat! Lab at CLEF 2025

Revealing the Inherent Instructability of Pre-Trained Language Models

Seokhyun An, Minji Kim, Hyounghun Kim

机构 * Department of Computer Science and Engineering, UNIST（UNIST计算机科学与工程系） ； Graduate School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院） ； Department of Computer Science and Engineering, POSTECH（POSTECH计算机科学与工程系） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

Comments Findings of EMNLP 2025 (32 pages). Code available at https://github.com/seokhyunan/response-tuning

Enhancing Dialogue Annotation with Speaker Characteristics Leveraging a Frozen LLM

Thomas Thebaud, Yen-Ju Lu, Matthew Wiesner, Peter Viechnicki, Najim Dehak

机构 * Electrical and Computer Engineering Department, Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学电气与计算机工程系） ； Human Language Technology Center of Excellence, Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学人机语言技术卓越中心） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments Accepted in the 2025 IEEE Automatic Speech Recognition and Understanding Workshop

SLiNT: Structure-aware Language Model with Injection and Contrastive Training for Knowledge Graph Completion

Mengxue Yang, Chun Yang, Jiaqi Zhu, Jiafan Li, Jingqi Zhang, Yuyang Li, Ying Li

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by EMNLP Findings 2025

Memento: Fine-tuning LLM Agents without Fine-tuning LLMs

Huichi Zhou, Yihang Chen, Siyuan Guo, Xue Yan, Kin Hei Lee, Zihan Wang, Ka Yiu Lee, Guchun Zhang, Kun Shao, Linyi Yang, Jun Wang

机构 * AI Centre, UCL（UCL人工智能中心） ； Huawei Noah’s Ark Lab, UK（华为诺亚实验室（英国）） ； Jilin University（吉林大学） ； Institute of Automation, CAS（中国科学院自动化研究所） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Rethinking Table Instruction Tuning

Naihao Deng, Rada Mihalcea

机构 * University of Michigan（密歇根大学） 纠错

专题命中 指令微调 ：instruction tuning(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted to ACL 2025 Findings. Updates: 07/2025: We release the TAMA-QWen2.5 and TAMA-QWen3 models. 06/2025: We release our project page: https://lit.eecs.umich.edu/TAMA/, code: https://github.com/MichiganNLP/TAMA, huggingface models: https://huggingface.co/collections/MichiganNLP/tama-684eeb3e7f262362856eccd1, and data: https://huggingface.co/datasets/MichiganNLP/TAMA_Instruct

Reviving Your MNEME: Predicting The Side Effects of LLM Unlearning and Fine-Tuning via Sparse Model Diffing

Aly M. Kassem, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Reinforcement learning fine-tuning of language model for instruction following and math reasoning

Yifu Han, Geo Zhang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning

Hiroshi Yoshihara, Taiki Yamaguchi, Yuichi Inoue

机构 * Aillis Inc.（Aillis公司） ； Department of Health Policy（健康政策部门） ； Public Health, Graduate School of Pharmaceutical Sciences, The University of Tokyo, Tokyo, Japan（公共卫生，药学研究生院，东京大学，东京，日本） ； Rist Inc.（Rist公司） 纠错

专题命中 指令微调 ：SFT(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Presented at ICML 2025 Workshop on The second AI for MATH

Easy Dataset: A Unified and Extensible Framework for Synthesizing LLM Fine-Tuning Data from Unstructured Documents

Ziyang Miao, Qiyu Sun, Jingyuan Wang, Yuchen Gong, Yaowei Zheng, Shiqi Li, Richong Zhang

机构 * School of Computer Science and Engineering, Beihang University, China（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments preprint

Hybrid-NL2SVA: Integrating RAG and Finetuning for LLM-based NL2SVA

Weihua Xiao, Derek Ekberg, Siddharth Garg, Ramesh Karri

机构 * NYU Tandon School of Engineering（纽约大学Tandon工程学院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Detecting Referring Expressions in Visually Grounded Dialogue with Autoregressive Language Models

Bram Willemsen, Gabriel Skantze

机构 * Division of Speech, Music and Hearing（语音、音乐和听觉系） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted for publication at XLLM @ ACL 2025

Metis-RISE: RL Incentivizes and SFT Enhances Multimodal Reasoning Model Learning

Haibo Qiu, Xiaohan Lan, Fanfan Liu, Xiaohu Sun, Delian Ruan, Peng Shi, Lin Ma

专题命中 指令微调 ：SFT(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Project Page: https://github.com/MM-Thinking/Metis-RISE

What Matters in LLM-generated Data: Diversity and Its Effect on Model Fine-Tuning

Yuchang Zhu, Huazhen Zhong, Qunshu Lin, Haotong Wei, Xiaolong Sun, Zixuan Yu, Minghao Liu, Zibin Zheng, Liang Chen

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Ongoing work

Evaluating Generalization and Representation Stability in Small LMs via Prompting, Fine-Tuning and Out-of-Distribution Prompts

Rahul Raja, Arpita Vats

机构 * Boston University, Boston, USA（波士顿大学） ； Carnegie Mellon University, Pittsburgh, USA（卡内基梅隆大学） ； Stanford University, Palo Alto, USA（斯坦福大学） 纠错

专题命中 指令微调 ：prompting(title,abstract)；language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted at ICML

DipLLM: Fine-Tuning LLM for Strategic Decision-making in Diplomacy

Kaixuan Xu, Jiajun Chai, Sicheng Li, Yuqian Fu, Yuanheng Zhu, Dongbin Zhao

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（人工智能学院，中国科学院大学，北京，中国） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院，北京，中国） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted to the 42nd International Conference on Machine Learning (ICML 2025)

I Know Which LLM Wrote Your Code Last Summer: LLM generated Code Stylometry for Authorship Attribution

Tamas Bisztray, Bilel Cherif, Richard A. Dubniczky, Nils Gruschka, Bertalan Borsos, Mohamed Amine Ferrag, Attila Kovacs, Vasileios Mavroeidis, Norbert Tihanyi

机构 * University of Oslo（奥斯陆大学） ； Technology Innovation Institute（技术创新研究所） ； Eötvös Lóránd University（欧多西亚·洛拉恩大学） ； Guelma University（盖尔马大学） ； University of Oslo, Cyentific AS（奥斯陆大学，Cyentific AS） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Align-then-Unlearn: Embedding Alignment for LLM Unlearning

Philipp Spohn, Leander Girrbach, Jessica Bader, Zeynep Akata

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning, MDSI, Helmholtz Munich（慕尼黑机器学习中心，MDSI，海德堡慕尼黑） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted at ICML 2025 Workshop on Machine Unlearning for Generative AI

Infinity Instruct: Scaling Instruction Selection and Synthesis to Enhance Language Models

Jijie Li, Li Du, Hanyu Zhao, Bo-wen Zhang, Liangdong Wang, Boyan Gao, Guang Liu, Yonghua Lin

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Multi-Party Supervised Fine-tuning of Language Models for Multi-Party Dialogue Generation

Xiaoyu Wang, Ningyuan Xi, Teng Chen, Qingqing Gu, Yue Zhao, Xiaokai Chen, Zhonglin Jiang, Yong Chen, Luo Ji

机构 * Beijing Institute of Technology, Beijing, China（北京理工大学） ； Beihang University, Beijing, China（北航） ； Geely AI Lab, Beijing, China（Geely人工智能实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by IJCNN 2025

Confidence Is All You Need: Few-Shot RL Fine-Tuning of Language Models

Pengyi Li, Matvey Skripkin, Alexander Zubrey, Andrey Kuznetsov, Ivan Oseledets

机构 * AIRI, Skoltech Moscow（AIRI，斯克里普奇莫斯科学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

TALL -- A Trainable Architecture for Enhancing LLM Performance in Low-Resource Languages

Moshe Ofer, Orel Zamler, Amos Azaria

机构 * Ariel University（阿里尔大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Mitigating Non-IID Drift in Zeroth-Order Federated LLM Fine-Tuning with Transferable Sparsity

Yide Ran, Wentao Guo, Jingwei Sun, Yanzhou Pan, Xiaodong Yu, Hao Wang, Jianwen Xie, Yiran Chen, Denghui Zhang, Zhaozhuo Xu

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； Princeton University（普林斯顿大学） ； Duke University（杜克大学） ； Google LLC（谷歌公司） ； Lambda Inc.（Lambda公司） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 56 pages, 11 figures

The Future of Continual Learning in the Era of Foundation Models: Three Key Directions

Jack Bell, Luigi Quarantiello, Eric Nuertey Coleman, Lanpei Li, Malio Li, Mauro Madeddu, Elia Piccoli, Vincenzo Lomonaco

机构 * Department of Computer Science, Università di Pisa（帕尔马大学计算机科学系） ； Institute of Information Science and Technologies, National Research Council（信息科学与技术研究所，国家研究理事会） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 16 pages, 1 figure, accepted at TCAI workshop 2025

LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning

Zebin You, Shen Nie, Xiaolu Zhang, Jun Hu, Jun Zhou, Zhiwu Lu, Ji-Rong Wen, Chongxuan Li

机构 * Gaoling School of AI, Renmin University of China（中国人民大学人工智能学院） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心，教育部） ； Ant Group（蚂蚁集团） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Project page and codes: \url{https://ml-gsai.github.io/LLaDA-V-demo/}

Enhancing Multimodal Continual Instruction Tuning with BranchLoRA

Duzhen Zhang, Yong Ren, Zhong-Zhi Li, Yahan Yu, Jiahua Dong, Chenxing Li, Zhilong Ji, Jinfeng Bai

机构 * Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed大学人工智能学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Kyoto University（京都大学） ； Tencent AI Lab（腾讯AI实验室） ； Tomorrow Advancing Life（明天生命科技） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ACL2025 Main Conference

SafeTuneBed: A Toolkit for Benchmarking LLM Safety Alignment in Fine-Tuning

Saad Hossain, Samanvay Vajpayee, Sirisha Rambhatla

机构 * Critical ML Lab（关键机器学习实验室） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG