语言大模型 / LLM

Analyzing and Internalizing Complex Policy Documents for LLM Agents

Jiateng Liu, Zhenhailong Wang, Xiaojiang Huang, Yingjie Li, Xing Fan, Xiang Li, Chenlei Guo, Ruhi Sarikaya, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 42 pages

PersonaFuse: A Personality Activation-Driven Framework for Enhancing Human-LLM Interactions

Yixuan Tang, Yi Yang, Ahmed Abbasi

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Notre Dame（诺丁汉大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs

Wasi Uddin Ahmad, Aleksander Ficek, Mehrzad Samadi, Jocelyn Huang, Vahid Noroozi, Somshubra Majumdar, Boris Ginsburg

机构 * NVIDIA Santa Clara, CA 95051, USA（NVIDIA圣克拉拉分校） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Work in progress

Contextual Candor: Enhancing LLM Trustworthiness Through Hierarchical Unanswerability Detection

Steven Robinson, Antonio Carlos Rivera

机构 * EDP University of Puerto Rico: San Sebastian（EDP巴尔的摩大学：圣塞巴斯蒂安） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

Precise Length Control in Large Language Models

Bradley Butcher, Michael O'Keefe, James Titchener

机构 * Strategic Research Group（战略研究组） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Journal ref Precise length control for large language models, Natural language processing Vol 11 (2025)

GenCLS++: Pushing the Boundaries of Generative Classification in LLMs Through Comprehensive SFT and RL Studies Across Diverse Datasets

Mingqian He, Fei Zhao, Chonggang Lu, Ziyan Liu, Yue Wang, Haofu Qian

机构 * Zhejiang University（浙江大学） ； Xiaohongshu Inc.（小红书公司） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：SFT(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

LREF: A Novel LLM-based Relevance Framework for E-commerce

Tian Tang, Zhixing Tian, Zhenyu Zhu, Chenyang Wang, Haiqing Hu, Guoyu Tang, Lin Liu, Sulong Xu

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing

Huanqian Wang, Yang Yue, Rui Lu, Jingxin Shi, Andrew Zhao, Shenzhi Wang, Shiji Song, Gao Huang

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Comments 23 pages, 14 figures

The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities

Irina Bigoulaeva, Harish Tayyar Madabushi, Iryna Gurevych

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments The code for this paper is available at: https://github.com/UKPLab/arxiv2025-inherent-limits-plms

Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning

Runchuan Zhu, Zhipeng Ma, Jiang Wu, Junyuan Gao, Jiaqi Wang, Dahua Lin, Conghui He

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Equal contribution: Runchuan Zhu, Zhipeng Ma, Jiang Wu; Corresponding author: Conghui He

Aquila: A Hierarchically Aligned Visual-Language Model for Enhanced Remote Sensing Image Comprehension

Kaixuan Lu, Ruiqian Zhang, Xiao Huang, Yuxing Xie

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；foundation model(abstract)

Grounding Gaps in Language Model Generations

Omar Shaikh, Kristina Gligorić, Ashna Khetan, Matthias Gerstgrasser, Diyi Yang, Dan Jurafsky

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；instruction tuning(abstract)

Comments NAACL 2024; 18 pages, 2 figures

Towards LLM-driven Dialogue State Tracking

Yujie Feng, Zexin Lu, Bo Liu, Liming Zhan, Xiao-Ming Wu

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments Accepted at EMNLP 2023

Quantum Large Language Models via Tensor Network Disentanglers

基于张量网络解纠缠器的量子大语言模型

Borja Aizpurua, Fernando Loren, Saeed S. Jahromi, Sukhbinder Singh, Roman Orus

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出将量子计算与预训练大语言模型融合的框架，用张量网络解纠缠器压缩模型参数，经量子处理器验证可提升性能，为量子增强语言模型提供实用方案。

Comments 9 pages, 6 figures

Weightless Fine-Tuning: Personalizing LLMs via Logit-Space Transport

无权重微调：通过对数几率空间迁移实现大语言模型的个性化

Bohan Zhang, Anqi Ni, Yixin Wang, Paramveer S. Dhillon

机构 * University of Michigan（密歇根大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.LG

AI总结 针对个性化场景下LLM微调成本过高的问题，提出无需权重更新的WFT方法，在LaMP基准上性能优于多数基线，仅用不到7%计算量接近SFT效果。

STEMMA: An Adversarial Multi-Agent Framework for Evaluating Self-Identity Consistency in LLMs

STEMMA：用于评估大语言模型（LLM）自我身份一致性的对抗性多智能体框架

Nuthakki Siva Gopala Krishna, Kanishka Jain

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对LLM自我身份一致性评估问题，提出对抗性多智能体框架STEMMA，结合手动设计的对抗性提示开展实验，发现多数LLM存在自我表征不一致的问题。

Comments 15 pages

SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging

SafeMERGE: 通过选择性层间模型融合在微调大语言模型中保持安全对齐

Aladin Djuhera, Swanand Ravindra Kadhe, Farhan Ahmed, Syed Zawad, Holger Boche

机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SafeMERGE，一种轻量级后微调框架，通过选择性融合层间模型来恢复安全对齐，同时保持下游性能，减少有害输出并提升实用性。

Journal ref Findings of the ACL 2026

Curvature-Weighted Capacity Allocation: A Minimum Description Length Framework for Layer-Adaptive Large Language Model Optimization

曲率加权容量分配：一种基于最小描述长度原理的层适应性大语言模型优化框架

Theophilus Amaefuna, Hitesh Vaidya, Anshuman Chhabra, Ankur Mali

机构 * Bellini College of Artificial Intelligence, Cybersecurity and Computing（人工智能与网络安全与计算学院） ； University of South Florida（佛罗里达州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于最小描述长度原理的曲率加权容量分配框架，用于层适应性大语言模型优化，通过曲率调整的层增益计算，实现高效容量分配和剪枝，具有理论保证和计算效率。

Comments Accepted to UAI 2026. To be published in PMLR

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

通过源保护更新缓解LLM目标语言适应中的灾难性遗忘

Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras

机构 * University of Sheffield（谢菲尔德大学） ； Hitachi, Ltd.（日立株式会社） ； University of Exeter（埃克塞特大学） ； Federal University of Rio Grande do Norte（里奥格兰德杜纳粹大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出源保护更新策略，利用少量源数据和参数重要性评分，在低资源条件下有效缓解LLM在目标语言适应中的灾难性遗忘问题，实验表明其在保持源语言能力的同时提升了目标语言性能。

Comments Accepted to ACL 2026 Main Conference

Reconstructing Item Characteristic Curves using Fine-Tuned Large Language Models

利用微调的大语言模型重建项目特征曲线

Christopher Ormerod

机构 * Cambium Assessment（坎布里乌姆评估） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用微调大语言模型生成合成项目特征曲线，以估计IRT参数，方法在评估项目数据集上表现优异，尤其在区分度建模方面效果显著。

Comments 19 pages, 5 tables, 3 figures

Scaling Laws for Hypernetwork-Based Knowledge Injection in Large Language Models

基于超网络的大语言模型知识注入的缩放定律

Nischay Dhankhar, Dos Baha, Abulhair Saparov

机构 * Nace AI（Nace人工智能公司） ； Purdue University（普渡大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究大语言模型训练时知识注入问题，核心方法是用超网络生成LoRA适配器，主要贡献是发现超网络注入能力随规模变化规律，能可靠进行分布外泛化，为训练时适应提供新基础及缩放定律。

Comments Preprint, 22 pages, 14 figures. Dataset collection available at https://huggingface.co/collections/nace-ai/hypernetwork-datasets

Semantic Primes as Explanans for Emotion in Large Language Models

语义原素作为大语言模型中情感的解释因素

Frank Xing

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨大语言模型中情感的解释问题，通过在四个指令微调的LLMs上实验，发现自然语义元语言的语义原素是可恢复的内部元素，能更有效控制情感，且与相应情感可互换，是比其他选项更好的情感解释因素。

Comments 11 pages, 9 figures

Sparsity-Aware Low-Rank Representation for Efficient Fine-Tuning of Large Language Models

稀疏感知低秩表示用于大型语言模型高效微调

Longteng Zhang, Sen Wu, Shuai Hou, Zhengyu Qing, Zhuo Zheng, Danning Ke, Qihong Lin, Qiang Wang, Shaohuai Shi, Xiaowen Chu

专题命中 指令微调 ：language model(title,abstract)；large language model(title)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 SALR 通过结合低秩适应与稀疏剪枝，实现大型语言模型的高效微调，达到 50% 稀疏度并提升推理速度。

Learning by Surprise: Adaptive Mitigation of Model Collapse in Large Language Models

通过惊喜学习：大型语言模型中模型崩溃的自适应缓解

Daniele Gambetta, Gizem Gezici, Fosca Giannotti, Dino Pedreschi, Alistair Knott, Luca Pappalardo

机构 * University of Pisa（比萨大学） ； ISTI-CNR（意大利国家研究委员会信息科学与技术研究所） ； Scuola Normale Superiore（比萨高等师范学校） ； Victoria University of Wellington（惠灵顿维多利亚大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对AI自噬导致的模型崩溃问题，提出基于困惑度的过滤策略，优先使用高惊喜文档进行微调，无需区分人写或AI生成内容，有效缓解崩溃并保持性能。

Do We Still Need Fine Tuning? Turkish Sentiment Analysis in the Era of Large Language Model

我们还需要微调吗？大语言模型时代的土耳其语情感分析

Sercan Karakaş, Yusuf Şimşek

机构 * University of Chicago（芝加哥大学） ； Fırat University（费拉特大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型时代土耳其语情感分析是否需要监督微调，通过对比经典机器学习、微调预训练语言模型和提示大语言模型，发现微调BERTurk在三分类任务中表现最佳，而大语言模型在中性类别上表现不佳。

Comments Accepted to the 34th IEEE Signal Processing and Communications Applications Conference

BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models

BA-LoRA: 降低偏差的低秩适应以减轻大语言模型中的灾难性继承

Yupeng Chang, Yi Chang, Yuan Wu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出BA-LoRA，通过引入一致性、多样性及SVD项正则化，缓解低秩适应中的灾难性继承问题，提升模型鲁棒性和公平性。

Comments 25 pages

Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions

审计心理健康交互中大语言模型的框架敏感行为不稳定性

Abla Bedoui, Ashley L. Greene, Mohammed Cherkaoui

机构 * a School of computer science, digital engineering and AI, Long Island University, Brooklyn, NY, USA（a 计算科学与数字工程及人工智能学院，罗格斯大学，布鲁克林，纽约，美国） ； b Department of Psychology, Long Island University, Brooklyn, NY, USA（b 心理学系，罗格斯大学，布鲁克林，纽约，美国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究通过控制匹配提示，调查大语言模型在不同上下文框架下的行为变异性，发现框架系统性改变解释响应倾向，且内部表征可解码，激活操控可部分调节行为。

OpenFinGym: A Verifiable Multi-Task Gym Environment for Evaluating Quant Agents

OpenFinGym: 一个可验证的多任务Gym环境，用于评估量化智能体

Kaicheng Zhang, Wen Ge, Lei Jiang, Weixin Yang, Jordan Langham-Lopez, Jialin Yu, Lukasz Szpruch, Hao Ni

机构 * University of Edinburgh（爱丁堡大学） ； University College London（伦敦大学学院） ； Alan Turing Institute（艾伦·图灵研究所） ； University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：LLM(summary_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出OpenFinGym统一环境，覆盖预测、市场生成、实时交易和欺诈检测等量化金融任务，支持自动化任务构建、容器化验证和延迟解析，以全面评估LLM智能体。

Techniques for Peak Memory Reduction for LoRA Fine-tuning of LLMs on Edge Devices

边缘设备上LLM LoRA微调峰值内存降低技术

Hassan Dbouk, Matthias Reisser, Prathamesh Mandke, Likhita Arun Navali, Christos Louizos

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对边缘设备上LLM LoRA微调的内存瓶颈，提出四种互补技术（量化、检查点、softmax近似、logits掩码），在Llama-3.2 3B和Qwen-2.5 3B上实现高达26倍和28倍的峰值内存降低。

Comments Hassan Dbouk and Matthias Reisser contributed equally to this work

Patcher: Post-Hoc Patching of Backdoored Large Language Models

Patcher: 后门大型语言模型的事后修补

Anjun Gao, Yueyang Quan, Yufei Xia, Zhuqing Liu, Minghong Fang

机构 * University of Louisville（路易斯维尔大学） ； University of North Texas（北得克萨斯大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出Patcher框架，仅利用单个失败案例和模型参数，通过基于梯度的显著性定位后门触发器，并采用约束微调消除触发-响应关联，同时保持模型效用。

Comments To appear in the USENIX Security Symposium, 2026