语言大模型 / LLM

The Curse of Depth in Large Language Models

深度在大语言模型中的诅咒

Wenfang Sun, Xinyuan Song, Pengxiang Li, Lu Yin, Yefeng Zheng, Shiwei Liu

机构 * Westlake University（西湖大学） ； Emory University（埃默里大学） ； Dalian University of Technology（大连理工大学） ； University of Surrey（萨里大学） ； University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LayerNorm Scaling方法，通过缩放输出方差缓解深度诅咒，提升大语言模型的预训练和微调性能。

Comments Accepted by NeurIPS 2025

On the Entropy Dynamics in Reinforcement Fine-Tuning of Large Language Models

在大型语言模型强化微调中的熵动态研究

Shumin Wang, Yuexiang Xie, Wenhao Zhang, Yuchang Sun, Yanxi Chen, Yaliang Li, Yanyong Zhang

机构 * University of Science（科学大学） ； Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大型语言模型强化微调中熵动态的理论框架，提出了熵变化的判别表达式，并设计了熵控制方法以优化探索与利用的平衡。

FedKRSO: Communication and Memory Efficient Federated Fine-Tuning of Large Language Models

FedKRSO: 在联邦学习中实现高效通信和内存的大型语言模型微调

Guohao Yang, Tongle Wu, Yuanxiong Guo, Ying Sun, Yanmin Gong

机构 * University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） ； Penn State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 FedKRSO通过在联邦学习中利用随机子空间优化，实现了高效通信和内存的LLM微调，兼顾性能与资源节约。

Comments Accepted by INFOCOM 2026

Multi-Level Safety Continual Projection for Fine-Tuned Large Language Models without Retraining

多级安全连续投影：无需重新训练的微调大语言模型安全增强方法

Bing Han, Feifei Zhao, Dongcheng Zhao, Guobin Shen, Ping Wu, Yu Shi, Yi Zeng

机构 * Beijing Key Laboratory of Safe AI and Superalignment（北京安全人工智能与超对齐重点实验室） ； Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院） ； Brain-inspired Cognitive AI Lab, Institute of Automation, Chinese Academy of Sciences（脑启发认知人工智能实验室，中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Long-term AI（长期人工智能） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种无需重新训练的微调后安全增强方法MSCP，通过多级表示对齐和安全方向投影，有效抑制有害输出并提升与人类偏好的对齐度。

A System for Name and Address Parsing with Large Language Models

基于大语言模型的姓名和地址解析系统

Adeeba Tarannum, Muzakkiruddin Ahmed Mohammed, Mert Can Cakmak, Shames Al Mandalawi, John Talburt

机构 * Center for Entity Resolution and Information Quality (ERIQ) - University of Arkansas - Little Rock, Arkansas, Little Rock, USA（实体解析与信息质量中心（ERIQ）- 亚拉荷马州立大学-小岩城，阿肯色州，小岩城，美国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于提示和验证的框架，利用大语言模型实现无微调的姓名和地址解析，提供高准确率和可重复性的结构化数据提取方法。

MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models

MoA：异构适配器混合用于大语言模型的参数高效微调

Jie Cao, Tianwei Lin, Bo Yuan, Rolan Yan, Hongyang He, Wenqiao Zhang, Juncheng Li, Dongping Zhang, Siliang Tang, Yueting Zhuang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 MoA通过异构适配器混合提升大语言模型的参数高效微调性能，采用软和稀疏变体实现细粒度整合与稀疏激活，增强预训练知识向下游任务的转移效果。

AGGC: Adaptive Group Gradient Clipping for Stabilizing Large Language Model Training

AGGC：自适应分组梯度裁剪用于稳定大语言模型训练

Zhiyuan Li, Yuan Wu, Yi Chang

机构 * School of Artificial intelligence, JiLin University（人工智能学院，吉林大学） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, JiLin University（知识驱动人机智能工程研究中心，吉林大学） ； International Center of Future Science, JiLin University（未来科学国际中心，吉林大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 AGGC通过自适应分组梯度裁剪方法，有效解决传统梯度裁剪在处理梯度异质性方面的不足，提升大语言模型训练稳定性与性能。

Comments 13 pages

Multi-Stage Evolutionary Model Merging with Meta Data Driven Curriculum Learning for Sentiment-Specialized Large Language Modeling

多阶段进化模型合并与元数据驱动的课程学习用于情感专业化的大语言模型

Keito Inoshita, Xiaokang Zhou, Akira Kawai

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MEM-MCL模型，通过元数据驱动课程学习和进化算法提升大语言模型在情感分析中的准确性和多任务处理能力。

Comments This paper was presented at the 10th IEEE International Conference on Data Science and Systems in December 2024 and is awaiting publication

Let's Put Ourselves in Sally's Shoes: Shoes-of-Others Prefilling Improves Theory of Mind in Large Language Models

让我们站在莎莉身上：他人之鞋预填法提升大语言模型的理论心智能力

Kazutoshi Shinoda, Nobukatsu Hojo, Kyosuke Nishida, Yoshihiro Yamazaki, Keita Suzuki, Hiroaki Sugiyama, Kuniko Saito

机构 * NTT, Inc.（日本电报电话公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 通过'他人之鞋预填'方法提升大语言模型的理论心智能力，该方法通过引导模型站在目标角色视角来增强其心理状态理解能力。

Comments Accepted to EACL 2026 Findings

Fine-tuning a Large Language Model for Automating Computational Fluid Dynamics Simulations

针对计算流体力学模拟的大型语言模型微调

Zhehao Dong, Zhen Lu, Yue Yang

机构 * State Key Laboratory for Turbulence and Complex Systems, College of Engineering, Peking University, Beijing 100871, China（湍流与复杂系统国家重点实验室，工程学院，北京大学，北京100871，中国） ； HEDPS-CAPT, Peking University, Beijing 100871, China（HEDPS-CAPT，北京大学，北京100871，中国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 通过微调领域特定LLM，实现从自然语言到CFD模拟配置的自动化，提升复杂工程流程的效率和准确性。

Journal ref Theor. Appl. Mech. Lett. 15, 100594 (2025)

Fine-tuning of lightweight large language models for sentiment classification on heterogeneous financial textual data

轻量级大语言模型在异构金融文本数据上的情感分类微调

Alvaro Paredes Amorin, Andre Python, Christoph Weisser

机构 * International Business School, Zhejiang University（浙江大学国际商务学院） ； Center for Data Science, Zhejiang University（浙江大学数据科学中心） ； Centre for Statistics, Georg-August-Universität Göttingen（哥廷根大学统计中心） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了轻量级开源大语言模型在异构金融文本数据上的情感分类微调效果，发现Qwen3 8B和Llama3 8B在有限数据下表现优异。

Auto-Tuning Safety Guardrails for Black-Box Large Language Models

为黑盒大语言模型自动调整安全防护栏

Perry Abdulkadir

机构 * University of St. Thomas（圣托马斯大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过超参数优化来自动调整黑盒大语言模型的安全防护栏，以提高其安全性和效率。

Comments 8 pages, 7 figures, 1 table. Work completed as part of the M.S. in Artificial Intelligence at the University of St. Thomas using publicly available models and datasets; all views and any errors are the author's own

ALIGN: Word Association Learning for Cultural Alignment in Large Language Models

ALIGN: 用于大语言模型中文化对齐的词关联学习

Chunhua Liu, Kabir Manandhar Shrestha, Sukai Huang

机构 * School of Computing and Information Systems, The University of Melbourne（计算与信息系统学院，墨尔本大学） ； Melbourne Data Analytics Platform, The University of Melbourne（墨尔本数据分析平台，墨尔本大学） ； Faculty of Information Technology, Monash University（信息技术学院，墨尔本大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 ALIGN通过微调大语言模型以学习母语使用者的词关联规范，显著提升文化对齐效果，无需昂贵重新训练。

LLM4XCE: Large Language Models for Extremely Large-Scale Massive MIMO Channel Estimation

LLM4XCE：用于超大规模大规模MIMO信道估计的大型语言模型

Renbin Li, Shuangshuang Li, Peihao Dong

机构 * College of Electronic and Information Engineering, Nanjing University of Aeronautics and Astronautics（电子与信息工程学院，南京航空航天大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 LLM4XCE通过利用大型语言模型的语义建模能力，实现了超大规模大规模MIMO信道估计的高效准确估计。

Addressing Stereotypes in Large Language Models: A Critical Examination and Mitigation

应对大型语言模型中的刻板印象：一种批判性审视与缓解

Fatima Kazi

机构 * UNIVERSITY OF CALIFORNIA DAVIS（加州大学戴维斯分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了大型语言模型中的刻板印象问题，通过评估不同模型的偏见表现，提出增强学习策略以提升模型性能和减少偏见输出。

IROTE: Human-like Traits Elicitation of Large Language Model via In-Context Self-Reflective Optimization

IROTE: 通过上下文自我反思优化 elicite 大语言模型的人类特质

Yuzhuo Bai, Shitong Duan, Muhua Huang, Jing Yao, Zhenghao Liu, Peng Zhang, Tun Lu, Xiaoyuan Yi, Maosong Sun, Xing Xie

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 IROTE通过上下文自我反思优化方法，使LLMs在多样任务中稳定体现人类特质，超越现有基线。

Comments This paper is accepted by AAAI 2026

ConfTuner: Training Large Language Models to Express Their Confidence Verbally

ConfTuner: 训练大型语言模型以口头表达其置信度

Yibo Li, Miao Xiong, Jiaying Wu, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 ConfTuner通过引入标记化布里尔分数损失函数，有效提升大型语言模型的置信度校准能力，适用于多种推理任务并泛化至黑盒模型。

Comments Accepted by NeurIPS 2025

Sensitivity of Small Language Models to Fine-tuning Data Contamination

Nicy Scaria, Silvester John Joseph Kennedy, Deepak Subramani

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

Test-Time Warmup for Multimodal Large Language Models

Nikita Rajaneesh, Thomas Zollo, Richard Zemel

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

Model Provenance Testing for Large Language Models

Ivica Nikolic, Teodora Baluta, Prateek Saxena

机构 * National University of Singapore（新加坡国立大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

Translating Regulatory Clauses into Executable Codes for Building Design Checking via Large Language Model Driven Function Matching and Composing

Zhe Zheng, Jin Han, Ke-Yin Chen, Xin-Yu Cao, Xin-Zheng Lu, Jia-Rui Lin

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Journal ref Engineering Applications of Artificial Intelligence, 2026

Reasoning-Enhanced Large Language Models for Molecular Property Prediction

Jiaxi Zhuang, Yaorui Shi, Jue Hou, Yunong He, Mingwei Ye, Mingjun Xu, Yuming Su, Linfeng Zhang, Ying Qian, Linfeng Zhang, Guolin Ke, Hengxing Cai

机构 * DP Technology（DP技术公司） ； Shanghai Jiao Tong University（上海交通大学） ； East China Normal University（华东师范大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.AI、cs.LG

SPFT-SQL: Enhancing Large Language Model for Text-to-SQL Parsing by Self-Play Fine-Tuning

Yuhao Zhang, Shaoming Duan, Jinhang Su, Chuanyi Liu, Peiyi Han

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025 Findings

Bridging Collaborative Filtering and Large Language Models with Dynamic Alignment, Multimodal Fusion and Evidence-grounded Explanations

Bo Ma, LuYao Liu, Simon Lau, Chandler Yuan, and XueY Cui, Rosie Zhang

机构 * Department of Software \& Microelectronics, Peking University, Beijing, China ； Economic Law School, China University of Political Science ； Financial Media, Peking University, ChangSha, China 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Metaphor identification using large language models: A comparison of RAG, prompt engineering, and fine-tuning

Matteo Fuoli, Weihang Huang, Jeannette Littlemore, Sarah Turner, Ellen Wilding

机构 * Department of Linguistics and Communication（语言学与传播学系） ； University of Birmingham（伯明翰大学） ； Centre for Arts, Memory & Communities（艺术、记忆与社区中心） ； Coventry University（考文垂大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Fairness Testing in Retrieval-Augmented Generation: How Small Perturbations Reveal Bias in Small Language Models

Matheus Vinicius da Silva de Oliveira, Jonathan de Andrade Silva, Awdren de Lima Fontao

机构 * Faculty of Computing - Federal University of Mato Grosso do Sul（计算机学院 - 短暂戈亚那联邦大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

BianCang: A Traditional Chinese Medicine Large Language Model

Sibo Wei, Xueping Peng, Yi-Fei Wang, Tao Shen, Jiasheng Si, Weiyu Zhang, Fa Zhu, Athanasios V. Vasilakos, Wenpeng Lu, Xiaoming Wu, Yinglong Wang

机构 * Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center (National Supercomputer Center in Jinan), Qilu University of Technology (Shandong Academy of Sciences), and with Shandong Provincial Key Laboratory of Computing Power Internet and Service Computing, Shandong Fundamental Research Center for Computer Science（计算机功率网络与信息安全重点实验室，教育部，山东计算机科学中心（国家超级计算机中心济南中心），齐鲁工业大学（山东科学院），并与山东省计算功率互联网与服务计算省级重点实验室，山东省计算机科学基础研究中心） ； Australian Artificial Intelligence Institute, University of Technology Sydney（澳大利亚人工智能研究所，技术悉尼大学） ； Affiliated Hospital of Shandong University of Traditional Chinese Medicine（山东中医药大学附属医院） ； College of Information Science and Technology & Artificial Intelligence, Nanjing Forestry University（信息科学与技术及人工智能学院，南京林业大学） ； Department of ICT and Center for AI Research, University of Agder (UiA)（ICT系和人工智能研究中心，阿格德大学（UiA）） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Journal ref IEEE Journal of Biomedical and Health Informatics (Early Access), 2025, 1-12

Improving the Language Understanding Capabilities of Large Language Models Using Reinforcement Learning

Bokai Hu, Sai Ashish Somayajula, Xin Pan, Pengtao Xie

机构 * UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

How Can Quantum Deep Learning Improve Large Language Models?

Emily Jimin Roh, Hyojun Ahn, Samuel Yen-Chi Chen, Soohyun Park, Joongheon Kim

机构 * Korea University（韩国大学） ； Wells Fargo（摩根大通） ； Sookmyung Women's University（-sookmyung女子大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Jailbreaking Large Language Models Through Content Concretization

Johan Wahréus, Ahmed Hussain, Panos Papadimitratos

机构 * Networked Systems Security (NSS) Group（网络系统安全组） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments Accepted for presentation in the Conference on Game Theory and AI for Security (GameSec) 2025