语言大模型 / LLM

Federated Large Language Models: Current Progress and Future Directions

联邦大语言模型：当前进展与未来方向

Yuhang Yao, Jianyi Zhang, Junda Wu, Chengkai Huang, Yu Xia, Tong Yu, Ruiyi Zhang, Sungchul Kim, Ryan Rossi, Ang Li, Lina Yao, Julian McAuley, Yiran Chen, Carlee Joe-Wong

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Duke University（杜克大学） ； University of California San Diego（加州大学圣地亚哥分校） ； The University of New South Wales（新南威尔士大学） ； Adobe Research（Adobe研究） ； University of Maryland College Park（马里兰大学学院公园分校） ； CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文综述联邦学习与大语言模型结合（FedLLM）的最新进展，重点分析联邦微调和联邦提示学习如何应对效率、个性化和安全挑战，并展望联邦预训练和联邦智能体等方向。

Comments Accepted by PAKDD 2026

GRZO: Group-Relative Zeroth-Order Optimization for Large Language Model Fine-Tuning

GRZO：用于大语言模型微调的组相对零阶优化

Liyan Tan, Yequan Zhao, Yifan Yang, Ruijie Zhang, Xinling Yu, Zheng Zhang

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出GRZO优化器，通过组相对归一化聚合每个样本的损失，在不增加前向成本的情况下将有效梯度方向数从1提升至批量大小，降低方差并改善收敛，在多个模型和任务上优于MeZO。

Comments Preprint. Under review

Human-Alignment, Calibration, and Activation Patterns in Large Language Model Uncertainty

大型语言模型不确定性中的人类对齐、校准与激活模式

Kyle Moore, Jesse Roberts, Daryl Watson, William Ward, Grayson Heyboer

机构 * Vanderbilt University（范德比大学） ； Tennessee Technological University（田纳西技术大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大型语言模型的不确定性与人类不确定性的相似性，通过分析行为与内部激活模式，发现模型在多项选择和开放式事实回忆数据集上同时存在对齐与校准，并描述了指令微调的影响。

A Language-Guided Bayesian Optimization for Efficient LoRA Hyperparameter Search

语言引导的贝叶斯优化用于高效LoRA超参数搜索

Baek Seong-Eun, Lee Jung-Mok, Kim Sung-Bin, Tae-Hyun Oh

机构 * Grad. School of AI, POSTECH, Pohang, Korea（POSTECH人工智能研究生院，韩国坡安） ； School of EE, KAIST, Daejeon, Korea（韩国科学技术院电子工程学院，韩国大田） ； School of Computing, KAIST, Daejeon, Korea（韩国科学技术院计算学院，韩国大田） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出一种利用预训练LLM领域知识的贝叶斯优化框架，通过语言提示将超参数映射到连续空间，结合子集训练代理评估，仅需约30次迭代即可发现比标准超参数提升20%以上性能的LoRA超参数。

Comments Accepted at ICML 2026

Label-Free Reinforcement Learning via Cross-Model Entropy

无标签强化学习：跨模型熵方法

Matt Gorbett, Hossein Shirazi

机构 * Independent Researcher（独立研究者） ； San Diego State University（圣地亚哥州立大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出跨模型熵（CME）作为无标签奖励信号，用于强化学习后训练大语言模型，在开放指令遵循任务上优于基线方法。

Squeezing Capacity from Multimodal Large Language Models for Subject-driven Generation

从多模态大语言模型中榨取能力用于主题驱动生成

Shuhong Zheng, Aashish Kumar Misraa, Yu-Teng Li, Yu-Jhe Li, Igor Gilitschenski

机构 * University of Toronto & Vector Institute（多伦多大学及向量研究所） ； Adobe（Adobe公司） ； Google（谷歌公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出一种结合多模态大语言模型和VAE身份条件的方法，通过双层级聚合模块和多阶段去噪策略，在主题驱动图像生成中实现多模态理解与身份保持的平衡，优于现有方法。

Comments 33 pages, 18 figures, Project Page: https://zsh2000.github.io/squeeze-mllm-subject-gen/

Integrating Structural and Semantic Signals in Text-Attributed Graphs with BiGTex

在文本属性图中整合结构信号与语义信号：BiGTex

Azadeh Beiranvand, Seyed Mehdi Vahidipour

机构 * Faculty of Electrical and Computer Engineering, University of Kashan（卡尚大学电气与计算机工程学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出BiGTex架构，通过堆叠图-文本融合单元实现GNN与LLM的双向注意力，以参数高效微调（LoRA）在节点分类和链接预测任务上达到最优性能。

Comments 26 pages, 4 figures

Journal ref Machine Learning with Applications 24 (2026) 100921

FLoRIST: Singular Value Thresholding for Efficient and Accurate Federated Fine-Tuning of Large Language Models

FLoRIST: 用于高效准确的大语言模型联邦微调的奇异值阈值化方法

Hariharan Ramesh, Jyotikrishna Dass

机构 * Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出FLoRIST框架，通过奇异值阈值化在紧凑中间空间中对局部适配器进行分解，实现数学上准确的聚合，同时保持通信和计算高效。

Comments 21 pages, 12 figures

Journal ref Ninth Conference on Machine Learning and Systems (MLSys 2026)

Compute Aligned Training: Optimizing for Test Time Inference

计算对齐训练：优化测试时间推断

Adam Ousherovitch, Ambuj Tewari

机构 * Department of Statistics（统计学系） ； University of Michigan（密歇根大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出计算对齐训练方法，通过将训练目标与测试时间策略对齐，提升大语言模型在测试时的推断性能。

Learning How to Cube

学习如何求立方

Ferhat Erata, Sam Kouteili, Thanos Typaldos, Timos Antonopoulos, Robert B. Jones, Byron Cook, Ruzica Piskac

机构 * Yale University（耶鲁大学） ； AWS Agentic AI（AWS智能体AI） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；SFT(abstract,abstract_cn)；post-training(abstract)；preference optimization(abstract)

AI总结 本文提出一种神经符号后训练框架，通过MCTS数据整理管道和符号启发式方法，使4B参数模型在SAT竞赛基准上取得53的pass@5分数，超越了Claude-Sonnet-4等前沿LLM。

Comments 33 pages, preprint

Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs

注意暂停：基于LLMs的多语言语音纠错中的不流畅意识目标调优

Deepak Kumar, Baban Gain, Asif Ekbal

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Indian Institute of Technology Patna（印度理工学院帕纳瓦） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出一种多语言语音纠错方法，通过序列标注器标记不流畅词并指导LLM指令微调，结合对比学习目标提升纠错可靠性，实验证明在印地语、孟加拉语和马拉地语上优于现有基线模型。

Comments Accepted to ACL 2026 (Main)

VC-Soup: Value-Consistency Guided Multi-Value Alignment for Large Language Models

VC-Soup：基于价值一致性指导的多价值对齐方法用于大语言模型

Hefei Xu, Le Wu, Yu Wang, Min Hou, Han Wu, Zhen Zhang, Meng Wang

机构 * Key Laboratory of Knowledge Engineering with Big Data（知识工程与大数据重点实验室） ； Hefei University of Technology（合肥工业大学） ； Innovation School of Artificial Intelligence（人工智能创新学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出VC-Soup方法，通过数据过滤和参数融合框架解决多价值对齐中的冲突问题，提升模型在多价值下的表现。

Comments 12 pages; Accepted to WWW2026

GFT: From Imitation to Reward Fine-Tuning with Unbiased Group Advantages and Dynamic Coefficient Rectification

GFT：从模仿到奖励微调：无偏组优势与动态系数校正

Wangjie Gan, Miao Pan, Linbo Xi, Wenqi Zhang, Jintao Chen, Jianwei Yin, Xuhong Zhang

机构 * OmniAl Group of ZJU ACES Lab（OMNIAL集团浙江大学ACES实验室） ； School of Software Technolog,Zhejiang University（浙江大学软件技术学院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出GFT框架，通过组优势学习和动态系数校正解决SFT的奖励稀疏性问题，提升模型泛化能力与知识注入效率。

Identifying the Achilles' Heel: An Iterative Method for Dynamically Uncovering Factual Errors in Large Language Models

找出阿基里斯之踵：一种用于动态揭示大语言模型事实错误的迭代方法

Wenxuan Wang, Yuk-Kit Chan, Zixuan Ling, Juluan Shi, Youliang Yuan, Jen-tse Huang, Yifei Zhang, Wenxiang Jiao, Zhaopeng Tu, Michael R. Lyu

机构 * Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong（香港中文大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳校区） ； Johns Hopkins University（约翰霍普金斯大学） ； Nanyang Technological University（南洋理工大学） ； Xiaohongshu Inc.（小红书公司） ； Tencent Inc.（腾讯公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出HalluHunter框架，通过知识图谱和规则基NLP技术，系统揭示大语言模型的事实错误，测试表明可触发55%的问题错误。

Comments Accepted by Findings of ACL 2026

Beyond I'm Sorry, I Can't: Dissecting Large Language Model Refusal

超越‘对不起，我不能’：剖析大语言模型拒绝行为

Nirmalendu Prakash, Yeo Wei Jie, Amir Abdullah, Ranjan Satapathy, Erik Cambria, Roy Ka Wei Lee

机构 * Social-AI-Studio 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究通过稀疏自编码器分析两个指令微调模型，揭示拒绝行为的内部机制，发现关键特征并展示如何通过可解释的潜在空间进行安全行为审计和干预。

IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning

IRIS：基于Rényi的迭代自博弈用于大语言模型微调

Wenjie Liao, Like Wu, Liangjie Zhao, Shihui Xu, Shigeru Fujimura

机构 * Graduate School of Information, Production and Systems（信息、生产与系统研究生院） ； Institute of Computing Technology, University of the Chinese Academy of Sciences（中国科学院大学计算技术研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 IRIS通过可调Rényi自博弈框架提升大语言模型微调效果，统一解释多种自博弈方法，实验表明其在少样本下优于传统监督微调。

TLoRA: Task-aware Low Rank Adaptation of Large Language Models

TLoRA：面向任务的大型语言模型低秩适应

Weicheng Lin, Yi Zhang, Jiawei Dang, Liang-Jie Zhang

机构 * College of Computer Science and Software Engineering, Shenzhen University, China（深圳大学计算机科学与软件工程学院，中国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 TLoRA通过联合优化初始化和资源分配，提升LoRA在不同任务中的性能，减少可训练参数数量。

Comments Accept to ACL 2026

SafeAnchor: Preventing Cumulative Safety Erosion in Continual Domain Adaptation of Large Language Models

SafeAnchor：在大语言模型连续领域适应中防止累积安全性侵蚀

Dongxin Guo, Jikun Wu, Siu Ming Yiu

机构 * The University of Hong Kong（香港大学） ； Brain Investing Limited 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 SafeAnchor通过识别低秩安全子空间并约束梯度更新，有效防止连续领域适应中的安全性侵蚀，实验显示其在多个领域任务中保持了较高的安全性对齐度。

Comments 16 pages (12 main + 4 appendix), 2 figures, 12 tables

Listen, Correct, and Feed Back: Spoken Pedagogical Feedback Generation

倾听、纠正与反馈：口语教学反馈生成

Junhong Liang, Yifan Lu, Ekaterina Kochmar, Fajri Koto

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出SPFG数据集，基于Speak & Improve 2025语料，结合流畅性转录与GEC目标及人工验证的教师风格反馈，评估三种LLM在生成纠错与反馈中的表现，发现SFT效果最佳，DPO/KTO效果不一致，纠错与反馈质量弱相关。

Comments NLP8506 course project

Enhancing Multimodal Large Language Models for Ancient Chinese Character Evolution Analysis via Glyph-Driven Fine-Tuning

通过字形驱动微调增强多模态大语言模型用于古汉字演变分析

Rui Song, Lida Shi, Ruihua Qi, Yingji Li, Hao Xu

机构 * College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院） ； Key Laboratory of Ancient Chinese Script, Culture Relics and Artificial Intelligence, Jilin University, China（吉林大学古文字、文物与人工智能重点实验室） ； School of Artificial Intelligence, Jilin University, China（吉林大学人工智能学院） ； School of Archaeology, Jilin University, China（吉林大学考古学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出GEVO框架，通过字形驱动微调提升多模态大语言模型在古汉字演变分析中的能力，实验显示模型在多个任务上均取得显著提升。

Comments Accepted by ACL 2026 main

TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models

TalkLoRA: 一种面向通信的低秩适应混合框架用于大语言模型

Lin Mu, Haiyang Wang, Li Ni, Lei Sang, Zhize Wu, Peiquan Jin, Yiwen Zhang

机构 * Anhui University（安徽大学） ； Hefei University（合肥大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 TalkLoRA通过引入专家间通信机制，提升LoRA在大语言模型中的参数效率和路由稳定性，实现在多种任务中更高效和均衡的专家路由。

Journal ref ACL 2026

DenseLoRA: Dense Low-Rank Adaptation of Large Language Models

DenseLoRA: 大型语言模型的密集低秩适应

Lin Mu, Xiaoyu Wang, Li Ni, Yang Li, Zhize Wu, Peiquan Jin, Yiwen Zhang

机构 * Anhui University（安徽大学） ； Hefei University（合肥大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 DenseLoRA通过引入密集低秩矩阵提升参数效率和性能，相比LoRA在多个基准测试中表现更优。

Journal ref ACL 2025

Routing-Based Continual Learning for Multimodal Large Language Models

基于路由的多模态大语言模型持续学习

Jay Mohta, Kenan Emir Ak, Gwang Lee, Dimitrios Dimitriadis, Yan Xu, Mingwei Shen

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于路由的持续学习方法，用于多模态大语言模型，有效缓解灾难性遗忘并提升跨模态迁移性能，同时保持训练效率。

Meta-Learning at Scale for Large Language Models via Low-Rank Amortized Bayesian Meta-Learning

通过低秩放大贝叶斯元学习实现大规模语言模型的规模化元学习

Liyi Zhang, Jake Snell, Thomas L. Griffiths

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ABMLL方法，通过低秩放大贝叶斯元学习实现大规模语言模型对多分布的适应，提升跨数据集泛化能力，并在CrossFit和Unified-QA数据集上优于现有方法。

Comments 17 pages, 2 figures

Table-LLM-Specialist: Language Model Specialists for Tables using Iterative Generator-Validator Fine-tuning

Table-LLM-Specialist: 用于表格任务的语言模型专家使用迭代生成-验证微调

Junjie Xing, Yeye He, Mengyu Zhou, Haoyu Dong, Shi Han, Dongmei Zhang, Surajit Chaudhuri

机构 * University of Michigan（密歇根大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 指令微调 ：LLM(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Table-LLM-Specialist，通过生成-验证框架实现表格任务的有效微调，无需人工标注数据，提升性能并降低部署成本。

Comments Full version of a paper in EMNLP 2025; code is available at: https://github.com/microsoft/Table-Specialist

LARFT: Closing the Cognition-Action Gap for Length Instruction Following in Large Language Models

LARFT：为大语言模型的长度指令跟随缩小认知-行动差距

Wei Zhang, Lintong Du, Yuanhe Zhang, Zhenhong Zhou, Kun Wang, Li Sun, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 LARFT通过结合强化学习与 hindsight 长度意识，提升大语言模型对输出长度的控制能力，在多个基准测试中取得显著提升。

Comments 19 pages, 6 figures

Only relative ranks matter in weight-clustered large language models

仅相对排名在权重聚类的大型语言模型中起作用

Borja Aizpurua, Sukhbinder Singh, Román Orús

机构 * Department of Basic Sciences, Tecnun - University of Navarra, San Sebasti\'an, Spain ； Donostia International Physics Center, San Sebasti\'an, Spain 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了大型语言模型中权重相对排名的重要性，通过权重聚类减少唯一权重值，实现模型压缩，同时保持准确性，并探讨了相对排名对模型质量的影响。

Comments 10 pages, 3 figures, 9 tables

Evontree: Ontology Rule-Guided Self-Evolution of Large Language Models

Evontree：基于本体规则的大型语言模型自进化

Mingchen Tu, Zhiqiang Liu, Juan Li, Liangyurui Liu, Junjie Wang, Lei Liang, Wen Zhang

机构 * Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Evontree方法，通过提取领域本体知识、检测不一致性和自蒸馏微调，提升低资源专业领域LLM的自进化能力，实验表明其在医疗问答基准上准确率提升达3.7%。

No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models

无记忆，无检测：基于输出分布的污染检测在小语言模型中

Omer Sela

机构 * Tel Aviv University（特拉维夫大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了基于输出分布的污染检测方法CDD在小语言模型中的有效性，发现其在多数情况下表现不佳，而基于概率的方法更优。

Comments Code available at https://github.com/Sela-Omer/Contamination-Detection-Small-LM

PVminerLLM: Structured Extraction of Patient Voice from Patient-Generated Text using Large Language Models

PVminerLLM: 从患者生成的文本中使用大语言模型进行结构化提取患者声音

Samah Fodeh, Linhai Ma, Ganesh Puthiaraju, Srivani Talakokkul, Afshan Khan, Ashley Hagaman, Sarah Lowe, Aimee Roundtree

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 PVminerLLM通过监督微调的大语言模型从患者生成的文本中提取结构化患者声音，实现高精度的F1分数，为健康公平性和护理协调提供新的分析工具。