语言大模型 / LLM

Talking to Yourself: Defying Forgetting in Large Language Models

与自己对话：在大型语言模型中克服遗忘

Yutao Sun, Mingshuai Chen, Tiancheng Zhao, Phillip Miao, Zilun Zhang, Haozhan Shen, Ruizhe Zhu, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江学院） ； Om AI Research（奥姆人工智能研究） ； Stanford University（斯坦福大学） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

AI总结 本文提出SA-SFT方法，通过让LLM生成自我对话来缓解微调过程中的灾难性遗忘，提升领域性能并优于现有基线方法。

A Survey on Federated Fine-tuning of Large Language Models

大型语言模型联邦微调综述

Yebo Wu, Chunlin Tian, Jingguang Li, He Sun, Kahou Tam, Zhanting Zhou, Haicheng Liao, Jing Xiong, Zhijiang Guo, Li Li, Chengzhong Xu

机构 * State Key Laboratory of IOTSC, University of Macau（物联网科学与技术国家重点实验室，澳门大学） ； University of Electronic Science and Technology of China（电子科技大学） ； The University of Hong Kong（香港大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文综述了大型语言模型联邦微调的技术、挑战与应用，旨在为隐私保护AI的发展提供指导。

Comments Accepted by Transactions on Machine Learning Research (TMLR), 2026

Recursive Self-Aggregation Unlocks Deep Thinking in Large Language Models

递归自聚合解锁大语言模型的深度思考

Siddarth Venkatraman, Vineet Jain, Sarthak Mittal, Vedant Shah, Johan Obando-Ceron, Yoshua Bengio, Brian R. Bartoldson, Bhavya Kailkhura, Guillaume Lajoie, Glen Berseth, Nikolay Malkin, Moksh Jain

机构 * Mila – Québec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； LawZero（法零） ； LLNL（劳伦斯利弗莫尔国家实验室） ； University of Edinburgh（爱丁堡大学） ； CIFAR AI Chair（CIFAR人工智能 chair） ； CIFAR Fellow 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG；LLM(comments)

AI总结 递归自聚合通过结合并行与顺序缩放方法，提升大语言模型的推理能力，实验证明其在多个任务中优于传统方法。

Comments 23 pages, 10 figures. Project page: https://rsa-llm.github.io/

Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA

通过稀疏和正交LoRA实现无线联邦多任务大语言模型微调

Nuocheng Yang, Sihua Wang, Ouwen Huan, Mingzhe Chen, Tony Q. S. Quek, Changchuan Yin

机构 * Beijing Laboratory of Advanced Information Network（北京先进信息网络实验室） ； Beijing Key Laboratory of Network System Architecture and Convergence（北京网络系统架构与融合重点实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Department of Electrical and Computer Engineering and Institute for Data Science and Computing（电气与计算机工程系和数据科学与计算研究所） ； University of Miami（迈阿密大学） ； Information Systems Technology and Design Pillar（信息系统技术与设计支柱） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出稀疏和正交LoRA方法，通过去中心化联邦学习解决多任务大语言模型微调中的知识遗忘、通信效率和推理干扰问题，实验显示通信消耗降低73%，性能提升5%。

Comments 13 pages, 5 figures

CARE: An Explainable Computational Framework for Assessing Client-Perceived Therapeutic Alliance Using Large Language Models

CARE：基于大语言模型的可解释计算框架，用于评估客户端感知的治疗联盟

Anqi Li, Chenxiao Wang, Yu Lu, Renjun Xu, Lizhi Ma, Zhenzhong Lan

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Department of Psychology, Jing Hengyi School of Education, Hangzhou Normal University（心理系，金恒毅教育学院，杭州师范大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

AI总结 CARE基于大语言模型，通过生成可解释的推理原因，提升对咨询中治疗联盟感知的评估准确性与实用性。

Comments 14 pages, 4 figures

PRECTR-V2:Unified Relevance-CTR Framework with Cross-User Preference Mining, Exposure Bias Correction, and LLM-Distilled Encoder Optimization

PRECTR-V2:一种结合跨用户偏好挖掘、曝光偏差校正和LLM蒸馏编码器优化的统一相关性-CTR框架

Shuzhi Cao, Rong Chen, Ailong He, Shuguang Han, Jufeng Chen

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract)；分类 cs.AI

AI总结 PRECTR-V2通过跨用户偏好挖掘、曝光偏差校正和LLM蒸馏编码器优化，解决搜索系统中相关性匹配与CTR预测的一致性问题。

Comments arXiv admin note: text overlap with arXiv:2503.18395

Do We Need Adam? Surprisingly Strong and Sparse Reinforcement Learning with SGD in LLMs

我们是否需要Adam？在LLMs中使用SGD的 surprisingly 强大且稀疏的强化学习

Sagnik Mukherjee, Lifan Yuan, Pavan Jayasinha, Dilek Hakkani-Tür, Hao Peng

机构 * University of at Illinois, Urbana-champaign, USA（伊利诺伊大学厄巴纳-香槟分校） ； University of Waterloo, Ontario, Canada（滑铁卢大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；SFT(abstract)

AI总结 本文发现SGD在LLMs强化学习中表现优于AdamW，且更新稀疏性显著，挑战了传统优化方法的普遍认知。

Silent Inconsistency in Data-Parallel Full Fine-Tuning: Diagnosing Worker-Level Optimization Misalignment

数据并行全微调中的沉默不一致：诊断工作级别优化不一致

Hong Li, Zhen Zhou, Honggang Zhang, Yuping Luo, Xinyue Wang, Han Gong, Zhiyuan Liu

机构 * School of Transportation Southeast University（交通学院东南大学） ； Department of Logistics and Maritime Studies The Hong Kong Polytechnic University（物流与海运研究部香港理工大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种轻量诊断框架，用于检测数据并行微调中工作级别优化的不一致问题，通过损失分散度、梯度范数分散度和方向一致性指标，揭示隐藏的不稳定性模式。

Comments 9 pages, 8 figures

LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts

LD-MoLE: 可学习动态路由用于LoRA专家混合

Yuan Zhuang, Yi Shen, Yuexin Bian, Qing Su, Shihao Ji, Yuanyuan Shi, Fei Miao

机构 * University of Connecticut（康涅狄格大学） ； University of Pennsylvania（宾夕法尼亚大学） ； University of California San Diego（圣地亚哥大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LD-MoLE通过可学习动态路由机制实现自适应的token依赖和层间专家分配，提升大型语言模型在下游任务中的性能。

Comments International Conference on Learning Representations (ICLR 2026)

ID-LoRA: Efficient Low-Rank Adaptation Inspired by Matrix Interpolative Decomposition

ID-LoRA: 基于矩阵插值分解的高效低秩适应

Xindian Ma, Rundong Kong, Peng Zhang, Ruoxiang Huang, Yongyu Jiang

机构 * Tianjin University（天津大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ID-LoRA通过基于矩阵插值分解的低秩适应方法，在减少可训练参数的同时保持模型容量，优于现有PEFT技术。

CryoLVM: Self-supervised Learning from Cryo-EM Density Maps with Large Vision Models

CryoLVM: 从冷冻电镜密度图中利用大视觉模型进行自监督学习

Weining Fu, Kai Shu, Kui Xu, Qiangfeng Cliff Zhang

机构 * State Key Laboratory of Membrane Biology, Beijing Frontier Research Center of Biological Structures, Tsinghua-Peking Joint Center for Life Sciences, School of Life Sciences, Tsinghua University, Beijing, China（膜生物学国家重点实验室，北京生物结构前沿研究中心，清华-北大联合生命科学中心，生命科学学院，清华大学，北京，中国） ； State Key Laboratory of Membrane Biology-Membrane Structure and Artificial Intelligence Biology Branch,Hangzhou, China（膜生物学国家重点实验室-膜结构与人工智能生物学分支，杭州，中国） ； State Key Laboratory of Membrane Biology, Beijing Tsinghua Institute for Frontier Interdisciplinary Innovation, Beijing, China（膜生物学国家重点实验室，北京清华大学前沿交叉创新研究院，北京，中国） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 CryoLVM通过自监督学习从冷冻电镜密度图中提取结构信息，结合JEPA与SCUNet实现高效适应多种下游任务，提升密度图处理性能。

FinAnchor: Aligned Multi-Model Representations for Financial Prediction

FinAnchor：用于金融预测的对齐多模型表示

Zirui He, Huopu Zhang, Yanguang Liu, Sirui Wu, Mengnan Du

机构 * New Jersey Institute of Technology（新泽西理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL

AI总结 FinAnchor通过整合多个LLM的嵌入并对齐到锚定空间，提升金融预测的鲁棒性与性能。

Comments 11 pages, 4 figures, 5 tables

Not Just What's There: Enabling CLIP to Comprehend Negated Visual Descriptions Without Fine-tuning

不只是存在与否：无需微调即可使CLIP理解否定性视觉描述

Junhao Xiao, Zhiyu Wu, Hao Lin, Yi Chen, Yahui Liu, Xiaoran Zhao, Zixu Wang, Zejiang He

专题命中 指令微调 ：language model(abstract)

AI总结 CLIPGlasses通过双阶段设计提升CLIP对否定性视觉描述的理解能力，无需微调，增强跨领域泛化性能。

IG-RFT: An Interaction-Guided RL Framework for VLA Models in Long-Horizon Robotic Manipulation

IG-RFT: 一种基于交互引导的强化学习框架用于长时域机器人操作中的VLA模型

Zhian Su, Weijie Kong, Haonan Dong, Huixu Dong

机构 * Grasp Laboratory, Mechanical Engineering Department, Zhejiang University（浙江大学机械工程学院抓取实验室） ； Torch Kernel Co., Ltd.（火炬核科技有限公司） 纠错

专题命中 指令微调 ：SFT(abstract)

AI总结 IG-RFT通过交互引导强化学习框架提升VLA模型在长时域机器人任务中的性能，实现85%的成功率，优于传统方法。