语言大模型 / LLM

On Pre-training of Multimodal Language Models Customized for Chart Understanding

Wan-Cyuan Fan, Yen-Chun Chen, Mengchen Liu, Lu Yuan, Leonid Sigal

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2024 Workshop on Adaptive Foundation Models

TimeDiT: General-purpose Diffusion Transformers for Time Series Foundation Model

Defu Cao, Wen Ye, Yizhou Zhang, Yan Liu

专题命中 指令微调 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 31 Pages, 11 Figures, 22 Tables. First present at ICML 2024 Workshop on Foundation Models in the Wild

Language Models as Black-Box Optimizers for Vision-Language Models

Shihong Liu, Zhiqiu Lin, Samuel Yu, Ryan Lee, Tiffany Ling, Deepak Pathak, Deva Ramanan

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,comments)；prompting(abstract)；分类 cs.CL、cs.LG

Comments Published at CVPR 2024. Project site: https://llm-can-optimize-vlm.github.io/

KA2L: A Knowledge-Aware Active Learning Framework for LLMs

KA2L：一种面向大语言模型的基于知识的主动学习框架

Haoxuan Yin, Chen Tang, Yangfan Wang, Lian Yan, Jingchi Jiang

机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院） ； Institute for Advanced Algorithms Research（先进算法研究所） ； National Key Laboratory of Smart Farm Technologies（智能农业技术与系统国家重点实验室） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出KA2L框架，通过分析潜在空间评估LLM对特定知识的掌握程度，生成未知问题以提升模型能力，实验表明该方法能有效降低标注和计算成本，并在多个数据集上取得更好性能。

Comments 17 pages, 3 figures. Published in Expert Systems with Applications 333 (2027) 133951

Journal ref Expert Systems with Applications 333 (2027) 133951

DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval

DEPT：用于统一查询扩展与检索的文档嵌入保留调优

Jingyuan Wang, Richong Zhang, Zhijie Nie, Mingxin Li, Yanzhao Zhang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出DEPT方法，通过端到端训练单个仅解码器LLM实现统一查询扩展与检索，保留调优文档嵌入以解决移动目标问题，在BE基准数据集上提升了检索质量。

Training Small LLMs as Spatial Multi-Agent Policies

将小型大语言模型（LLM）训练为空间多智能体策略

Yi Mao, Andrew Perrault

专题命中 指令微调 ：LLM(title_cn,summary_cn)；分类 cs.LG

AI总结 该研究针对小型冻结LLM在空间合作博弈中表现不佳的问题，通过机械合成可行性守卫构建符号选项库，用PA-MAGRPO训练LoRA适配器，实现了小型LLM的有效多智能体策略，并揭示奖励与合作解耦，需结合行为评估。

Optimization and Constraint Modeling using LLMs with a Retrieval Augmented Generation Process

结合检索增强生成流程的大语言模型优化与约束建模

Prateek Roy, Akash Singirikonda

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出结合检索增强生成的大语言模型优化建模方法，通过合成数据集与检索指导提升Qwen 3 30B Instruct的优化建模准确率，为低成本部署LLM优化工具提供可行方案。

Comments 20 pages, 3 figures

CLIFT: Turning Gemini Robotics On-Device into Humanoid Specialists via Non-Invasive Closed-Loop Iterative Fine-Tuning

CLIFT：通过非侵入式闭环迭代微调将Gemini机器人端侧模型转化为人形机器人专家

Yuxin Chen, Hari Srikanth, Nathan Jew, Menglin Wu, Pengcheng Wang, Junli Ren, Masayoshi Tomizuka, Peng Xu, Jinyu Xie, Thomas Tian

机构 * University of California, Berkeley（加州大学伯克利分校） ； Google DeepMind（谷歌DeepMind） ； NVIDIA Research（英伟达研究院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本研究针对闭源机器人模型的托管式SFT API范式，提出CLIFT方法，在不访问模型内部机制的情况下，将Gemini机器人端侧模型经两次飞轮循环提升至接近完美的敏捷接触任务成功率。

HSS-Synth: Humanities and Social Sciences Data Synthesis for LLMs

HSS-Synth：面向大语言模型的人文社科数据合成

Ru Peng, Tianyu Zhao, Xijun Gu, Zhiting Fan, Haokai Xu, Jinyang Zhang, Yawen Zeng, Yihong Zhuang, Kexin Yang, Junyang Lin, Dayiheng Liu, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； Inclusion AI, Ant Group（蚂蚁集团Inclusion AI） ； Peking University（北京大学） ； Qwen Team, Alibaba Group（阿里巴巴集团通义千问团队） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文针对LLM的HSS数据稀缺问题，提出以学科为中心的HSS-Synth流水线，生成23.7万指令微调样本，使Qwen3-8B-Base达SOTA并提升相关能力。

Comments ACL Findings 2026 Paper

Enhancing Generative Information Extraction with Two-step Validation: A Product Attribute Use Case

通过两步验证增强生成式信息抽取：产品属性用例

Yi-Sheng Hsu, Nermeen Abou Baker, Uwe Handmann

机构 * Computer Science Institute, Ruhr West University of Applied Sciences（鲁尔西应用科学大学计算机科学学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对数字产品护照领域标注数据稀缺问题，提出集成PLM模块的两步验证生成式信息抽取方法，可提升LLM对低显著性实体的抽取性能，中型模型表现接近大型模型，最小型开源模型效果有限，还开发了对应演示应用。

Comments 13 pages

CHS-SQL: A Text-to-SQL approach based on Confidence-Guided Heuristic Search Schema Linking process

CHS-SQL：一种基于置信度引导启发式搜索模式链接过程的文本到SQL方法

Minghao Yang, Yanjun Xu

机构 * Hainan COSCO Shipping Technology Co., Ltd.（海南中远海运科技有限公司） 纠错

专题命中 指令微调 ：SLM(summary_cn,abstract)；language model(abstract)；small language model(abstract)；分类 cs.AI

AI总结 研究针对文本到SQL任务，提出CHS-SQL框架，在模式链接阶段结合模型内部置信度进行启发式搜索，平衡精确率和召回率，在SQL生成时进一步优化候选查询，避免局部最优，通过SLM取得了文本到SQL任务的最新成果。

Token-Level Entropy Reveals Demographic Disparities in Large Language Models

Token级熵揭示语言模型中的群体统计差异

Messi H. J. Lee

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(title)；分类 cs.CL

AI总结 通过测量零温度下全词汇香农熵，发现黑裔名字比白裔名字产生更高的首token熵，且女性名字比男性名字产生更低的熵和更同质的输出，种族和性别效应可加，指令微调未减弱种族差距，显式群体标签探测无显著种族效应。

Comments 25 pages

Psyche-R1: Towards Reliable Psychological LLMs through Unified Empathy, Expertise, and Reasoning

Psyche-R1：通过统一的同理心、专业知识和推理实现可靠的心理语言模型

Chongyuan Dai, Jinpeng Hu, Hongchang Shi, Zhuo Li, Dan Guo, Xun Yang, Meng Wang

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究旨在将大语言模型应用于心理领域，提出Psyche-R1模型。通过设计数据合成管道生成大量心理问题及对话，采用混合训练策略，经实验验证该模型在多个心理基准测试中有效，7B的Psyche-R1能取得与671B的DeepSeek-R1相当的结果。

Comments ACL 2026

Graph Representation Learning Augmented Model Manipulation on Federated Fine-Tuning of LLMs

图表示学习增强的模型操纵在联邦微调大型语言模型中的应用

Hanlin Cai, Kai Li, Houtianfu Wang, Haofan Dong, Yichen Li, Falko Dressler, Ozgur B. Akan

机构 * Centre for neXt Communications (CXC), Department of Engineering, University of Cambridge（下一代通讯中心（CXC），工程系，剑桥大学） ； Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（安全、可靠与信任跨学科中心（SnT），卢森堡大学） ； Telecommunication Networks group (TKN) at the School of Electrical Engineering and Computer Science, TU Berlin（电信网络组（TKN）位于电气工程与计算机科学学院，柏林技术大学） ； Center for neXt-Generation Communications (CXC), Department of Electrical and Electronics Engineering, Koç University（下一代通讯中心（CXC），电子与电气工程系，科克大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出AugMP策略，通过图表示学习框架和迭代操纵算法，增强对抗性更新的有效性和隐蔽性，实验表明其能显著降低全局LLM准确率。

ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces

ZO-Act: 通过一次性激活信息低秩子空间实现高效零阶微调

Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

机构 * University at Albany, SUNY（纽约州立大学奥尔巴尼分校） ； IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出ZO-Act方法，利用输入激活构建固定低秩子空间，仅优化系数矩阵，降低扰动维度并支持Adam优化器，实现高效零阶微调，在多个LLM上取得一致提升。

Beyond Clean Text: Evaluating Encoder and Decoder Robustness for Bangla Event Detection in Noisy Text

超越干净文本：评估编码器和解码器在孟加拉语噪声文本事件检测中的鲁棒性

Tanvir Ahmed Sijan, S. M Golam Rifat, Nayeemul Islam, Md. Musfique Anwar

机构 * Jahangirnagar University（贾汉吉尔纳加尔大学） ； Rajshahi University of Engineering & Technology（拉杰沙希工程技术大学） ； Bangladesh University of Engineering and Technology（孟加拉国工程技术大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 针对孟加拉语事件检测在噪声文本中的鲁棒性问题，构建含9,979句标注的基准数据集，系统评估编码器模型（BanglaBERT、XLM-R）与解码器LLM（Llama 3、Gemma 3），发现解码器模型鲁棒性更强，而编码器模型在干净文本上表现更好但受噪声影响大。

Comments 17 pages, 8 figures

Qwen-AgentWorld: Language World Models for General Agents

Qwen-AgentWorld: 通用智能体的语言世界模型

Yuxin Zuo, Zikai Xiao, Li Sheng, Fei Huang, Jianhong Tu, Yuxuan Liu, Tianyi Tang, Xiaomeng Hu, Yang Su, Qingfeng Lan, Yantao Liu, Qin Zhu, Yinger Zhang, Bowen Yu, Haiquan Zhao, Haiyang Xu, Jianxin Yang, Jiayang Cheng, Junyang Wang, Lianghao Deng, Mingfeng Xue, Tianyi Bai, Yang Fan, Yubo Ma, Yucheng Li, Zeyu Cui, Zhihai Wang, Zhihui Xie, Zhuorui Ye, An Yang, Dayiheng Liu, Jingren Zhou, Ning Ding

机构 * Qwen Team（Qwen团队） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL

AI总结 提出基于语言模型的世界模型Qwen-AgentWorld，通过三阶段训练（CPT、SFT、RL）模拟7个领域的智能体环境，并构建AgentWorldBench基准，实验表明其显著优于现有模型，且能作为环境模拟器和智能体基础模型提升下游性能。

Social Structure Matters in 3D Human-Human Interaction Generation

社会结构在三维人-人交互生成中的重要性

Zhongju Wang, Beier Wang, Yatao Bian, Pichao Wang, Zhi Wang, Daoyi Dong, Hongdong Li, Huadong Mo, Zhenhong Sun

机构 * University of New South Wales（新南威尔士大学） ； National University of Singapore（新加坡国立大学） ； NVIDIA（英伟达） ； Nanjing University（南京大学） ； University of Technology Sydney（悉尼科技大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Solo-to-Social框架，利用LLM规划社会结构（阶段分解、角色分配）并指导运动执行器生成协调的双人3D运动，解决文本驱动的人-人交互生成问题。

Toward Open Weight Models Without Risks: Separating Public and Private Capabilities in LLMs

迈向无风险的开源权重模型：在LLM中分离公共与私有能力

Charbel El Feghali, Arkil Patel, Nicholas Meade, Spandana Gella, Verna Dankers, Siva Reddy

机构 * Mila and McGill University（Mila和麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） ； ServiceNow Research（ServiceNow研究） ； McGill-NLP/tiered-language-models（麦吉尔-自然语言处理/分层语言模型） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出层级语言模型（TLM），通过单一权重集和秘密密钥实现多级能力控制，公共配置保持基础能力，密钥配置解锁私有能力，抵抗微调提取和密钥部分泄露。

Comments Preprint. 28 pages

Speaker Verification with Speech-Aware LLMs: Evaluation and Augmentation

语音感知大语言模型的说话人验证：评估与增强

Thomas Thebaud, Yuzhe Wang, Laureano Moro-Velazquez, Jesus Villalba-Lopez, Najim Dehak

机构 * Electrical and Computer Engineering Department, Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学电气与计算机工程系） ； Human Language Technology Center of Excellence, Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学人机语言技术中心卓越中心） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出模型无关的评分协议评估语音感知LLM的说话人区分能力（EER>20%），并通过注入冻结的ECAPA-TDNN说话人嵌入和LoRA微调，实现接近专用系统的性能（EER 1.03%）。

Comments 3 Tables, 1 Figure, Published in Interspeech 2026

MolE-RAG: Molecular Structure-Enhanced Retrieval-Augmented Generation for Chemistry

MolE-RAG：面向化学的分子结构增强检索增强生成

Joey Chan, Wonbin Kweon, Ashley Shin, Niharika Bhattacharjee, Pengcheng Jiang, Yue Guo, Jiawei Han

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出无需训练的分子中心检索增强生成框架MolE-RAG，通过整合检索文献、分子特定信息和结构相似分子三种上下文，显著提升LLM在分子性质预测任务中的性能。

3D-RFT: Reinforcement Fine-Tuning for Video-based 3D Scene Understanding

3D-RFT：基于视频的3D场景理解的强化微调

Xiongkun Linghu, Jiangyong Huang, Baoxiong Jia, Siyuan Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出3D-RFT框架，将可验证奖励的强化学习（RLVR）扩展到视频3D感知与推理，通过直接优化评估指标（如3D IoU和F1分数）提升性能，4B模型超越8B模型。

Comments Accepted at ICML 2026. Project page: https://3d-rft.github.io/

EiCAP: Beyond Fluency, Probing and Improving Emotional Intelligence in LLMs via Psychologically Grounded Multi-Turn Dialogue

EiCAP：超越流畅性，通过心理学基础的多轮对话探究和提升大语言模型的情感智能

Nizi Nazar, Pardis Sadat Zahraei, Dilek Hakkani-Tür, Natasa Milic-Frayling, Ehsaneddin Asgari

机构 * Qatar Computing Research Institute (QCRI), Hamad Bin Khalifa University（卡塔尔计算研究所（QCRI），哈马德·本·卡伊夫大学） ； University of Illinois Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于心理学六层情感智能分类法的EiCAP框架，包含评估基准EiCAP-Bench和微调语料EiCAP-SFT，发现通用对话微调不提升情感智能，而基于情感智能的LoRA微调显著提升模型在所有24个子类别上的表现。

EstRTL: Functional Estimation Guided RTL Code Generation

EstRTL：功能估计引导的RTL代码生成

Qi Xiong, Renzhi Chen, Bowei Wang, Yuqing Xiong, Libo Huang, Lei Wang

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； Defense Innovation Institute, Academy of Military Science (AMS)（军事科学院创新院） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； Key Laboratory of Advanced Microprocessor Chips and Systems, Changsha, China, and College of Computer Science and Technology, National University of Defense Technology, Changsha, China（先进微处理器芯片与系统重点实验室，长沙，中国，和国防科技大学计算机科学与技术学院，长沙，中国） ； Defense Innovation Institute, AMS, Beijing, China and Qiyuan Lab, Beijing, China（军事科学院创新院，北京，中国和启元实验室，北京，中国） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出EstRTL框架，通过静态功能评分估计，结合生成、评估和修正三阶段范式，提升LLM生成RTL代码的功能正确性，在通用LLM上正确率提升3.2%-9.0%。

What Really Matters for Table LLMs? A Meta-Evaluation of Model and Data Effects

表格LLM真正重要的是什么？模型与数据影响的元评估

Naihao Deng, Sheng Zhang, Henghui Zhu, Shuaichen Chang, Jiani Zhang, Alexander Hanbo Li, Chung-Wei Hang, Hideo Kobayashi, Yiqun Hu, Patrick Ng

机构 * University of Michigan（密歇根大学） ； AWS AI Labs（AWS人工智能实验室） ； Figma ； OKX ； Google（谷歌） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；foundation model(abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 通过指令微调12个模型并在16个基准上评估，发现基座模型选择比训练数据对性能影响更大，泛化与推理仍是挑战。

Comments EACL 2026 Findings

CacheRAG: A Semantic Caching System for Retrieval-Augmented Generation in Knowledge Graph Question Answering

CacheRAG：面向知识图谱问答中检索增强生成的语义缓存系统

Yushi Sun, Lei Chen

机构 * HKUST Hong Kong China（香港理工大学（中国）） ； HKUST(GZ) / HKUST Guangzhou / Hong Kong China (2018)（香港理工大学（广州）/ 香港理工大学（广州）/ 香港中国（2018）） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对LLM驱动的KGQA系统作为无状态规划器导致模式幻觉和检索覆盖有限的问题，提出CacheRAG，一种基于缓存的架构，通过模式无关接口、多样性优化缓存检索和有界启发式扩展，将无状态规划器转变为持续学习器，显著提升准确性和真实性。

MOSS-Audio Technical Report

MOSS-Audio 技术报告

Chen Yang, Chufan Yu, Hanfu Chen, Jie Zhu, Jingqi Chen, Ke Chen, Wenxuan Wang, Yang Wang, Yaozhou Jiang, Yi Jiang, Zhengyuan Lin, Ziqi Chen, Zhaoye Fei, Chenghao Liu, Donghua Yu, Jun Zhan, Kang Yu, Kexin Huang, Liwei Fan, Mingshu Chen, Qinyuan Cheng, Ruixiao Li, Shimin Li, Songlin Wang, Xingjian Zhao, Yang Gao, Yitian Gong, Yiyang Zhang, Zhe Xu, Xipeng Qiu

机构 * OpenMOSS Team（开放MOSS团队） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出统一音频-语言模型 MOSS-Audio，通过 DeepStack 跨层特征注入和时间标记实现语音、环境声和音乐的理解，在音频字幕、时间感知问答、时间戳转录和音频推理任务上取得强性能。

Multilingual Long-Form Speech Instruction Following: KIT's Submission to IWSLT 2026

多语言长篇语音指令跟随：KIT 在 IWSLT 2026 的提交

Enes Yavuz Ugan, Maike Züfle, Yuka Ko, Supriti Sinhamahapatra, Fabian Retkowski, Seymanur Akti, Jan Niehues, Alexander Waibel

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种通用数据增强流水线，通过片段拼接、LLM标签生成和跨语言翻译将短语音语料转换为长语音训练数据，结合似然与最小贝叶斯风险解码解决长语音语义任务退化问题。

Comments 9 pages main paper, IWSLT 2026 Instruction Following track

Improving Small Language Models for Code Generation with Reinforcement Learning from Verification Feedback

通过验证反馈的强化学习改进用于代码生成的小型语言模型

Egor Skopin, Evgeny Kotelnikov

机构 * Vyatka State University（沃伊亚提卡州立大学） ； European University at St. Petersburg（圣彼得堡欧洲大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title)；分类 cs.CL

AI总结 本研究通过基于验证奖励的强化学习（RLVR）结合LoRA微调，在MBPP基准上对小型语言模型（Qwen3-0.6B和Llama3.2-1B）进行Python代码生成实验，发现奖励设计对功能正确性和行为诊断有显著影响，并提出组合奖励可稳定权衡正确性与风格约束。

Comments Accepted for AINL-2026 conference

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

学习零阶优化器以微调大语言模型

Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出一种基于学习的零阶优化器ZO-Finetuner，通过紧凑且内存高效的设计自动学习高效扰动策略，实现大语言模型微调时避免反向传播并降低内存开销，在4个LLM和7个数据集上82.1%的任务-模型组合中优于现有零阶基线方法。

Comments ICML 2026