语言大模型 / LLM

Graph-oriented Instruction Tuning of Large Language Models for Generic Graph Mining

面向通用图挖掘的大语言模型图导向指令微调

Yanchao Tan, Hang Lv, Pengxiang Zhan, Shiping Wang, Carl Yang

机构 * Engineering Research Center of Big Data Intelligence, Ministry of Education（教育部大数据智能工程研究中心） ； Fujian Key Laboratory of Network Computing and Intelligent Information Processing（福建省网络计算与智能信息处理重点实验室） ； College of Computer and Data Science, Fuzhou University（福州大学计算机与数据科学学院） ； Department of Computer Science, Emory University（埃默里大学计算机科学系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；LLM(summary_cn,abstract_cn)

AI总结 提出MuseGraph框架，通过紧凑图描述、基于思维链的指令生成和图感知指令微调，将GNN与LLM结合，实现跨任务和数据集的高效图挖掘。

Comments Accepted by TPAMI 2025

Journal ref IEEE Trans. Pattern Anal. Mach. Intell., vol. 48, no. 1, pp. 155-169, Jan. 2026

EditCaption: Human-Refined SFT and HAE-DPO for Image Editing Instruction Synthesis

EditCaption: 用于图像编辑指令合成的人工精炼SFT与HAE-DPO

Xiangyuan Wang, Honghao Cai, Yunhao Bai, Chao Hui, Tianze Zhou, Haohua Chen, Hao Shi, Yuling Wu, Yao Hu, Xu Tang, Yibo Chen, Wei Zhu

机构 * Peking University（北京大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； Beihang University（北京航空航天大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出EditCaption两阶段后训练流程，通过人工精炼SFT和基于难度自适应错误感知DPO（HAE-DPO）提升图像编辑指令合成质量，显著降低关键错误率并超越现有模型。

BEAR: Towards Beam-Search-Aware Optimization for Recommendation with Large Language Models

BEAR：面向大语言模型推荐中束搜索感知的优化

Weiqin Yang, Bohao Wang, Zhenxiang Xu, Jiawei Chen, Shengjia Zhang, Jingbang Chen, Canghong Jin, Can Wang

机构 * Zhejiang University（浙江大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Hangzhou City University（杭州市城市大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；LLM(abstract_cn)

AI总结 针对监督微调与束搜索推理之间的不一致性，提出BEAR正则化方法，通过确保正例每个token在解码步骤中排名前B来避免过早剪枝，显著提升推荐性能。

Comments Accepted by SIGIR 2026

Distilling Game Code World Model Generation into Lightweight Large Language Models

将游戏代码世界模型生成蒸馏到轻量级大型语言模型

Tyrone Serapio, Arjun Prakash, Haoyang Xu, Kevin Wang, Amy Greenwald

机构 * Brown University（布朗大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 研究通过后训练将游戏代码世界模型生成能力蒸馏到小型模型，采用监督微调和带可验证奖励的强化学习提升生成代码的语法正确性和规则遵循性。

VaaWIT: Visual-Aware Adaptation of Large Language Models for Multilingual Web Image Translation

VaaWIT: 面向多语言网页图像翻译的大语言模型视觉感知适配

Bo Li, Ronghao Chen, Ningyuan Deng, Huacan Wang, Shaolin Zhu, Lijie Wen

机构 * The Hong Kong University of Science（香港科技大学） ； Tianjin University（天津大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对网页图像翻译中视觉表示差距问题，提出VaaWIT框架，通过双流注意力模块和视觉感知适配器，实现大语言模型对细粒度视觉特征的动态融合，在多个基准上超越开源模型并接近闭源模型性能。

Comments Accepted by KDD 2026

Data Difficulty and the Generalization--Extrapolation Tradeoff in LLM Fine-Tuning

数据难度与LLM微调中的泛化-外推权衡

Siyuan Liu, Tinghong Chen, Xinghan Li, Yifei Wang, Jingzhao Zhang

机构 * IIIS, Tsinghua University（清华大学人工智能学院） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Amazon AGI SF Lab（亚马逊AGI旧金山实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文通过实证和理论分析，研究了监督微调中数据难度对模型行为的影响，发现数据难度与数据量共同决定泛化与外推之间的权衡，并存在最优难度随数据量增加而向更难数据偏移的规律。

Comments Accepted to ICML 2026

Memorize Theorems, Not Instances: Probing SFT Generalization through Mathematical Reasoning

记忆定理而非实例：通过数学推理探究SFT泛化

Ruiying Peng, Mengyu Yang, Jing Lei, Xiaohui Li, Xueyu Wu, Xinlei Chen

机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； Huawei Technologies（华为技术） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.AI、cs.LG

AI总结 针对监督微调（SFT）损害推理泛化的问题，提出Theorem-SFT方法，通过显式定理应用训练，在多个基准上取得显著提升，并揭示前馈层是推理规则的主要存储位置。

Bilevel Optimization of Synthetic Trajectories for Multi-Turn LLM Fine-Tuning

用于多轮LLM微调的合成轨迹的双层优化

Shresth Verma, Mauricio Tec, Cheol Woo Kim, Kai Wang, Milind Tambe

机构 * Harvard University（哈佛大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出BOOST双层优化框架，通过内层加权训练和外层轻量级重加权头学习，解决合成轨迹质量异质性导致的LLM多轮交互性能下降问题。

Truthful Online Preference Aggregation for LLM Fine-Tuning in Mobile Crowdsourcing

移动众包中用于LLM微调的诚实在线偏好聚合

Shugang Hao, Lingjie Duan

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对移动众包中工人可能策略性谎报偏好反馈的问题，提出一种动态贝叶斯博弈模型和在线加权聚合机制，确保工人诚实反馈并实现次线性遗憾。

Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models

越狱以保护：通过临时越狱进行缓冲和强化以实现大型语言模型的安全微调

Seokil Ham, Jaehyuk Jang, Wonjun Lee, Changick Kim

机构 * School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电子工程学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对微调即服务中安全对齐被有害微调攻击削弱的问题，提出一种基于梯度分析的缓冲与强化框架，通过临时越狱适配器减少有害更新并利用QR分解合并强化安全，实现无需额外安全数据的高效防御。

Comments ICML 2026 Spotlight

SLAP: Stratified Loss-based Pruning for On-Policy Data-Efficient Instruction Tuning

SLAP: 基于分层损失剪枝的在线策略数据高效指令微调

Run Zou, Jianhang Ding, Yifan Ding, Wen Wu, Hao Chen, Renshu Gu

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） ； Hangzhou Lingju Intelligence AI Lab（杭州灵居智能AI实验室） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(summary_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SLAP框架，通过分布感知分层采样和相对距离优化实现批次级数据选择，在减少20-40%训练数据的同时保持或提升LLM性能。

Comments 15 pages, 10 figures

Squeezing Capacity from Multimodal Large Language Models for Subject-driven Generation

从多模态大语言模型中榨取能力用于主题驱动生成

Shuhong Zheng, Aashish Kumar Misraa, Yu-Teng Li, Yu-Jhe Li, Igor Gilitschenski

机构 * University of Toronto & Vector Institute（多伦多大学及向量研究所） ； Adobe（Adobe公司） ； Google（谷歌公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出一种结合多模态大语言模型和VAE身份条件的方法，通过双层级聚合模块和多阶段去噪策略，在主题驱动图像生成中实现多模态理解与身份保持的平衡，优于现有方法。

Comments 33 pages, 18 figures, Project Page: https://zsh2000.github.io/squeeze-mllm-subject-gen/

Integrating Structural and Semantic Signals in Text-Attributed Graphs with BiGTex

在文本属性图中整合结构信号与语义信号：BiGTex

Azadeh Beiranvand, Seyed Mehdi Vahidipour

机构 * Faculty of Electrical and Computer Engineering, University of Kashan（卡尚大学电气与计算机工程学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出BiGTex架构，通过堆叠图-文本融合单元实现GNN与LLM的双向注意力，以参数高效微调（LoRA）在节点分类和链接预测任务上达到最优性能。

Comments 26 pages, 4 figures

Journal ref Machine Learning with Applications 24 (2026) 100921

FLoRIST: Singular Value Thresholding for Efficient and Accurate Federated Fine-Tuning of Large Language Models

FLoRIST: 用于高效准确的大语言模型联邦微调的奇异值阈值化方法

Hariharan Ramesh, Jyotikrishna Dass

机构 * Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出FLoRIST框架，通过奇异值阈值化在紧凑中间空间中对局部适配器进行分解，实现数学上准确的聚合，同时保持通信和计算高效。

Comments 21 pages, 12 figures

Journal ref Ninth Conference on Machine Learning and Systems (MLSys 2026)

PALoRA: Projection-Adaptive LoRA for Preserving Reasoning in Large Language Models

PALoRA: 投影自适应LoRA以保持大型语言模型的推理能力

Mustafa Hayri Bilgin, Mariam Barry, Albert Bifet, Azzedine Idir Ait Said, Soumya Banerjee

机构 * IT Group, Research, BNP Paribas（BNP巴黎研究院IT部门） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工大学LTCI研究所） ； AI Institute, University of Waikato（瓦卡托大学人工智能研究所） ； Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出PALoRA框架，通过奇异值微调（SVF）识别推理关键成分，并在正交约束下使用LoRA注入知识，以在保持推理能力的同时高效更新事实知识。

Fine-Tuning Language Models to Know What They Know

微调语言模型使其了解自身所知

Sangjun Park, Elliot Meyerson, Xin Qiu, Risto Miikkulainen

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Cognizant AI Lab（认知人工智能实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种框架，通过进化策略对齐方法（ESMA）在控制偏差的同时提升大语言模型的元认知能力，并在未见数据集、语言和新知识上展现出鲁棒泛化性。

Comments Preprint

Towards end-to-end LLM-based censoring-aware survival analysis

面向端到端基于大语言模型的删失感知生存分析

Yishu Wei, Hexin Dong, Yi Lin, Jiahe Qian, Yi Liu, Yifan Peng

机构 * Department of Population Health Science, Weill Cornell Medicine（人口健康科学系，韦尔·科恩医学中心） ； Weill Cornell Medicine（韦尔·科恩医学中心） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出LLMSurvival框架，通过成对排序重制定时间事件预测，实现删失感知的生存分析，在ICU死亡率和骨折风险预测中优于Cox比例风险模型和三种深度学习模型。

Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning

Prism：面向可扩展多模态持续指令微调的插件式可复现基础设施

Jun-Tao Tang, Yu-Cheng Shi, Zhen-Hao Xie, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对多模态持续指令微调中工程瓶颈问题，提出Prism插件式代码库，通过轻量级插件注册机制分离算法开发与骨干实现，支持大规模训练流水线，实现可复现、可扩展的实验。

Comments Code is available at https://github.com/LAMDA-CL/Prism

ARES: Automated Rubric Synthesis for Scalable LLM Reinforcement Learning

ARES: 面向可扩展大语言模型强化学习的自动评分标准合成

Xiaoyuan Li, Keqin Bao, Moxin Li, Yubo Ma, Yichang Zhang, Wenjie Wang, Fuli Feng, Dayiheng Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Alibaba Group（阿里巴巴集团） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出ARES框架，从原始预训练文档自动生成问答对和实例级加权评分标准，用于可扩展的基于评分标准的强化学习，在多个开放任务上超越持续预训练、监督微调和二元奖励强化学习。

Comments Under Review

Reflect-Guard: Enhancing LLM Safeguards against Adversarial Prompts via Logical Self-Reflection

Reflect-Guard: 通过逻辑自我反思增强大语言模型对对抗性提示的防护

Lixing Lin, Juli You, Yue Li, Luyun Lin, Yiqing Wang, Zhen Zhang, Moxuan Zheng

机构 * Yale University（耶鲁大学） ； Columbia University（哥伦比亚大学） ； Citigroup（摩根大通） ； Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Reflect-Guard方法，通过参数高效微调为大语言模型安全分类器注入链式思维自我反思能力，显著提升对对抗性越狱攻击的检测性能。

Comments 12 pages, 2 figures, and 4 tables

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

具有预测性提示和负学习的可泛化视觉语言少样本适应

Sriram Mandalika

机构 * Hasso Plattner Institute, University of Potsdam（霍普夫纳研究所，波茨坦大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SCAN框架，通过查询自适应负路由、LLM引导对比提示和自适应融合权重，解决视觉语言模型少样本适应中负类信号处理问题，在11个基准上平均提升4.61%。

PACZero: PAC-Private Fine-Tuning of Language Models via Sign Quantization

PACZero: 通过符号量化的语言模型PAC隐私微调

Murat Bilgehan Ertan, Xiaochen Zhu, Phuong Ha Nguyen, Marten van Dijk, Srinivas Devadas

机构 * CWI Amsterdam（阿姆斯特丹信息与计算科学研究所） ； MIT Cambridge（麻省理工学院） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出PACZero系列零阶机制，通过符号量化实现零互信息下的PAC隐私微调，在SST-2和SQuAD上取得竞争性结果。

AnE: Pushing the Reasoning Frontier of Multimodal LLMs via Anchor Evolution

AnE: 通过锚点进化推动多模态大语言模型的推理前沿

Zehao Wang, Yihan Zeng, Zidong Gong, Yuanfan Guo, Feng Zhu, Hongzhi Zhang, Wei Zhang, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Huawei Noah's Ark Lab（华为诺亚实验室） ； Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出锚点进化（AnE）范式，通过真值锚点数据策展和脚手架剥离机制，解决多模态大模型推理中的认知漂移和幻觉路径问题，显著提升推理性能。

Comments 34 pages,10 figures

MAGIC: Multimodal Alignment & Grounding-aware Instruction Coreset for Vision-Language Models

MAGIC: 面向视觉语言模型的多模态对齐与接地感知指令核心集

Shristi Das Biswas, Kaushik Roy

机构 * Purdue University（普渡大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 提出MAGIC方法，利用预训练VLM中的多模态增益、桥接相关性和技能神经元签名三种内在信号，通过无训练、前向传播的核心集选择，构建紧凑且行为保真的子集用于多模态指令微调，在20%预算下达到甚至超越全微调性能。

CPMobius: Iterative Coach-Player Reasoning for Data-Free Reinforcement Learning

CPMobius: 无数据强化学习的迭代式教练-玩家推理

Ran Li, Zeyuan Liu, Yinghao Chen, Bingxiang He, Jiarui Yuan, Zixuan Fu, Weize Chen, Jinyi Hu, Chen Qian, Zhiyuan Liu, Maosong Sun

机构 * Tsinghua University（清华大学） ； University of Cambridge（剑桥大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出CPMobius协作式教练-玩家范式，通过无外部数据的合作优化循环提升数学推理能力，在Qwen2.5-Math-7B-Instruct上总体准确率提升4.9%，OOD准确率提升5.4%。

Comments Accepted to the ICML 2026

Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning

利用大语言模型发现算法：进化搜索遇见强化学习

Anja Surina, Amin Mansouri, Lars Quaedvlieg, Amal Seddas, Maryna Viazovska, Emmanuel Abbe, Caglar Gulcehre

机构 * EPFL（苏黎世联邦理工学院） ； Apple（苹果公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出通过强化学习微调持续优化大语言模型，结合进化搜索加速发现更优算法，在组合优化任务上验证有效性。

Comments 34 pages

Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches

微调因果大语言模型用于文本分类：基于嵌入与基于指令的方法

Amirhossein Yousefiramandi, Ciaran Cooney

机构 * Clarivate Intellectual Property（Clarivate知识产权） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文探索在资源受限下微调解码器-only大语言模型用于文本分类，比较了基于嵌入的分类头方法和基于指令的微调方法，并采用4位量化与LoRA实现高效训练，实验表明嵌入头方法在单标签分类中匹配或超越微调BERT基线，而指令微调仅在多标签且大参数量时有效。

Comments 20 pages, 5 figures

Plan for Speed: Dilated Scheduling for Masked Diffusion Language Models

速度规划：用于掩码扩散语言模型的膨胀调度

Omer Luxembourg, Haim Permuter, Eliya Nachmani

机构 * School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Beersheba, Israel（电气与计算机工程学院，内盖夫本· Gurion大学，贝尔谢巴，以色列） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出膨胀解掩码调度器（DUS），通过将序列位置划分为非相邻的膨胀组并并行解掩码，最小化联合熵增益上界，在不修改去噪器的情况下实现高达5.8倍加速。

Comments Accepted at ICML 2026

Can LoRA Fusion Support Cross-Domain Tasks in Cloud-Edge Collaboration?

LoRA融合能否支持云边协作中的跨域任务？

Yatong Wang, Fali Wang, Naibin Gu, Zheng Lin, Zhengxiao Liu, Dingyu Yao, Zhiwei Zhang, Jianxin Shi, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院） ； The Pennsylvania State University, University Park, USA（宾夕法尼亚州立大学） ； Beihang University, Beijing, China（北航大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对云边协作中跨域问题解决的需求，提出剪枝-训练-恢复框架和冲突解决模块LoRA-CR，发现现有LoRA融合方法在跨域基准MMLU-CD上表现不佳，而LoRA-CR通过缓解参数冲突将性能提升高达3.8%。

Comments 16 pages, 6 figures

RePlan-Bot: Multi-Level Replanning for Embodied Instruction Following

RePlan-Bot：面向具身指令跟随的多级重规划

Xicheng Gong, Guozheng Sun, Peiran Xu, Yadong Mu

机构 * Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)

AI总结 提出RePlan-Bot，通过多级连续重规划（高层LLM审计器、常识引导搜索、轻量级ViT校正器）解决具身指令跟随中的长时规划和不可逆状态变化问题，在ALFRED基准上取得最佳性能。

Comments 10 pages