语言大模型 / LLM

An empirical study of LoRA-based fine-tuning of large language models for automated test case generation

基于LoRA的大型语言模型微调在自动测试用例生成中的实证研究

Milad Moradi, Ke Yan, David Colwell, Rhona Asgari

机构 * AI Research Lab, Tricentis（Tricentis AI研究实验室） ； Tricentis GmbH 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.AI

AI总结 本文通过实证研究探讨LoRA微调在基于需求的测试用例生成中的效果，评估了多种LLM家族，并发现LoRA微调显著提升了开源模型性能，且开源模型在微调后可与专有模型性能相当。

Low-Confidence Gold: Refining Low-Confidence Samples for Efficient Instruction Tuning

低置信度黄金：用于高效指令微调的低置信度样本精炼

Hongyi Cai, Jie Li, Mohammad Mahdinur Rahman, Wenzhen Dong

机构 * Universiti Malaya（马来亚大学） ； University of Science and Technology Beijing（北京科技大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LCG框架，通过聚类和置信度引导选择精炼低置信度样本，提升指令微调效率与性能，实验显示在MT-bench等指标上表现更优。

Comments Accepted to EMNLP Findings 2025

FedSpy-LLM: Towards Scalable and Generalizable Data Reconstruction Attacks from Gradients on LLMs

FedSpy-LLM: 向可扩展和通用的数据重建攻击迈进：从LLM上的梯度中提取私有数据

Syed Irfan Ali Meerza, Feiyi Wang, Jian Liu

机构 * University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校） ； Oak Ridge National Laboratory（橡树岭国家实验室） ； University of Georgia（佐治亚大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出FedSpy-LLM，一种可扩展且通用的数据重建攻击方法，旨在从LLM的梯度中恢复更大批次和更长序列的训练数据，适用于多种模型架构，即使使用PEFT方法训练。核心是新的梯度分解策略，利用梯度的秩不足和子空间结构，实现高效令牌提取并保持关键信号。

LongWriter-Zero: Mastering Ultra-Long Text Generation via Reinforcement Learning

LongWriter-Zero: 通过强化学习掌握超长文本生成

Yuhao Wu, Yushi Bai, Zhiqiang Hu, Roy Ka-Wei Lee, Juanzi Li

机构 * Singapore University of Technology and Design, Singapore（新加坡科技设计大学） ； Tsinghua University, Beijing, China（清华大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出一种基于激励的方法，无需标注或合成数据，通过强化学习使LLM生成超长高质量文本，实验表明其在长文本任务中优于传统SFT方法，达到WritingBench和Arena-Write的最优效果。

Comments ICLR 2026 Oral

Toward a universal foundation model for graph-structured data

迈向图结构数据的通用基础模型

Sakib Mostafa, Lei Xing, Md. Tauhidul Islam

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种通用图基础模型，通过学习可迁移的结构表示，提升跨领域图数据分析能力，在生物医学领域表现优异。

Comments 19 pages, 5 figures, 12 supplementary figures

PlaneCycle: Training-Free 2D-to-3D Lifting of Foundation Models Without Adapters

PlaneCycle: 不需要训练的2D到3D提升方法

Yinghong Yu, Guangyuan Li, Jiancheng Yang

机构 * ELLIS Institute Finland（芬兰ELLIS研究所） ； Aalto University（阿尔托大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 PlaneCycle提出一种无需训练的2D到3D提升方法，通过循环分布空间聚合实现逐步3D融合，无需额外参数，适用于任意2D网络，在多个3D任务中表现优异。

DINO-QPM: Adapting Visual Foundation Models for Globally Interpretable Image Classification

DINO-QPM：为全球可解释的图像分类适应视觉基础模型

Robert Zimmermann, Thomas Norrenbrock, Bodo Rosenhahn

机构 * Institute for Information Processing, L3S - Leibniz University Hannover（信息处理研究所，L3S - 莱布尼茨汉诺威大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 DINO-QPM通过将复杂特征转换为可解释的对比表示，提升图像分类的可解释性，同时在准确性和解释质量上优于DINOv2线性探针。

Comments Accepted to the 5th Explainable AI for Computer Vision (XAI4CV) Workshop at CVPR 2026

Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning

通过强化学习和监督微调驱动的开源大语言模型教学知识优化

Navan Preet Singh, Xiaokun Wang, Anurag Garikipati, Madalina Ciobanu, Qingqing Mao, Ritankar Das

机构 * East China Normal University, Shanghai, China（华东师范大学） ； Incept Labs, Houston, TX（Incept Labs） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL

AI总结 本文提出结合强化学习和监督微调的多阶段优化策略，通过EduQwen 32B-RL1、EduQwen 32B-SFT及EduQwen 32B-SFT-RL2等模型，提升大语言模型的教学知识能力，实现跨领域教学知识基准的新状态-of-the-art结果。

Comments * These authors contributed equally to this work and share first authorship

FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

FLeX：基于傅里叶的低秩扩展用于多语言迁移

Gaurav Narasimhan

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了通过低秩适应和优化器改进提升Python到Java等语言的跨语言迁移效果，发现低秩适应和傅里叶正则化能显著提升迁移性能。

Comments 19 pages, 25 figures, Stanford CS224N Custom Project

Soft Head Selection for Injecting ICL-Derived Task Embeddings

用于注入ICL衍生任务嵌入的软头部选择

Jungwon Park, Jimyeong Kim, Changin Choi, Wonjong Rhee

机构 * Department of Intelligence and Information, Seoul National University（首尔大学智能与信息系） ； Daegu Gyeongbuk Institute of Science and Technology（大邱庆北科学技术院） ； Samsung Advanced Institute of Technology, Samsung Electronics Co., Ltd（三星电子三星综合技术院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出SITE方法，通过梯度选择任务相关的注意力头部，有效注入任务嵌入，优于现有方法并在多种任务中表现优异，参数使用更少。

Comments Accepted by ACL 2026 Findings

KITE: Keyframe-Indexed Tokenized Evidence for VLM-Based Robot Failure Analysis

KITE：基于关键帧的令牌化证据用于基于视觉语言模型的机器人故障分析

Mehdi Hosseinzadeh, King Hang Wong, Feras Dayoub

机构 * Australian Institute for Machine Learning (AIML), Adelaide University（澳大利亚机器学习研究所（AIML），阿德莱德大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 KITE通过将长机器人执行视频转化为紧凑可解释的令牌化证据，提升基于VLM的机器人故障检测与分析能力，尤其在模拟故障检测中表现优异。

Comments ICRA 2026; Project page: https://m80hz.github.io/kite/

PyFi: Toward Pyramid-like Financial Image Understanding for VLMs via Adversarial Agents

PyFi: 通过对抗代理实现金字塔式金融图像理解的愿景语言模型

Yuqun Zhang, Yuxuan Zhao, Sijia Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Yantai Research Institute, Harbin Engineering University（哈尔滨工程大学烟台研究院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 PyFi通过对抗代理生成的金字塔结构数据集，提升VLM在金融图像理解中的推理能力，实验显示模型在复杂金融问题上的准确率提升19.52%。

LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

LoFT：长尾半监督学习中的参数高效微调：开放世界场景

Zhiyuan Huang, Jiahao Chen, Bing Su

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 LoFT通过参数高效微调提升长尾半监督学习在开放世界中的性能，理论证明基础模型降低假设复杂度并提升鲁棒性。

NMR evidence for an antisite-induced magnetic moment on Bi in a topological insulator heterostructure MnBi$_2$Te$_4$/(Bi$_2$Te$_3$)$_n$

核磁共振证据表明Bi在拓扑绝缘体异质结MnBi$_2$Te$_4$/（Bi$_2$Te$_3$）$_n$中存在反位诱导的磁矩

R. Kalvig, E. Jedryka, A. Lynnyk, P. Skupinski, K. Grasza, M. Wojcik

专题命中 指令微调 ：SFT(abstract)

AI总结 研究通过核磁共振和磁化测量揭示MnBi$_2$Te$_4$/(Bi$_2$Te$_3$)$_n$异质结中反位诱导的Bi磁矩，为理解拓扑绝缘体的磁相互作用提供新见解。

Comments 7 pages, 4 figures, Accepted for publication in Physical Review B