语言大模型 / LLM

PEFT of SLM for Telecommunications Customer Support: A Comparative Study of LoRA Configurations with Energy Consumption Analysis

面向电信客户支持的SLM的PEFT：LoRA配置与能耗分析的比较研究

Lucas Tamic, Ilan Jaffeux-Cheniout, Xavier Marjou

机构 * Orange 纠错

专题命中 指令微调 ：SLM(title,title_cn)；LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究系统比较了不同LoRA配置在Qwen2.5-3B模型上的参数高效微调效果，结合能耗分析和LLM评判框架，发现验证损失最低的配置并不一定获得最佳定性排名，并提出了组合式合成数据生成方法。

Progressive Multimodal Alignment for Continual Instruction Tuning

用于持续指令微调的渐进式多模态对齐

Duzhen Zhang, Yahan Yu, Qiaoyi Su, Jiahua Dong, Tielin Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心） ； Kyoto University（京都大学） ； Migu Culture Technology Co.,Ltd.（咪咕文化科技有限公司） ； State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology（脑认知与类脑智能技术国家重点实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 针对多模态持续指令微调中投影器级遗忘问题，提出渐进式多模态对齐框架PMA，以亚线性参数增长平衡稳定性与可塑性，在多基准实验中提升了现有方法性能且适配多种MLLM主干。

Comments Accepted by ACM MM2026

OpsLLM: Construction of Large Language Model for Software Operations with Multi-stage Learning

面向软件运维构建大型语言模型的端到端框架

Jingkai He, Pengfei Chen, Chenghui Wu, Shuang Liang, Ye Li, Gou Tan, Xidao Wen, Chuanfu Zhang, Fang Situ, Qi Zhou

机构 * School of Systems Science and Engineering, Sun Yat-sen University（系统科学与工程学院，中山大学） ； School of Computer Science and Engineering, Sun Yat-sen University（计算机科学与工程学院，中山大学） ； Alibaba Cloud Computing（阿里云 computing） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出OpsLLM，一个专为软件运维设计的大型语言模型，支持基于知识的问题回答和根本原因分析。通过人机协同机制构建高质量数据集，并结合监督微调和强化学习优化模型性能，在多个任务中优于现有开源和闭源模型。

PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

PTP：基于前序令牌预测的大语言模型反演方法，用于近精确提示重构

Pirzada Suhail, Nagasai Saketh Naidu, Atanu R Sinha, Amit Sethi

机构 * IIT Bombay（印度理工学院孟买分校） ； Adobe Research（奥多比研究中心） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出PTP方法，在黑盒场景下从零训练逆语言模型，通过前序令牌预测实现近精确提示重构，泛化性与迁移性良好，性能优于现有LLM反演工作。

Think2Go: Generative Next POI Recommendation with LLM Reasoning

Think2Go：基于大语言模型推理的生成式下一个兴趣点（POI）推荐

Zhuang Zhuang, Shanshan Feng, Hangwei Qian, Mingqi Yang, Heng Qi, Yanming Shen, Baocai Yin

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 Think2Go框架统一SFT与RL推理，通过优势加权机制校准策略优化，解决现有POI推荐模型的意图捕捉不足问题，提升推荐性能与稳健性。

Comments Accepted by KDD 2026 Research Track Cycle 1 (Oral presentation)

Curvature-Weighted Capacity Allocation: A Minimum Description Length Framework for Layer-Adaptive Large Language Model Optimization

曲率加权容量分配：一种基于最小描述长度原理的层适应性大语言模型优化框架

Theophilus Amaefuna, Hitesh Vaidya, Anshuman Chhabra, Ankur Mali

机构 * Bellini College of Artificial Intelligence, Cybersecurity and Computing（人工智能与网络安全与计算学院） ； University of South Florida（佛罗里达州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于最小描述长度原理的曲率加权容量分配框架，用于层适应性大语言模型优化，通过曲率调整的层增益计算，实现高效容量分配和剪枝，具有理论保证和计算效率。

Comments Accepted to UAI 2026. To be published in PMLR

Small Is Enough: Per-User Style Rewriting of AI-Edited Text via LoRA Adapters

小模型已足够：通过LoRA适配器对AI编辑文本进行单用户风格重写

Antorweep Chakravorty

机构 * University of Stavanger（斯塔万格大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 InMyStyle是注重隐私的单用户系统，用多本地辅助LLM构建配对训练示例，微调0.5B-7B参数模型的LoRA适配器，可将AI编辑文本重写为用户风格，小模型即可完成重写任务，其输出感知AI性低于辅助AI生成内容

CLIFT: Turning Gemini Robotics On-Device into Humanoid Specialists via Non-Invasive Closed-Loop Iterative Fine-Tuning

CLIFT：通过非侵入式闭环迭代微调将Gemini机器人端侧模型转化为人形机器人专家

Yuxin Chen, Hari Srikanth, Nathan Jew, Menglin Wu, Pengcheng Wang, Junli Ren, Masayoshi Tomizuka, Peng Xu, Jinyu Xie, Thomas Tian

机构 * University of California, Berkeley（加州大学伯克利分校） ； Google DeepMind（谷歌DeepMind） ； NVIDIA Research（英伟达研究院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本研究针对闭源机器人模型的托管式SFT API范式，提出CLIFT方法，在不访问模型内部机制的情况下，将Gemini机器人端侧模型经两次飞轮循环提升至接近完美的敏捷接触任务成功率。

TriShield: Zero-Utility-Loss Defense Against Privacy Backdoors in Federated Language Model Fine-Tuning via Orthogonal Gradient Projection and Optimizer State Entanglement

TriShield：通过正交梯度投影与优化器状态纠缠实现联邦语言模型微调中隐私后门的零效用损失防御

Cheng Wei

机构 * Honor Device Co., Ltd.（荣耀终端有限公司） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 TriShield是一种三层确定性防御，通过参数特征检测、有状态虚拟迭代和零效用正交投影，可完全抵御NeuroImprint攻击，且零模型效用损失、无额外通信轮次，计算开销低。

Comments 12 pages,3 figures

TAPR: Enhancing LLM Performance with a Task-Aware Prompt Rewriter

TAPR：利用任务感知提示重写器提升大语言模型性能

Oliver Savolainen, Emanuele Bastianelli, Hosein Azarbonyad

机构 * University of Amsterdam（阿姆斯特丹大学） ； Elsevier（爱思唯尔） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出TAPR模型，采用带GRPO的强化学习训练，可将用户提示优化为任务适配的提示，经微调Phi-4-mini-instruct后，在多任务基准测试中提升了大语言模型的准确率。

Are the Financial Reasoning from LLMs Credible? A Real World Test over Long-Horizon Statements

大型语言模型（LLMs）的财务推理是否可信？针对长期财务报表的现实测试

Xinke Tong, Xuanming Zhang, Tianyi Tang, An Yang, Jiatu Hu, Guojie Lin, Zhenzhen Shi, Lingfeng Zeng, Boyu Yang, Bing Zhao, Hu Wei, Lin Qu, Dayiheng Liu

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究针对LLMs的财务推理可信度，构建含对抗陷阱的FinIndices基准测试，发现其存在知识与结构瓶颈，监督微调可部分恢复结构化逻辑。

Comments The FinIndices dataset is publicly available at https://huggingface.co/datasets/User158072/Finindice

Watermarking Language Models with Error Correcting Codes

用纠错码对语言模型进行水印标记

Patrick Chao, Yan Sun, Edgar Dobriban, Hamed Hassani

机构 * University of Pennsylvania（宾夕法尼亚大学） ； New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出了一种基于纠错码的鲁棒二进制码水印方法，用于区分机器生成文本与人类文本，具有鲁棒性和高效性。

TimeRFT: Stimulating Generalizable Time Series Forecasting for TSFMs via Reinforcement Finetuning

TimeRFT：通过强化微调提升TSFMs的时间序列预测通用性

Siyang Li, Yize Chen, Zijie Zhu, Yuxin Pan, Yan Guo, Ming Huang, Hui Xiong

机构 * University of Alberta（阿尔伯塔大学） ； Alibaba Cloud（阿里云） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 TimeRFT通过强化微调方法解决时间序列基础模型在特定任务适应中的泛化问题，提升预测精度和抗分布偏移能力。

Comments 15 pages, 8 figures, In Submission

ConnectED: A Curriculum-Aligned AI System for Vietnamese Instructional Lesson Planning and Student Learning

ConnectED：面向越南教学课程规划与学生学习的课程对齐AI系统

Thang Doan Viet, Anh Nguyen Hoang, Tinh Luong Son, Anh Hoang Thi Ngoc, Huyen Giang Thi Thu, Tai Le Quy

专题命中 指令微调 ：preference optimization(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出以人为本的AI系统ConnectED，基于VietEduQwen构建，支持越南教育完整教学生命周期，经评估其准确率优于基准模型，可缩短教师备课时间且获师生高满意度。

Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients

采用异构压缩客户端的联邦基础模型微调

Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； OceanBase, Ant Group（蚂蚁集团OceanBase） ； School of Management, Xi’an Jiaotong University（西安交通大学管理学院） ； School of Mathematics and Statistics, Xidian University（西安电子科技大学数学与统计学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, China University of Geosciences（中国地质大学计算机学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对基础模型联邦学习的资源不对称问题，提出FedSLM框架，通过SVD分解等技术实现异构压缩客户端的联邦微调，实验显示其在多基准上优于现有基线且客户端内存需求更低。

GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR

GeoRA: 为强化学习可验证奖励设计的几何感知低秩适应

Jiaying Zhang, Lei Shi, Jiguo Li, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He

机构 * Meituan（美团） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 GeoRA通过利用RLVR更新子空间的各向异性与压缩性结构，采用SVD提取主方向初始化低秩适配器，冻结残差部分作为结构锚点，从而在数学、医学和编程领域优于现有低秩基线，同时在跨领域任务中表现更佳。

Comments Accepted at ACL 2026 Main

Preconditioned Test-Time Adaptation for Out-of-Distribution Debiasing in Narrative Generation

预条件测试时适应用于叙事生成中的分布外去偏

Hanwen Shen, Ting Ying, Jiajie Lu, Shanshan Wang

机构 * Laboratory for Artificial Intelligence in Mathematics Education, Stevens Institute of Technology（数学教育中的人工智能实验室，史蒂文斯理工学院） ； Independent Researcher（独立研究者） ； NLP2CT Lab, Department of Computer and Information Science, University of Macau（NLP2CT实验室，澳门大学计算机与信息科学系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CAP-TTA框架，通过预条件预计算实现测试时适应，有效减少毒性/偏见评分，降低延迟并防止灾难性遗忘，提升叙事流畅度。

Comments This paper has been accepted to ACL2026 main conference

The Parts Are Greater Than the Sum: Automated Task Sequencing for Efficient Training of Multi-Policy LLMs

部分之和大于整体：用于高效训练多策略大语言模型的自动任务排序

Jiajia Tang, Sizhe Yuen, Francisco Gomez Medina, Yali Du, Adam Sobey

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对多策略大语言模型训练中共享优化空间的干扰问题，提出自动多策略PEFT框架，通过任务分组排序组织独立QLoRA路径，在TRACE基准取得44.78的最佳性能。

Data Turnstile: A Scalable Open Framework for Function-Calling Data Generation

Data Turnstile：面向函数调用数据生成的可扩展开源框架

Goutham Ramakrishnan, Megha Sharma

机构 * Amazon AGI（亚马逊AGI） 纠错

专题命中 指令微调 ：language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 该研究提出开源框架Data Turnstile，可基于用户定义API规范生成高质量函数调用合成训练数据，经其微调的小型语言模型在BFCL、τ²-bench等基准上性能大幅提升，缩小了与更大规模模型的差距。

Comments 16 pages

Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs

注意力头中的角色断裂：理解和检测视觉语言模型中的幻觉

Mingyu Wang, Weilin Jin, Wenbo Li, Haoyang Huang, Nan Duan, Tong Jia, Chaoran Luo, Ying Li

专题命中 指令微调 ：language model(abstract,abstract_cn)

AI总结 该研究提出注意力头的角色断裂现象，构建无需微调的轻量级线性检测器，在6个VLMs和4个基准上平均AUROC达93.23，可检测VLM幻觉并支持干预操作。

SatEdit: Mask-Conditioned Image Editing via VLM-Guided Segment Annotation

SatEdit：基于VLM引导的区域标注的掩码条件卫星图像编辑

Muhammad Talha, Muhammad Ahmed Amer

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)

AI总结 SatEdit是基于VLM引导区域标注的卫星图像编辑框架，通过未标注图像构建监督信号，经LoRA微调后在对比中实现最高掩码区域语义对齐，为卫星图像编辑提供了数据高效的可行方案。

Comments 14 pages, 5 figures

Evaluating Federated Pre-Training: On the Reliability of Downstream Fine-Tuning and Intrinsic Evaluation

联邦预训练评估：下游微调与内在评估的可靠性研究

Claudia Grosser, Maike Heuer, Denis Krompass, Thomas A. Runkler

机构 * Technical University Munich（慕尼黑工业大学） ； Siemens AG（西门子公司） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究对比联邦预训练的下游微调（含全量、仅头部等变体）与GLUE文本下一个词预测的评估效果，发现后者与预训练测试困惑度相关性更强，提示仅下游微调易产生误导，需关注更接近预训练目标的评估信号。

StraightDP: Geometry-Aware Differential Privacy for Rectified-Flow Transformers

StraightDP：面向整流流Transformer的几何感知差分隐私

Xujun Che, Depeng Xu, Xintao Wu

专题命中 指令微调 ：pretraining(abstract)；分类 cs.LG

AI总结 StraightDP利用整流流的几何异质性，通过释放类条件矩结合DP-SGD，在强差分隐私约束下提升文本条件生成模型的下游准确率与生成质量，且可迁移到SD3-medium。

Visual Distribution Anchoring for Efficient Prompt Tuning

用于高效提示调优的视觉分布锚定

Pouya Parsa, Raoof Zare Moayedi, Seongjin Choi

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 本文提出无需训练的VDA框架，用未标记目标池的类级视觉原型增强冻结语义分类器，在10次ImageNet到目标域迁移中显著提升多个视觉-语言模型性能，且与各类分类器互补。

Comments 9 pages, 1 figure

LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment

LARA：用于可组合适配与对齐的残差流中的轻量适配器

Pascal Ekin, Hyosun Choi, Wei Jie

机构 * Royal Holloway, University of London（伦敦大学皇家霍洛威学院） ； University of West London（西伦敦大学） 纠错

专题命中 指令微调 ：preference optimization(abstract)；分类 cs.LG

AI总结 本研究提出LARA，一种在冻结模型残差流中运行的轻量适配方法，在参数数量相同时性能与LoRA相当，支持多种行为平滑插值与按token路由，可在单个模型上高效托管多种行为。

ZeroR@CHiPSAL 2026: Two-Stage Vision-Language Adaptation with Contrastive Learning for Nepali Meme Classification

ZeroR@CHiPSAL 2026：用于尼泊尔表情包分类的对比学习两阶段视觉-语言适配

Nitiz Khanal

机构 * Pulchowk Campus, Institute of Engineering, Tribhuvan University（特里布万大学工程学院普尔乔克校区） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 该研究针对尼泊尔表情包多模态仇恨言论与情感检测任务，适配RA-HMD框架，采用两阶段视觉-语言对比学习方法，取得两项任务的优异排名，为低资源南亚语言适配大模型提供了见解。

Comments 9 pages, 2 figures, system description paper for the CHiPSAL 2026 shared task at LREC 2026

Journal ref Proceedings of the Second Workshop on Challenges in Processing South Asian Languages (CHiPSAL 2026) @ LREC 2026, pages 275-283, Palma, Mallorca, Spain, 16 May 2026. ELRA Language Resources Association (ELRA). ISBN 978-2-493814-66-1

SAM+D: Parameter-Efficient Dimensional Lifting of SAM-Family Models via Depth-Routed LoRA and Depth Shifting

SAM+D：通过深度路由LoRA与深度移位实现SAM系列模型的参数高效维度提升

Yu Song, Hao Sun, Shiyu Teng, Ikuko Nishikawa, Yen-wei Chen

机构 * College of Information Science and Engineering, Ritsumeikan University（立命馆大学信息科学与工程学院） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 该研究提出SAM+D框架，通过DRLoRA与DSM两个轻量模块，以仅微调约2.8%（SAM）或3.7%（SAM2）参数的方式，实现2D SAM至3D、SAM2至4D的高效分割，在多个基准上取得具竞争力结果。

Comments Accepted to ECCV2026

A Formalism-Aware Reward Loop for Handwritten UML-to-PlantUML Generation

面向手写UML到PlantUML生成的形式化感知奖励循环

Mersedeh Sadeghi, Simon Scholz, Adrian Psoch-Bajraktari

专题命中 指令微调 ：language model(abstract)

AI总结 本研究提出形式化感知奖励循环，通过微调视觉-语言模型结合Group Relative Policy Optimisation生成PlantUML，提升了转换质量，为建模评估提供了新方向。

Comments Accepted for publication in the Proceedings of the ACM/IEEE 29th International Conference on Model Driven Engineering Languages and Systems (MODELS 2026). This is the accepted author manuscript