语言大模型 / LLM

Self-Prompting Small Language Models for Privacy-Sensitive Clinical Information Extraction

面向隐私敏感的临床信息抽取的自提示小型语言模型

Yao-Shun Chuang, Tushti Mody, Uday Pratap Singh, Shirindokht Shiraz, Chun-Teh Lee, Ryan Brandon, Muhammad F Walji, Xiaoqian Jiang, Bunmi Tokede

机构 * McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校麦克威廉斯生物医学信息学学院） ； School of Public Health, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校公共卫生学院） ； School of Dentistry, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校牙科学院） ； Willamette Dental and Skourtes Institute（威廉特牙科与斯库尔特斯研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；prompting(title)；post-training(abstract)

AI总结 针对牙科病历中非结构化、领域特定且隐私敏感的命名实体识别挑战，提出一种本地可部署的自提示框架，通过多提示集成推理和基于QLoRA的微调及直接偏好优化，使小型语言模型在Qwen2.5-14B-Instruct上达到微宏F1分数0.864/0.837。

On The Effectiveness-Fluency Trade-Off In LLM Conditioning: A Systematic Study

论LLM条件控制中的效果-流畅性权衡：一项系统性研究

Iuri Macocco, Pau Rodríguez, Arno Blaas, Luca Zappella, Marco Baroni, Xavier Suau

机构 * Universitat Pompeu Fabra（庞培法布拉大学） ； Apple（苹果公司） ； ICREA（加泰罗尼亚研究与高级研究所） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 系统研究LLM条件控制方法在注入和移除目标概念时的效果与流畅性权衡，发现高效引导方法常以牺牲流畅性为代价，且激活引导方法在指令调优模型上效果较差。

Comments 8 pages, 2 figure

GraphInfer-Bench: Benchmarking LLM's Inference Capability on Graphs

GraphInfer-Bench：评估LLM在图上的推理能力基准

Zhuoyi Peng, Jingzhou Jiang, Hanlin Gu, Lixin Fan, Yi Yang

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Webank（微众银行） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出GraphInfer-Bench基准，通过五个任务（描述与比较）测试LLM能否从节点及其邻域推断出无法从单节点或路径检索的答案，发现所有方法均存在差距。

Comments Code: https://github.com/graphinfer/GraphInfer-Bench ; Dataset: https://huggingface.co/datasets/graphinfer/graphinfer

Steering the Noise: Turning Random Perturbations into Effective Descent for Memory-Efficient LLM Fine-Tuning

引导噪声：将随机扰动转化为有效下降方向以实现内存高效的LLM微调

Feihu Jin, Shipeng Cen, Ying Tan

机构 * School of Intelligence Science and Technology（智能科学与技术学院） ； Institute for Artificial Intelligence（人工智能研究院） ； Peking University（北京大学） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种即插即用框架，通过候选扰动池选择或组合与优化目标对齐的扰动，改进零阶优化梯度估计，提升LLM微调的收敛速度和任务精度。

Comments 12pages, 6figures

Lius: Translation Model Based Instructional Lingustic Using Continual Instruction Tuning In Kupang Malay

Lius：基于持续指令调优的库邦马来语教学语言学翻译模型

Joanito Agili Lopo, Yunita Sari, Guntur Budi Herwanto

机构 * Universitas Gadjah Mada（加札马达大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对低资源语言库邦马来语，提出利用双语词典的词汇和语义特征设计指令，并采用持续指令调优（CIT）范式微调大语言模型，在多个指标上超越基线4-6分，优于NMT和多语言LLM 10-13分。

Comments This paper is the result of the Master Thesis in Master of Artificial Intelligence at Universitas Gadjah Mada

Compatibility-Aware Dynamic Fine-Tuning for Large Language Models

兼容性感知的动态微调用于大型语言模型

Yucheng Zhou, Junwei Sheng, Qianning Wang, Jianbing Shen

机构 * SKL-IOTSC, CIS, University of Macau（澳门大学科技学院电脑与信息科学系及智慧城市物联网国家重点实验室） ； Auckland University of Technology（奥克兰理工大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出兼容性感知动态微调（CADFT），通过模型似然度动态调整监督更新，抑制不兼容样本的高方差梯度，提升训练稳定性和泛化能力。

Comments ACL 2026

My Chemical Harness: Evolutionary Molecular Design over Synthetic Pathways with Large Language Model Agents

我的化学缰绳：基于合成路径的大语言模型智能体进化分子设计

César Ojeda, Darius A. Faroughy, Maryam Karimi, Payam Zarrintaj, Mir Mehdi Seyedebrahimi, Martín Carballo-Pacheco

机构 * Institute of Mathematics, Faculty of Science, University of Potsdam（数学研究所，科学学院，波茨坦大学） ； NHETC, Department of Physics and Astronomy, Rutgers University（NHETC，物理与天文学系，罗格斯大学） ； Potsdam Transfer, University of Potsdam（波茨坦转移，波茨坦大学） ； E3 LLC 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出一种以可执行合成路径为种群、大语言模型仅作策略控制器的进化框架，在可溶性环氧化物水解酶代理任务上达到最优性能。

Comments 27 pages | 10 figures

MobileFineTuner: A Mobile-Native Framework for On-Device LLM Fine-Tuning in Real-World Embedded AI Applications

MobileFineTuner：面向真实世界嵌入式AI应用中设备端大语言模型微调的移动原生框架

Jiaxiang Geng, Lunyu Zhao, Yiyi Lu, Bing Luo

机构 * Duke Kunshan University（Duke昆山大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出移动原生框架MobileFineTuner，通过C++实现资源感知训练运行时（内存高效注意力、激活检查点等），在商用手机上实现端到端LLM微调，显著降低内存压力并提升可执行性。

Comments 26 pages, 25 figures

Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training

使用ART微调多模态大语言模型：基于艺术的强化训练

Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski

机构 * University of Stavanger（斯塔万格大学） ； NORCE Research（NORCE研究机构） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出ART方法，通过优化原始视觉输入将信息注入冻结的多模态大语言模型，实现软提示微调，无需修改计算图，在数学和工具使用基准上达到与LoRA相当的精度。

Beyond Fully Random Masking: Attention-Guided Denoising and Optimization for Diffusion Language Models

超越完全随机掩码：扩散语言模型的注意力引导去噪与优化

Jia Deng, Junyi Li, Wayne Xin Zhao, Jinpeng Wang, Hongyu Lu, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Department of Data Science, City University of Hong Kong（香港城市大学数据科学系） ； Meituan（美团） ； WeChat, Tencent（腾讯微信） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（大型模型与智能治理北京市重点实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 提出AGDO框架，利用注意力结构指导去噪顺序并强化关键令牌，在数学和编码基准上提升扩散语言模型的推理性能。

Comments 13 pages. Accepted to ACL 2026 Main Conference

Does the Question Really Matter? Training-Free Data Selection for Vision-Language SFT

问题真的重要吗？视觉-语言SFT的无训练数据选择

Peng Sun, Yi Yang, Huawen Shen, Yi Ban, Tianfan Fu, Yanbo Wang, Yuqiang Li

机构 * Nanjing University（南京大学） ； Institute of Information Engineering（信息工程研究所） ； North University of China（中国北方大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；instruction tuning(abstract)；分类 cs.AI

AI总结 提出CVS方法，利用冻结的视觉-语言大模型评估问题对答案有效性的影响，无需训练即可筛选出需要跨模态推理的高质量样本，在多个数据集上以少量数据超越全量训练。

PermDoRA -- Understanding Adapter Interference in Language Models: Limits of Parameter-Space Geometry

PermDoRA -- 理解语言模型中的适配器干扰：参数空间几何的局限性

Gowtham Sivaramakrishnan, Sarvesha Kumar Kombaiah Seetha, Kishan Gupta Balaji, Santhosh Baradwaj Vaduvur Ranganathan

机构 * Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究适配器组合中的干扰是否源于线性参数更新重叠，通过DoRA-RBAC框架和几何感知合并策略实验，发现参数空间几何不是干扰主因，而是共享非线性表示中的交互。

Comments 18 Pages, COLM 2026

AsFT: Anchoring Safety During LLM Fine-Tuning Within Narrow Safety Basin

AsFT：在窄安全盆地内锚定大语言模型微调期间的安全性

Shuo Yang, Qihui Zhang, Yuyang Liu, Xiaojun Jia, Kunpeng Ning, Jiayu Yao, Jigang Wang, Hailiang Dai, Yibing Song, Li Yuan

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对微调大语言模型时安全性易受损的问题，提出AsFT方法，通过惩罚与对齐方向正交的更新，将模型约束在窄安全盆地内，在提升任务性能的同时显著降低有害行为。

Harness In-Context Operator Learning with Chain of Operators

利用算子链实现上下文算子学习

Minghui Yang, Ling Guo, Liu Yang

机构 * Department of Mathematics, Shanghai Normal University（上海师范大学数学系） ； Department of Mathematics, National University of Singapore（新加坡国立大学数学系） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出Chain of Operators (CHOP)框架，通过构造显式初等变换与冻结ICON的算子链，无需微调即可提升上下文算子网络在分布外算子任务上的泛化能力，在标量守恒律和平均场控制问题中降低推理误差。

Diffusion-Inspired Masked Fine-Tuning for Knowledge Injection in Autoregressive LLMs

受扩散启发的掩码微调用于自回归大语言模型中的知识注入

Xu Pan, Ely Hahami, Jingxuan Fan, Ziqian Xie, Haim Sompolinsky

机构 * Harvard University（哈佛大学） ； University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校） ； Hebrew University（希伯来大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种掩码微调方法，通过重构原始文本提升自回归大语言模型的知识注入能力，无需依赖改写并克服反向诅咒，实验证明其在知识密集型任务中表现优异。

TAHOE: Text-to-SQL with Automated Hint Optimization from Experience

TAHOE: 基于经验的自动提示优化文本到SQL系统

Zhiyi Chen, Jie Song, Peng Li

机构 * ByteDance Inc.（字节跳动公司） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出TAHOE系统，通过错误驱动的提示学习管道将调试痕迹转化为结构化提示库，结合策略层建模用户意图，在Spider 2.0-Snow上无需更新参数即可显著提升Text-to-SQL性能。

FORT-Searcher: Synthesizing Shortcut-Resistant Search Tasks for Training Deep Search Agents

FORT-Searcher：合成抗捷径搜索任务以训练深度搜索智能体

Jia Deng, Yimeng Chen, Xiaoqing Xiang, Ziyang Zeng, Shuo Tang, Wayne Xin Zhao, Feng Chang, Chuan Hao, Yuan Wei, Ran Tao, Bryan Dai, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence Renmin University of China（中国人民大学高瓴人工智能学院） ； KAUST（阿卜杜拉国王科技大学） ； IQuest Research（IQuest研究院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL

AI总结 提出FORT框架，通过控制四种捷径风险合成抗捷径训练数据，使搜索智能体进行更长的预答案搜索，减少捷径模式，仅用SFT训练即达到最优性能。

Comments 30 pages

Bimanual Robot Manipulation via Multi-Agent In-Context Learning

通过多智能体上下文学习的双臂机器人操作

Alessio Palma, Indro Spinelli, Vignesh Prasad, Luca Scofano, Yufeng Jin, Georgia Chalvatzaki, Fabio Galasso

机构 * Sapienza University of Rome（罗马萨皮恩扎大学） ； TU Darmstadt（达姆施塔特技术大学） ； Hessian.AI（黑森AI） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出BiCICLe框架，将双臂操作建模为多智能体主从问题，通过解耦动作空间实现标准LLM的少样本学习，在TWIN基准上平均成功率70.5%，超越无训练基线。

Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

多模态大语言模型在跨模态间无法最优组合技能

Paula Ontalvilla, Aitor Ormazabal, Gorka Azkune

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；prompting(abstract)

AI总结 本文研究多模态大语言模型跨模态技能组合能力，发现其存在显著差距，并提出链式推理和微调策略以改善，但效果有限。

MLaGA: Multimodal Large Language and Graph Assistant

MLaGA: 多模态大语言与图助手

Dongzhe Fan, Yi Fang, Jiajin Liu, Djellel Difallah, Qiaoyu Tan

机构 * New York University（纽约大学） ； New York University Shanghai（纽约大学上海） ； New York University Brooklyn（纽约大学布鲁克林） ； Virginia Polytechnic Institute and State University（弗吉尼亚理工大学） ； New York University Abu Dhabi（纽约大学阿布扎克） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MLaGA模型，通过结构感知多模态编码器和指令微调，将大语言模型扩展到多模态图数据，在监督和迁移学习任务中优于基线方法。

Adapting Prithvi-EO for Fallow Detection for Food-Water Nexus: ViT-Adapter Necks and Parameter-Efficient Backbone tuning of Geospatial Foundation Model

为食物-水关系调整Prithvi-EO用于休耕地检测：地理空间基础模型的ViT-Adapter颈部与参数高效骨干微调

Sk Muhammad Asif, Orhun Aydin

机构 * Earth, Atmospheric and Geospatial Science, Saint Louis University（圣路易斯大学地球、大气与地理空间科学系） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 针对休耕地检测中多尺度特征需求与基础模型单尺度ViT骨干不匹配的问题，提出结合LoRA和混合PEFT的两种参数高效微调方案与三种颈部设计，其中Lite ViT-Adapter配合单阶段检测头在mAP@50上达到0.9479，优于无适配器方法25.70%。

Comments 10 pages, 6 figures. Preprint. Submitted to ACM SIGSPATIAL 2026

Frames2LoRA: Parametric Video Internalization for Vision-Language Models

Video2LoRA: 视觉-语言模型的参数化视频内化

Manan Suri, Sarvesh Baskar, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 提出Video2LoRA方法，通过感知器超网络从视频编码中直接生成LoRA适配器，实现零视觉令牌的视频查询，在保持性能的同时大幅降低计算成本。

Comments https://frames2lora.github.io/

Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data

类别先验锁定：为何上下文学习在结构化数据上失败

Antonio Pelusi, Stefano Braghin, Alberto Trombetta

机构 * University of Insubria（因苏布里亚大学） ； IBM Research Ireland（IBM 爱尔兰研究院） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型在结构化数据生成中上下文学习的局限性，发现其无法更新预训练中的类别先验分布，导致罕见类完全无法生成；参数高效微调可解决但带来记忆化风险。

Comments 9 pages, 5 figures. Empirical study of in-context learning and LoRA fine-tuning for synthetic tabular data generation, introducing the phenomenon of categorical prior lock-in. Under review

Doc-to-Atom: Learning to Compile and Compose Memory Atoms

Doc-to-Atom：学习编译和组合记忆原子

Xingjian Diao, Wenbo Li, Yashas Malur Saidutta, Avinash Amballa, Lazar Valkov, Srinivas Chappidi

机构 * AI Center-Mountain View, Samsung Electronics（三星电子AI中心-山景城） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Doc2Atom框架，将文档分解为语义类型化的知识原子并编译为微LoRA适配器，通过轻量查询路由器选择相关原子组装成查询特定适配器，以解决文档压缩中的干扰和扩展性问题，在六个QA基准上优于Doc-to-LoRA。

Comments 20 pages

Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering

学习对你的VLA说什么：基本无害的视觉语言动作模型引导

Hyun Joe Jeong, Gokul Swamy, Andrea Bajcsy

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 指令微调 ：language model(abstract)；prompting(abstract)；分类 cs.LG

AI总结 提出一个框架，通过交互式搜索语言序列改进闭环VLA任务性能，并学习一个改进头预测何时语言引导能提升性能，同时通过共形化防止有害干预。

Comments 22 pages, 14 tables, 14 figures

Dummy Backdoor as a Defense: Removing Unknown Backdoors via Shared Internal Mechanisms for Generative LLMs

虚拟后门作为防御：通过共享内部机制移除生成式大语言模型中的未知后门

Kazuki Iwahana, Masaru Matsubayashi, Takuma Koyama, Toshiki Shibahara, Kenichiro Omintato, Akira Ito

机构 * NTT Social Informatics Laboratories（NTT社会信息实验室） ； Tohoku University（东北大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种基于共享内部机制的后门移除方法，通过嵌入已知触发器的虚拟后门并微调移除，从而降低未知后门攻击成功率，同时保持模型效用。

Grounding Computer Use Agents on Human Demonstrations

基于人类演示的计算机使用智能体基础构建

Aarash Feizi, Shravan Nayak, Xiangru Jian, Kevin Qinghong Lin, Kaixin Li, Rabiul Awal, Xing Han Lù, Johan Obando-Ceron, Juan A. Rodriguez, Nicolas Chapados, David Vazquez, Adriana Romero-Soriano, Reihaneh Rabbany, Perouz Taslakian, Christopher Pal, Spandana Gella, Sai Rajeswar

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； ServiceNow Research（ServiceNow研究） ； University of Waterloo（滑铁卢大学） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； Polytechnique Montréal（蒙特利尔理工学院） ； École de Technologie Supérieure（高级技术学院） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 为解决桌面环境高质量基础数据稀缺问题，构建了包含87个应用、56K截图和3.56M人工标注的GroundCUA数据集，并基于此训练GroundNext模型，在5个基准上以少于先前十分之一的数据取得最优结果。

Comments Accepted at ICLR 2026

Weakly Supervised Segmentation as Semantic-Based Regularization

弱监督分割作为语义基于的正则化

Stefano Colamonaco, Andrei-Bogdan Florea, Jaron Maene

机构 * KU Leuven（鲁文大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出通过神经符号方法整合模糊逻辑与深度分割模型，利用弱标注和领域先验知识提升伪标签质量，从而实现优于密集监督基线的分割精度。

SAFER-Nav: Enhancing Safety for Visual Robot Navigation via Segmentation-Aware Fine-Tuning

SAFER-Nav: 通过分割感知微调增强视觉机器人导航的安全性

Geonyeong Ko, Giung Lee, Changjoo Nam

机构 * Dept. of Electronic Engineering, Sogang University（西江大学电子工程系） ； Dept. of Computer Science, Rice University（莱斯大学计算机科学系） ； Vertical Labs, Co., Ltd.（Vertical Labs 有限公司） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 提出SAFER-Nav方法，通过分割感知微调将障碍物边界和可通行空间结构直接融入导航策略，降低碰撞频率并保持目标到达性能。

Lighting-aware Unified Model for Instance Segmentation

考虑光照的实例分割统一模型

Qisai Liu, Alloy Das, Zhanhong Jiang, Joshua R. Waite, Aditya Balu, Adarsh Krishnamurthy, Soumik Sarkar

机构 * Iowa State University（爱荷华州立大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 本文提出了一种考虑光照的实例分割统一模型，通过开发Lighting Convolutional-Attention模块，在不微调重型主干网络的情况下提升分割鲁棒性，实验结果表明该方法能有效解决光照变化带来的领域差距问题。