语言大模型 / LLM

Orchard: An Open-Source Agentic Modeling Framework

Orchard：一个开源的智能体建模框架

Baolin Peng, Wenlin Yao, Qianhui Wu, Hao Cheng, Xiao Yu, Rui Yang, Tao Ge, Alessandro Sordoni, Xingdi Yuan, Yelong Shen, Pengcheng He, Tong Zhang, Zhou Yu, Jianfeng Gao

机构 * Microsoft Research（微软研究院） ； Columbia University（哥伦比亚大学） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 指令微调 ：SFT(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Orchard，一个开源的智能体建模框架，通过轻量级环境服务和三种智能体建模食谱，实现了跨领域可重用的智能体数据、训练和评估。

LC-SEPLM: long-range contact-supervised adaptation for sequence-only protein representation learning

LC-SEPLM：用于仅序列蛋白质表示学习的远程接触监督适应

Chen Wang, Boming Kang, Qinghua Cui

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对蛋白质语言模型未明确学习三维残基接触的问题，提出LC-SEPLM，通过LoRA和远程残基对接触监督适配ESM2，经训练后在多项蛋白质任务上优于ESM2，证明该方法能有效引入结构信息并保留序列推理。

Flick: Few Labels Text Classification using K-Aware Intermediate Learning in Multi-Task Low-Resource Languages

Flick：在多任务低资源语言中使用K感知中间学习进行少标签文本分类

Ali Almutairi, Abdullah Alsuhaibani, Shoaib Jameel, Aditya Joshi, Gelareh Mohammadi, Imran Razzak

机构 * University of New South Wales Australia（新南威尔士大学（澳大利亚）） ； University of Technology Sydney Australia（悉尼科技大学（澳大利亚）） ； University of Southampton United Kingdom（南安普顿大学（英国）） ； Macquarie University Australia（麦考瑞大学（澳大利亚）） ； MBZUAI UAE（阿联酋人工智能研究所） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对低资源语言少标签文本分类难题，Flick提出从更广泛初始簇提炼高置信度伪标签，引入新的伪标签细化组件及自适应top-k选择机制，经14个数据集验证，展现出优越性能和适应性。

Like a Baby: Visually Situated Neural Language Acquisition

像婴儿一样：视觉情境下的神经语言习得

Alexander G. Ororbia, Ankur Mali, Mary Alexandria Kelly, David Reitter

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究视觉情境对神经语言模型下一词预测的好处，引入多模态神经架构，微调预训练BERT嵌入，发现多模态环境下语言模型表现更好，符合情境认知理论，不同语言和模型中视觉情境训练优势明显。

Comments Final submission (camera-ready), accepted to ACL 2019

Node-as-Agent: Graph Agentic Network

节点即智能体：图智能体网络

Minghao Guo, Xi Zhu, Qingyue Jiao, Xiujin Liu, Haochen Xue, Chong Zhang, Shuhang Lin, Jingyuan Huang, Ziyi Ye, Yongfeng Zhang

机构 * Rutgers University（罗格斯大学） ； University of Liverpool（利物浦大学） ； Fudan University（复旦大学） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对图神经网络不能处理节点信息不平衡及忽略全局语义关系的局限，提出检索增强图智能体网络ReaGAN，赋予节点自主决策能力，通过智能体规划和局部 - 全局检索实现自适应消息传播，在少样本设置下性能优异。

Comments 11 pages, work in progress

Breaking the Block: Preserving Data Continuity to Train Superior SAEs for Instruct Models

打破模块限制：保留数据连续性以训练用于指令模型的卓越稀疏自编码器

Jiaming Li, Haoran Ye, Yukun Chen, Xinyue Li, Lei Zhang, Hamid Alinejad-Rokny, Jimmy Chih-Hsien Peng, Min Yang

机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, China（中国科学院深圳先进技术研究所） ； University of Chinese Academy of Sciences, China（中国科学院大学） ； National University of Singapore, Singapore（新加坡国立大学） ； The University of New South Wales, Australia（新南威尔士大学） ； Shenzhen University of Advanced Technology, China（深圳先进技术大学） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对现有SAEs训练方法在指令模型中因注意力泄漏引入梯度噪声问题，提出FAST顺序训练范式，通过与数据分布和激活模式对齐，提升重建保真度和特征可解释性，实验显示该方法效果显著优于基线。

Trading Human Curation for Synthetic Augmentation in RLVR

在RLVR中用合成增强替代人工策展

Akshansh, Leonardo Rosa Rodrigues, Michael Korostelev, Youssef Hassan, Mark E. Whiting

机构 * Pareto AI 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过预指定、门控过滤的增强任务替代人工策展任务，在RLVR中实现成本效益权衡，并保持泛化性能。

Comments 21 pages, 5 main-text figures, 4 appendix figures. Preprint

MetaTT: A Global Tensor-Train Adapter for Parameter-Efficient Fine-Tuning

MetaTT: 一种用于参数高效微调的全局张量列适配器

Javier Lopez-Piqueres, Pranav Deshpande, Archan Ray, Mattia J. Villani, Marco Pistoia, Niraj Kumar

机构 * Global Technology Applied Research（全球技术应用研究） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MetaTT，一种基于张量列（TT）分解的适配器框架，通过共享单个TT因子化Transformer子模块，实现参数高效的多任务微调，并在单任务和多任务基准上达到竞争性性能。

Comments Accepted version to TMLR

Can VLMs Reason Robustly? A Neuro-Symbolic Investigation

VLM能稳健推理吗？一项神经符号研究

Weixin Chen, Antonio Vergari, Han Zhao

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究视觉语言模型在分布偏移下的推理稳健性，提出结合VLM概念识别与电路符号推理的神经符号方法VLC，在三个视觉演绎推理任务上实现更高的分布外准确率。

Comments TMLR 2026

Physics-Constrained Fine-Tuning of Flow-Matching Models for Generation and Inverse Problems

面向生成和逆问题的流匹配模型的物理约束微调

Jan Tauberschmidt, Sophie Fellenz, Sebastian J. Vollmer, Andrew B. Duncan

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Department of Computer Science, University of Kaiserslautern–Landau (RPTU)（凯泽斯劳滕-兰道大学计算机科学系） ； Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种微调流匹配生成模型以强制执行物理约束并解决科学系统逆问题的框架，通过微分后训练最小化偏微分方程弱形式残差，并联合优化可学习潜参数预测器，实现物理一致性与潜系数准确恢复。

Probabilistic Retrofitting of Learned Simulators

学习模拟器的概率性改造

Cristiana Diaconu, Miles Cranmer, Richard E. Turner, Tanya Marwah, Payel Mukhopadhyay

机构 * The Polymathic AI Collaboration（多智AI协作体） ； University of Cambridge（剑桥大学） ； Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种训练高效的策略，通过连续排序概率得分（CRPS）将预训练的确定性模型改造为概率模型，无需从头训练，适用于多种架构，在多个动力系统上显著提升预测性能。

Comments Code provided at https://github.com/cddcam/lola_crps

From Memorization to Parameter Interference: How Overtraining Experts Harms Model Merging

从记忆到参数干扰：过度训练专家如何损害模型合并

Stefan Horoi, Guy Wolf, Eugene Belilovsky, Gintare Karolina Dziugaite

机构 * Concordia University（康科德大学） ； Mila -- Québec AI Institute（魁北克人工智能研究所） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究专家模型微调过度对模型合并的影响，发现长时间微调导致记忆困难样本，造成参数干扰，降低合并性能，并提出任务相关的早停策略改善合并效果。

Comments Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

Grounding Computer Use Agents on Human Demonstrations

基于人类演示的计算机使用智能体基础构建

Aarash Feizi, Shravan Nayak, Xiangru Jian, Kevin Qinghong Lin, Kaixin Li, Rabiul Awal, Xing Han Lù, Johan Obando-Ceron, Juan A. Rodriguez, Nicolas Chapados, David Vazquez, Adriana Romero-Soriano, Reihaneh Rabbany, Perouz Taslakian, Christopher Pal, Spandana Gella, Sai Rajeswar

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； ServiceNow Research（ServiceNow研究） ； University of Waterloo（滑铁卢大学） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； Polytechnique Montréal（蒙特利尔理工学院） ； École de Technologie Supérieure（高级技术学院） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 为解决桌面环境高质量基础数据稀缺问题，构建了包含87个应用、56K截图和3.56M人工标注的GroundCUA数据集，并基于此训练GroundNext模型，在5个基准上以少于先前十分之一的数据取得最优结果。

Comments Accepted at ICLR 2026

Sparse Memory Finetuning as a Low-Forgetting Alternative to LoRA and Full Finetuning

稀疏记忆微调：作为LoRA和全微调的低遗忘替代方案

Prakhar Gupta, Garv Shah, Satyam Goyal, Anirudh Kanchi

机构 * University of Washington（华盛顿大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出稀疏记忆微调（SMF），通过添加键值记忆层并仅更新当前批次最活跃的记忆行，在MedMCQA任务上提升2.5个百分点，同时将遗忘探针（WikiText困惑度和TriviaQA准确率）控制在基线的1个百分点内，优于LoRA和全微调。

Self-Mined Hardness for Safety Fine-Tuning

自我挖掘的难度用于安全微调

Prakhar Gupta, Garv Shah, Donghua Zhang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出通过模型自身生成结果评估提示难度，对最难的提示进行安全微调，在Llama-3模型上将攻击成功率降至1-3%，但增加了拒绝率，通过混合良性提示可平衡性能。

Adapting Foundation ASR Models to Dysarthric Speech: A Case Study

将基础ASR模型适应于构音障碍语音：案例研究

Christian Huber, Laura Kernahan, Alexander Waibel

机构 * Interactive Systems Lab（交互系统实验室） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.CL

AI总结 通过个性化微调基础ASR模型，针对构音障碍语音将词错误率降至9.7%，验证了适应方法的有效性。

When Gradient Importance Lies: Adaptive LoRA Rank Allocation Fails Under GRPO

基于GRPO的LoRA秩分配：一项实证研究

Yash Ganpat Sawant

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.CL

AI总结 本文探讨LoRA秩分配在强化学习中的有效性，发现GRPO环境下梯度重要性无法预测容量需求，非均匀分配反而降低准确性。

Comments Accepted at the Insights from Negative Results in NLP Workshop, EMNLP 2026

CoLA: Cross-Modal Low-rank Adaptation for Multimodal Downstream Tasks

CoLA: 跨模态低秩适配用于多模态下游任务

Wish Suharitdamrong, Tony Alex, Muhammad Awais, Sara Atito

机构 * Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音和信号处理中心） ； University of Surrey（塞维利亚大学） ； Surrey Institute for People-Centred AI（以人为本的人工智能研究所） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.CL

AI总结 提出CoLA框架，通过引入跨模态适配路径扩展LoRA，实现双流架构中单模态基础模型的高效多模态适配，在视觉-语言和音频-视觉任务上分别提升约3%和2%的相对性能。

Comments Accepted by ICML 2026, 17 pages, 6 Figures

KrishokChat: A Provenance-Traceable Multi-Task Bengali Agricultural Benchmark with Safety-Critical Chemical Advisory

KrishokChat: 一个基于引用的孟加拉语农业咨询数据集与基准

Khan Raiyan Ibne Reza, Sumaiya Tabassum Nimi, Omar Ibne Shahid

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 提出KrishokChat，首个基于引用的孟加拉语农业指令微调数据集，通过分层知识节点扩展生成14.55万QA对，并引入农夫基准评估，发现微调改善格式但化学剂量泛化仍困难，强调其作为RAG知识库的价值。

GLAM: Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging

GLAM：基于分组LoRA适配器合并的大规模高效持续学习

Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

机构 * University of Pisa（比萨大学） ； Indian Institute of Technology Bombay（孟买印度理工学院） ； University of Warwick（沃里克大学） ； LUISS University（LUISS大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 GLAM是基于LoRA适配器合并的类增量持续学习框架，通过分组、剪枝等技术，在50任务序列的视觉基准上实现最高准确率，仅用16-19%可训练参数，训练时间减少63-74%。

Comments Accepted at the Conference on Lifelong Learning Agents (CoLLAs 2026)

When Do LLMs Admit Their Mistakes? Understanding The Role Of Model Belief In Retraction

LLMs何时会承认错误？理解模型信念在撤回中的作用

Yuqing Yang, Robin Jia

机构 * University of Southern California（南加州大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；分类 cs.CL

AI总结 研究揭示LLMs在生成时基于内部信念而非参数知识进行撤回，监督微调可提升其撤回性能。

Comments CoLM 2026

Compliance2LoRA: Personalizable On-Demand Safety Alignment on Arbitrary Policy Subsets via Hypernetwork-Generated LoRA Adapters

Compliance2LoRA：通过超网络生成的LoRA适配器对任意策略子集进行按需安全对齐

Pankayaraj Pathmanathan, Furong Huang

机构 * University of Maryland College Park（马里兰大学帕克分校） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.LG

AI总结 Compliance2LoRA是一种自适应超网络框架，可通过生成LoRA适配器，在单个大型推理模型上实现对任意安全策略子集的按需对齐，且不牺牲任务性能。

Do You Really Need to Pretrain Q-Functions for Online RL Fine-Tuning?

在线RL微调真的需要预训练Q函数吗？

Perry Dong, Ron Polonsky, Dorsa Sadigh, Chelsea Finn

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：pretraining(abstract)；分类 cs.LG

AI总结 本文针对在线RL微调是否需预训练Q函数的问题，发现预训练Q函数增益有限，提出IPE方法，在连续控制基准中使微调性能平均提升1.26倍。

Comments Fixed typo in author name

Disentangling MLP Neuron Weights in Vocabulary Space

解构词汇空间中的MLP神经元权重

Asaf Avrahamy, Yoav Gur-Arieh, Mor Geva

机构 * Blavatnik School of Computer Science and AI, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学与人工智能学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 本文提出ROTATE方法，通过优化神经元权重旋转以最大化词汇空间的峰度，解构MLP神经元权重，揭示词汇通道，提升语言模型可解释性。

Comments Accepted at COLM 2026

MoPET: Parameter-Efficient Mixture-of-Experts for Unified Medical Image Classification

MoPET：面向统一医学图像分类的参数高效混合专家模型

Sebastian Doerrich, Daniel Würtinger, Francesco Di Salvo, Shyam Nandan Rai, Christian Ledig

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 MoPET作为参数高效混合专家模型，通过稀疏路由整合多任务PEFT专家，在MedMNIST基准上实现了医学图像分类准确率提升，缓解了跨域梯度冲突与负迁移问题。

Comments Accepted to EMA4MICCAI 2026

DynImmune-BERT: Dynamic Immune Repertoire Modeling with Neural ODE Driven Continuous Transformers

DynImmune-BERT：基于神经常微分方程驱动的连续变换器的动态免疫组库建模

Rong Fu, Yongtai Liu, Xiaowen Ma, Haoyu Zhao, Shuo Yin, Yiqing Lyu, Long Zhang, Wangyu Wu

机构 * University of Macau（澳门大学） ； Hanyang University（汉阳大学） ； Zhejiang University（浙江大学） ； Wuhan University（武汉大学） ； Tsinghua University（清华大学） ； South China University of Technology（华南理工大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 研究针对纵向T细胞受体组库建模问题，提出DynImmune-BERT模型，结合多种方法，能在有纵向组库结构时补充静态编码器，通过特定评估方式得出结果，对小外部队列和协议差异需谨慎解读。

Comments 13 pages, 6 figures

EmoFeedback$^2$: Reinforcement of Continuous Emotional Image Generation via LVLM-based Reward and Textual Feedback

EmoFeedback$^2$：基于LVLM的奖励与文本反馈的连续情绪图像生成强化

Kai Shu, Jingyang Jia, Gang Yang, Long Xing, Xun Chen, Aiping Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 EmoFeedback$^2$通过基于LVLM的奖励与文本反馈机制，提升连续情绪图像生成的质量与情绪保真度。

Auto-AEG: Scalable Data Construction for Open-Vocabulary Audio Event Grounding

Auto-AEG：用于开放词汇音频事件定位的可扩展数据构建

Zihan Zhang, Xize Cheng, Wenhao Yan, Tong Zhang, Dongjie Fu, Boyun Zhang, Yongbo He, Tao Jin

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究开放词汇音频事件定位任务，因数据稀缺受限。提出Auto-AEG可扩展管道，通过自动数据构建和模型微调构建监督，结合合成音频与伪标签训练，提升模型性能。

Comments Work in progress

Generalization from Low- to Moderate-Resolution Spectra with Neural Networks for Stellar Parameter Estimation: A Case Study with DESI

利用神经网络从低分辨率到中等分辨率光谱进行泛化：恒星参数估计的案例研究

Xiaosheng Zhao, Yuan-Sen Ting, Rosemary F. G. Wyse, Alexander S. Szalay, Yang Huang, László Dobos, Tamás Budavári, Viska Wei

机构 * Department of Physics \& Astronomy, The Johns Hopkins University, Baltimore, MD 21218, USA ； Department of Astronomy, The Ohio State University, 140 West 18th Avenue, Columbus, OH 43210, USA ； Center for Cosmology ； AstroParticle Physics (CCAPP), The Ohio State University, Columbus, OH 43210, USA ； Department of Computer Science, The Johns Hopkins University, Baltimore, MD 21218, USA ； School of Astronomy ； Space Science, University of Chinese Academy of Sciences, Beijing 100049, People's Republic of China ； National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, People's Republic of China ； Department of Information Systems, E\"otv\"os Lor\' ； University, Budapest 1117, Hungary ； Department of Applied Mathematics \& Statistics, Johns Hopkins University, Baltimore, MD 21218, USA 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 本研究利用神经网络从低分辨率到中等分辨率光谱进行泛化，通过预训练和微调策略提升恒星参数估计的准确性。

Comments 22 pages, 13 figures, 4 tables. Accepted for publication in ApJ. Comments welcome

Shift-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment

用于微调CLIP的移位感知校准：利用图像-文本对齐

Song-Lin Lv, Yu-Yang Chen, Zhi Zhou, Lan-Zhe Guo

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 研究针对微调CLIP时预测置信度与准确性不一致问题，提出无需训练的移位感知校准（SAC）方法，利用原始与微调CLIP输出对数差异作校准信号，经实验验证该方法在多数据集和微调方法上提升了校准效果。