语言大模型 / LLM

Sub-Billion, Super-Frontier: Small Language Models Rival Zero-Shot Frontier LLMs on General and Literary Relation Extraction

十亿以下，超级前沿：小语言模型在通用和文学关系抽取上媲美零样本前沿LLM

Despina Christou, Grigorios Tsoumakas

机构 * School of Informatics, Aristotle University of Thessaloniki（亚里士多德大学塞萨洛尼基分校信息学院） ； Archimedes, Athena Research Center（雅典娜研究中心阿基米德实验室） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；language model(title,abstract)；small language model(title,abstract)；SLM(summary_cn,abstract_cn)

AI总结 研究小语言模型（SLM）在通用和文学关系抽取任务上能否通过任务适配缩小与零样本前沿LLM的差距，发现4位SLM经微调后性能超越GPT-5.4和Claude Sonnet 4.6，归因于任务适配而非生成解码。

Comments 41 pages, 3 figures, 25 tables

Similar Models Learn Differently: Final-Window Pretraining Shapes Post-Training Beyond SFT

相似模型学习方式不同：最终窗口预训练对训练后行为的塑造超越监督微调

Cen Lu, Yung-Chen Tang, Andrea Cavallaro

专题命中 指令微调 ：SFT(title,summary_cn)；pretraining(title,abstract)；post-training(title,abstract)；instruction tuning(abstract)

AI总结 研究探讨模型预训练最后窗口对训练后行为的影响，通过控制实验发现不同预训练最后窗口数据的分支，SFT后表现相近，但后续训练走向不同，安全文本分支有保护效果，表明不能仅依SFT后行为评估模型，还应考虑预训练最后内容。

Comments 16 pages, 13 figures

Trade-offs in Medical LLM Adaptation: An Empirical Study in French QA

医学LLM适应中的权衡：法语问答的实证研究

Ikram Belmadani, Oumaima El Khettari, Carlos Ramisch, Frederic Bechet, Richard Dufour, Benoit Favre

机构 * Aix-Marseille Univ., CNRS, LIS UMR 7020（艾克斯-马赛大学，法国国家科学研究中心，LIS UMR 7020） ； Nantes Univ., École Centrale Nantes, CNRS, LS2N UMR 6004（南特大学，南特中央理工大学，法国国家科学研究中心，LS2N UMR 6004） ； Grenoble Alpes Univ., CNRS, INRIA, Grenoble INP, LIG UMR 5217（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，INRIA，格勒诺布尔INP，LIG UMR 5217） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过法语医学问答任务，实证比较持续预训练（CPT）和监督微调（SFT）在多个模型家族和规模下的效果，发现CPT+SFT在多项选择问答上最优但增益小，SFT是强且经济的默认选择，而CPT在开放式问答中提升重叠指标。

SyncPlan: Long-Horizon LLM Coordination with Explicit Synchronization and Adaptive Correction

SyncPlan：通过显式同步与自适应修正实现长视 Large Language Model（大语言模型，LLM）协调

Shen You, Xiaoming Zhu, Weining Weng, Hefei Mei, Weixuan Wang, Zhongshen Li, Zeji LI, Ye-Wen Wang, Zijun Liao, Juchao Zhuo, Yang Wei, Fuhao Qiu, Siqin Li, Zhenjie Lian, Danei Gong, Junkai Ji, Xiangtao Li, Qiuzhen Lin, Liang Wang, Ka-Chun Wong

专题命中 指令微调 ：LLM(title,title_cn)；large language model(title_cn)；language model(title_cn)；SFT(abstract,abstract_cn)

AI总结 SyncPlan 是用于长视 LLM 多智能体协调的“规划-执行-修正”框架，通过显式同步、自适应修正及轻量级计划过时检测器优化，在低耗时下实现了超越现有方法的任务成功率。

Repository-Level Solidity Code Generation with Large Language Models: From Prompting to Fine-Tuning

基于大语言模型的仓库级Solidity代码生成：从提示到微调

Shi Chen, Rongcun Wang, Yuan Tian, Xiaoyuan Xie, Wei Song, Rubing Huang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)

AI总结 提出SolidityBench基准和SolidityScore指标，评估多种LLM方法在仓库级Solidity代码生成中的表现，发现监督微调最有效。

Comments 33 pages

Large Language Model for Operations Research Formulation Selection in Multi-Warehouse Inventory Allocation

用于多仓库库存分配中运筹学公式选择的大语言模型

Jintao Xu, Yingzheng Ma, Jiong Dong, Yongzhi Qi, Jianshen Zhang

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 研究多仓库库存分配中运筹学公式选择问题，提出求解器引导的大语言模型框架，通过构建SFT记录、转换质量差距为偏好等进行训练，实验表明GRPO能显著提高选择准确性和分配质量。

Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning

解锁语音-文本组合能力：无需指令微调的指令跟随语音语言模型

Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang

机构 * University of California, Santa Barbara, USA（加州大学圣芭芭拉分校） ； MIT-IBM Computing Research Lab, IBM Research, USA（麻省理工-IBM计算研究实验室，IBM研究） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；SLM(abstract,abstract_cn)

AI总结 提出SpeechCombine，通过单轮30k小时语音预训练和权重组合，无需指令微调即可实现指令跟随，有效将文本LLM能力迁移至语音域。

Fine-Tuning Large Language Models for Quantum Reasoning

微调大型语言模型用于量子推理

Katherine Ip, Casey R. Myers, Udaya Parampalli, James Quach, Peiyong Wang

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算机与信息系统学院） ； School of Physics, Mathematics and Computing, The University of Western Australia（西澳大学物理、数学与计算学院） ； Pawsey Supercomputing Centre（帕韦西超级计算中心） ； CSIRO Clayton（CSIRO 克莱顿分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)

AI总结 提出通过量子电路模拟微调LLM，比较监督微调与两阶段SFT+GRPO方法，实现量子推理能力提升。

Comments 30 pages, 9 figures

From Tokens to Regions: CUDA-Sensitive Instruction Tuning for GPU Kernel Generation

从令牌到区域：面向GPU内核生成的CUDA敏感指令微调

Wentao Chen, Jiace Zhu, Xing Zhe Chai, Zeng Qu, Qiaoling Xiao, Liucheng Duan, An Zou

机构 * Shanghai Jiao Tong University（上海交通大学） ； Biren Technology（壁仞科技） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；instruction tuning(title)；large language model(abstract)

AI总结 提出CuSeT方法，通过自适应令牌级掩码和区域感知样本重加权，在简单SFT框架内提升LLM生成CUDA内核的功能正确性。

When RL Fails after SFT: Rejuvenating Model Plasticity for Robust SFT-to-RL Handoff

当强化学习在监督微调后失效：恢复模型可塑性以实现稳健的SFT到RL交接

Runze Liu, Jiashun Liu, Xu Wan, Yuqian Fu, Ling Pan

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University（浙江大学） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（多模态人工智能系统国家重点实验室，CASIA） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对SFT过度训练导致RL阶段改进有限的问题，提出Rejuvenation方法，通过基模型锚定融合和神经元重置恢复模型可塑性，在数学推理和智能体任务上提升RL性能。

ConnectionMind: Leveraging Social Networks and Large Language Models for Personalized Recommendation at Meta

ConnectionMind：利用社交网络与大语言模型实现 Meta 平台的个性化推荐

Haoyu Han, Yuming Liu, Lei Huang, Lizhu Zhang, Jiliang Tang, Xiangjun Fan

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 该研究提出 ConnectionMind 框架，结合社交网络与 LLM，经两阶段学习训练后，在 Meta 部署并通过 A/B 测试实现视频观看时长 0.43% 的提升，解决传统推荐模型的多关系上下文整合不足问题。

Reinforcement learning to improve large language model-based automated code compliance systems

强化学习改进基于大语言模型的自动化代码合规系统

Jack Wei Lun Shi, Minghao Dang, Wawan Solihin, Leong Hien Poh, Justin K. W. Yeoh

机构 * National University of Singapore（新加坡国立大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； NovaCITYNETS 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 提出P4IR两阶段框架，先通过监督微调注入领域知识，再用GRPO优化高层代码骨架的准确性，在零样本设置下优于多个领先大语言模型。

Comments 22 pages, 12 figures, 1 table

ScaleToT: Generalizing Structured LLM Reasoning for Billion-Scale Low-Activity User Modeling

ScaleToT: 将结构化LLM推理泛化到十亿级低活跃用户建模

Tianbao Ma, Chang Xi, Yichuan Zou, Chengen Li, Linxun Chen, Zilong Lu, Yanan Niu, Zhaojie Liu, Han Li, Kun Gai

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出ScaleToT，通过从少量LLM处理子集学习结构化推理并泛化到大规模低活跃用户，使用有界熵引导的思维树和OSIPO训练学生模型，在十亿级广告部署中提升LT30 6.738%。

Pushing the Limits of LLM Tool Calling via Experiential Knowledge Integration and Activation

通过经验知识集成与激活推动LLM工具调用极限

Yupu Hao, Zhuoran Jin, Huanxuan Liao, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究如何通过经验知识获取、激活和内化提升LLM多步工具调用性能，提出知识增强工具执行框架KATE，结合宽度扩展推理与知识感知训练，在BFCL-V3和AppWorld上显著优于基线。

L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling

L20-Edu-135M: 一个可审计的单GPU数据高效小语言模型研究

Yin Li

机构 * University of Birmingham（伯明翰大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；pretraining(abstract)

AI总结 本研究在单块NVIDIA L20 GPU上训练134.5M参数的语言模型，使用约13B tokens，通过数据筛选、去重、SFT和RLVR等方法，在零样本任务上达到SmolLM-135M 87.1%的性能，但仅使用其2.17%的tokens。

Comments 13 pages, 8 tables. Model available at https://huggingface.co/AliceYin/l20-edu-135m

Emergence of Context Characteristics Sensitivity in Large Language Models

大型语言模型中上下文特征敏感性的涌现

Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

机构 * Nanyang Technological University（南洋理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 通过测量监督微调、直接偏好优化和可验证奖励强化学习三个阶段，发现大型语言模型对上下文特征的敏感性在指令微调过程中动态变化，其中监督微调使模型倾向于使用易理解的上下文，而后续阶段可能强化或改变这一偏好。

Post-training is (Massive) Supervised Learning

后训练是（大规模）监督学习

Michael Hassid, Yossi Adi, Roy Schwartz

机构 * FAIR, Meta AI（Meta AI 基础人工智能研究团队） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文论证当前LLM后训练阶段（SFT+RL）实质是回归到BERT时代的“预训练-微调”范式，通过实验表明从零开始后训练的模型也能取得显著性能，并提出应转向“学会学习”的训练方式。

Why Large Language Models Fail at Tabular Prediction

为什么大型语言模型在表格预测任务中表现不佳

Marta Garnelo, Wojciech M. Czarnecki

机构 * Fundamental Technologies（基础技术） ； Voylab 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 该研究探究通用大型语言模型（LLM）在表格预测任务中表现不佳的原因，通过控制实验排除了数据噪声、CSV格式等因素，发现维度是关键，LLM准确率随维度增长下降，而经典基线方法不受影响。

Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes

智能并非瓶颈：验证LLM初稿评分与同行评审结果的一致性

Costa Georgantas

机构 * aipr.pub（aipr实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究验证了LLM系统AIPR通过提示对论文进行评分，无需微调，其整体评分能有效区分ICLR会议的接收与拒绝论文（AUROC 0.82），且评分稳定、可复现，为辅助同行评审提供了可靠依据。

Comments 34 pages, 14 figures

Fine-Tuning Small Language Models for Reliable VASP INCAR Generation

微调小型语言模型以生成可靠的VASP INCAR文件

Xinyue Zhang, Jixiang Li, Bin Shao, Baishun Yang, Zhiyang Liu, Weichao Wang

专题命中 指令微调 ：SLM(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；LLM(abstract)

AI总结 本研究通过微调小型语言模型（SLM）并搭配后处理器VASPGuard构建INCAR-SLM，在INCARBench上优于通用大模型，证明小型模型经适配可可靠生成VASP INCAR文件，适配后性能随规模增长趋于饱和。

DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

DIVE：通过多样性驱动的技能进化解锁冻结语言模型的自我提升

Siheng Xiong, Ali Payani, Oguzhan Gungordu, Faramarz Fekri

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 DIVE是一种多样性驱动的无参数框架，可让冻结LLM从任务经验和验证器反馈中进化出自然语言技能，在多项推理任务上优于现有方法，还能实现模型间技能迁移，让小模型性能匹配或超越大模型。

Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation

评估本地大语言模型（LLM）机器翻译中的提示范围与示例相似性

Mihael Arcan

机构 * Home Lab（家庭实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文以9种欧盟语言为对象，对比3款本地LLM与专用MT基线，研究提示范围、示例选择对机器翻译的影响，发现专用MT系统仍最优，嵌入检索对强LLM效果较好，语族范围提示对强LLM可行但存在小型模型缺陷。

On The Effectiveness-Fluency Trade-Off In LLM Conditioning: A Systematic Study

论LLM条件控制中的效果-流畅性权衡：一项系统性研究

Iuri Macocco, Pau Rodríguez, Arno Blaas, Luca Zappella, Marco Baroni, Xavier Suau

机构 * Universitat Pompeu Fabra（庞培法布拉大学） ； Apple（苹果公司） ； ICREA（加泰罗尼亚研究与高级研究所） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 系统研究LLM条件控制方法在注入和移除目标概念时的效果与流畅性权衡，发现高效引导方法常以牺牲流畅性为代价，且激活引导方法在指令调优模型上效果较差。

Comments 8 pages, 2 figure

Locally Deployable Small Language Models for Emergency Department Decision Support: A Systematic Benchmark of Fine-Tuning Strategies

可本地部署的小型语言模型用于急诊科决策支持：微调策略的系统基准测试

Qingfeng Zhang, Yuanxiong Guo, Yanmin Gong

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)

AI总结 该研究针对急诊科决策支持的隐私风险，通过基准测试发现经LoRA微调的开源小型语言模型在分诊和转诊任务上优于商业模型，可本地部署且具备临床竞争力。

Comments Accepted to AMIA 2026 Annual Symposium

LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes

LoRAScan：通过下投影激活尖峰检测大语言模型低秩适配器中的后门提示

Doniyorkhon Obidov, Honggang Yu, Xiaolong Guo, Kaichen Yang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 LoRAScan是首个无需修改适配器参数、在推理时检测并拒绝含触发词输入的适配器感知防御方法，在LLM后门基准测试中拒98.49%恶意输入，性能优于现有方法。

An Omnilingual-ASR-Based Speech-LLM System for the 2nd MLC-SLM Challenge

用于第二届MLC-SLM挑战赛的基于全语言自动语音识别的语音语言模型系统

Shuming Fang, Shuifei Zeng

专题命中 指令微调 ：SLM(title,title_cn)；LLM(title,abstract)；分类 cs.AI

AI总结 该研究针对第二届MLC-SLM挑战赛任务1，提出级联分帧识别系统，结合多种技术，测试无先验信息。分析工程选择影响，如基于嵌入的聚类更优，重叠感知分割虽提召回率但增加tcpMER，在开发集和评估集有相应表现。

Comments Accepted to INTERSPEECH 2026. 4 pages + references. Technical description of our 2nd MLC-SLM Challenge Task 1 submission

LLM-Based Generative Retrieval for Snapchat Content Recommendation

基于大语言模型的生成式检索用于Snapchat内容推荐

Liam Collins, Jiwen Ren, Donald Loveland, Bhuvesh Kumar, Clark Mingxuan Ju, Xuan Guo, Mo Li, Alvin Hou, Yi Cui, Peng Yang, Jian Wang, Saud Afzal Shafi, Nga Than, Ruiming Lu, Wenfeng Zhuo, Dongheng Li, Lili Zhang, Mingtao Zhang, Jinchao Ye, Vincent Xue, Chunhui Zhu, Neil Shah

专题命中 指令微调 ：LLM(title,summary_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对将预训练LLM转化为生成式检索器的挑战，设计了SnapLGR系统，通过三项核心优化实现了Snapchat短视频推荐效果的提升。

Identifying Implicit Bias in LLM-based Chat AI Toward People with Intellectual Disabilities

识别基于大语言模型（LLM）的聊天人工智能对智力障碍人群的隐含偏见

Karly V. Coffey, Gloria L. Krahn, John P. Hanley, Jacob E. Neely

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对5款LLM聊天AI生成的25000个故事，分析发现其对智力障碍人群存在将其矮化、依赖化等负面隐含偏见，呼吁AI开发警惕此类偏见并加以缓解。

Journal ref Karly V. Coffey, Gloria L. Krahn, John P. Hanley, Jacob E. Neely, Identifying implicit bias in LLM-based chat AI toward people with intellectual disabilities, Disability and Health Journal, 2026, 102086, ISSN 1936-6574

Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based Study

基于大型语言模型的危机报告中因果证据提取与三角验证：一项基于ReliefWeb的研究

Yuanjun Zhang, Mourad Oussalah

机构 * University of Oulu（奥卢大学） ； LUT University（拉普兰塔理工大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 该研究基于ReliefWeb数据，提出两阶段LLM流水线提取危机报告中结构化因果证据，结合上下文保留的三角验证方法，在100份专家标注报告中取得优异性能，为现金援助的食品相关结果提供了高收敛性证据。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 32478-32491, 2026

Energy- and Memory-Efficient PEFT Methods for Personalized On-Device SLMs on Consumer GPUs

面向消费级GPU上个性化端侧小型语言模型（SLM）的高能效、低内存参数高效微调（PEFT）方法

Kuanysh Akhmetzhanov, Jurn-Gyu Park

机构 * Nazarbayev University（纳扎尔巴耶夫大学） 纠错

专题命中 指令微调 ：SLM(title_cn,summary_cn)；LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对消费级GPU上的个性化端侧SLM，对比五种PEFT方法在四类SLM、六项基准任务的能耗与内存表现，发现LoRA+是多数场景的最优PEFT方法，QLoRA在内存受限场景具优势，为端侧个性化LLM部署提供了能耗与内存平衡的可行方案。