语言大模型 / LLM

ScaleToT: Generalizing Structured LLM Reasoning for Billion-Scale Low-Activity User Modeling

ScaleToT: 将结构化LLM推理泛化到十亿级低活跃用户建模

Tianbao Ma, Chang Xi, Yichuan Zou, Chengen Li, Linxun Chen, Zilong Lu, Yanan Niu, Zhaojie Liu, Han Li, Kun Gai

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出ScaleToT，通过从少量LLM处理子集学习结构化推理并泛化到大规模低活跃用户，使用有界熵引导的思维树和OSIPO训练学生模型，在十亿级广告部署中提升LT30 6.738%。

Pushing the Limits of LLM Tool Calling via Experiential Knowledge Integration and Activation

通过经验知识集成与激活推动LLM工具调用极限

Yupu Hao, Zhuoran Jin, Huanxuan Liao, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究如何通过经验知识获取、激活和内化提升LLM多步工具调用性能，提出知识增强工具执行框架KATE，结合宽度扩展推理与知识感知训练，在BFCL-V3和AppWorld上显著优于基线。

L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling

L20-Edu-135M: 一个可审计的单GPU数据高效小语言模型研究

Yin Li

机构 * University of Birmingham（伯明翰大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；pretraining(abstract)

AI总结 本研究在单块NVIDIA L20 GPU上训练134.5M参数的语言模型，使用约13B tokens，通过数据筛选、去重、SFT和RLVR等方法，在零样本任务上达到SmolLM-135M 87.1%的性能，但仅使用其2.17%的tokens。

Comments 13 pages, 8 tables. Model available at https://huggingface.co/AliceYin/l20-edu-135m

Emergence of Context Characteristics Sensitivity in Large Language Models

大型语言模型中上下文特征敏感性的涌现

Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

机构 * Nanyang Technological University（南洋理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 通过测量监督微调、直接偏好优化和可验证奖励强化学习三个阶段，发现大型语言模型对上下文特征的敏感性在指令微调过程中动态变化，其中监督微调使模型倾向于使用易理解的上下文，而后续阶段可能强化或改变这一偏好。

Post-training is (Massive) Supervised Learning

后训练是（大规模）监督学习

Michael Hassid, Yossi Adi, Roy Schwartz

机构 * FAIR, Meta AI（Meta AI 基础人工智能研究团队） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文论证当前LLM后训练阶段（SFT+RL）实质是回归到BERT时代的“预训练-微调”范式，通过实验表明从零开始后训练的模型也能取得显著性能，并提出应转向“学会学习”的训练方式。

Why Large Language Models Fail at Tabular Prediction

为什么大型语言模型在表格预测任务中表现不佳

Marta Garnelo, Wojciech M. Czarnecki

机构 * Fundamental Technologies（基础技术） ； Voylab 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 该研究探究通用大型语言模型（LLM）在表格预测任务中表现不佳的原因，通过控制实验排除了数据噪声、CSV格式等因素，发现维度是关键，LLM准确率随维度增长下降，而经典基线方法不受影响。

Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes

智能并非瓶颈：验证LLM初稿评分与同行评审结果的一致性

Costa Georgantas

机构 * aipr.pub（aipr实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究验证了LLM系统AIPR通过提示对论文进行评分，无需微调，其整体评分能有效区分ICLR会议的接收与拒绝论文（AUROC 0.82），且评分稳定、可复现，为辅助同行评审提供了可靠依据。

Comments 34 pages, 14 figures

Fine-Tuning Small Language Models for Reliable VASP INCAR Generation

微调小型语言模型以生成可靠的VASP INCAR文件

Xinyue Zhang, Jixiang Li, Bin Shao, Baishun Yang, Zhiyang Liu, Weichao Wang

专题命中 指令微调 ：SLM(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；LLM(abstract)

AI总结 本研究通过微调小型语言模型（SLM）并搭配后处理器VASPGuard构建INCAR-SLM，在INCARBench上优于通用大模型，证明小型模型经适配可可靠生成VASP INCAR文件，适配后性能随规模增长趋于饱和。

DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

DIVE：通过多样性驱动的技能进化解锁冻结语言模型的自我提升

Siheng Xiong, Ali Payani, Oguzhan Gungordu, Faramarz Fekri

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 DIVE是一种多样性驱动的无参数框架，可让冻结LLM从任务经验和验证器反馈中进化出自然语言技能，在多项推理任务上优于现有方法，还能实现模型间技能迁移，让小模型性能匹配或超越大模型。

Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation

评估本地大语言模型（LLM）机器翻译中的提示范围与示例相似性

Mihael Arcan

机构 * Home Lab（家庭实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文以9种欧盟语言为对象，对比3款本地LLM与专用MT基线，研究提示范围、示例选择对机器翻译的影响，发现专用MT系统仍最优，嵌入检索对强LLM效果较好，语族范围提示对强LLM可行但存在小型模型缺陷。

On The Effectiveness-Fluency Trade-Off In LLM Conditioning: A Systematic Study

论LLM条件控制中的效果-流畅性权衡：一项系统性研究

Iuri Macocco, Pau Rodríguez, Arno Blaas, Luca Zappella, Marco Baroni, Xavier Suau

机构 * Universitat Pompeu Fabra（庞培法布拉大学） ； Apple（苹果公司） ； ICREA（加泰罗尼亚研究与高级研究所） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 系统研究LLM条件控制方法在注入和移除目标概念时的效果与流畅性权衡，发现高效引导方法常以牺牲流畅性为代价，且激活引导方法在指令调优模型上效果较差。

Comments 8 pages, 2 figure

Locally Deployable Small Language Models for Emergency Department Decision Support: A Systematic Benchmark of Fine-Tuning Strategies

可本地部署的小型语言模型用于急诊科决策支持：微调策略的系统基准测试

Qingfeng Zhang, Yuanxiong Guo, Yanmin Gong

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)

AI总结 该研究针对急诊科决策支持的隐私风险，通过基准测试发现经LoRA微调的开源小型语言模型在分诊和转诊任务上优于商业模型，可本地部署且具备临床竞争力。

Comments Accepted to AMIA 2026 Annual Symposium

LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes

LoRAScan：通过下投影激活尖峰检测大语言模型低秩适配器中的后门提示

Doniyorkhon Obidov, Honggang Yu, Xiaolong Guo, Kaichen Yang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 LoRAScan是首个无需修改适配器参数、在推理时检测并拒绝含触发词输入的适配器感知防御方法，在LLM后门基准测试中拒98.49%恶意输入，性能优于现有方法。

An Omnilingual-ASR-Based Speech-LLM System for the 2nd MLC-SLM Challenge

用于第二届MLC-SLM挑战赛的基于全语言自动语音识别的语音语言模型系统

Shuming Fang, Shuifei Zeng

专题命中 指令微调 ：SLM(title,title_cn)；LLM(title,abstract)；分类 cs.AI

AI总结 该研究针对第二届MLC-SLM挑战赛任务1，提出级联分帧识别系统，结合多种技术，测试无先验信息。分析工程选择影响，如基于嵌入的聚类更优，重叠感知分割虽提召回率但增加tcpMER，在开发集和评估集有相应表现。

Comments Accepted to INTERSPEECH 2026. 4 pages + references. Technical description of our 2nd MLC-SLM Challenge Task 1 submission

Identifying Implicit Bias in LLM-based Chat AI Toward People with Intellectual Disabilities

识别基于大语言模型（LLM）的聊天人工智能对智力障碍人群的隐含偏见

Karly V. Coffey, Gloria L. Krahn, John P. Hanley, Jacob E. Neely

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对5款LLM聊天AI生成的25000个故事，分析发现其对智力障碍人群存在将其矮化、依赖化等负面隐含偏见，呼吁AI开发警惕此类偏见并加以缓解。

Journal ref Karly V. Coffey, Gloria L. Krahn, John P. Hanley, Jacob E. Neely, Identifying implicit bias in LLM-based chat AI toward people with intellectual disabilities, Disability and Health Journal, 2026, 102086, ISSN 1936-6574

Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based Study

基于大型语言模型的危机报告中因果证据提取与三角验证：一项基于ReliefWeb的研究

Yuanjun Zhang, Mourad Oussalah

机构 * University of Oulu（奥卢大学） ； LUT University（拉普兰塔理工大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 该研究基于ReliefWeb数据，提出两阶段LLM流水线提取危机报告中结构化因果证据，结合上下文保留的三角验证方法，在100份专家标注报告中取得优异性能，为现金援助的食品相关结果提供了高收敛性证据。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 32478-32491, 2026

Energy- and Memory-Efficient PEFT Methods for Personalized On-Device SLMs on Consumer GPUs

面向消费级GPU上个性化端侧小型语言模型（SLM）的高能效、低内存参数高效微调（PEFT）方法

Kuanysh Akhmetzhanov, Jurn-Gyu Park

机构 * Nazarbayev University（纳扎尔巴耶夫大学） 纠错

专题命中 指令微调 ：SLM(title_cn,summary_cn)；LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对消费级GPU上的个性化端侧SLM，对比五种PEFT方法在四类SLM、六项基准任务的能耗与内存表现，发现LoRA+是多数场景的最优PEFT方法，QLoRA在内存受限场景具优势，为端侧个性化LLM部署提供了能耗与内存平衡的可行方案。

Personalizing Large Language Model Agents with Small Policy Models

用小型策略模型个性化大型语言模型智能体

Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究提出轻量级策略层FABLE，通过在线学习用户执行策略实现LLM智能体个性化，在多类评估中改进偏好敏感行为且保持端到端任务性能。

Internalizing the Future: A Unified Agentic Training Paradigm for World Model Planning

内化未来：一种统一的世界模型规划智能体训练范式

Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出一种三阶段训练范式（WM-AMT、FE-SFT、FC-RL），使LLM智能体内化世界模型以进行前瞻性规划，在搜索和数学推理任务上优于基线方法。

From Prompts to Responses: Dual-Sided Data Leakage and Defense in Split Large Language Models

从提示到响应：分割大语言模型中的双面数据泄露与防御

Zixuan Gu, Xiaojun Ye, Yang Liu

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出PIDI攻击方法，同时泄露分割LLM中的输入提示和输出响应；并设计ADMI防御机制，通过适配器热身和互信息正则化有效抵御攻击。

Comments 18 pages, Accepted at ICML 2026

SLMs as Multi-Agent Routers: A Progressive SFT and Reinforcement Learning Approach

小型语言模型（SLMs）作为多智能体路由器：一种渐进式监督微调与强化学习方法

Gayathri V Kondapalli, Alexander Ng, Hirsh Pithadia, Rahul Monish, Harvey Yorke, Amir Kayhani

机构 * Valyu AI ； University of Warwick（华威大学） ； University College London（伦敦大学学院） 纠错

专题命中 指令微调 ：SFT(title,abstract_cn)；SLM(summary_cn,abstract_cn)；LLM(abstract,abstract_cn)；language model(abstract)

AI总结 该研究提出用小型语言模型（SLM）结合渐进式监督微调与强化学习的方法，解决多智能体路由中仅基于意图选择的局限，在智能体-查询不匹配子集及总体NDCG@10指标上均优于仅基于意图路由的大语言模型基线，且选择延迟更低。

Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently

RLVR 相对于 SFT 在推理模型中的可证明优势：学习高效回溯

Stanley Wei, Juno Kim

机构 * Princeton University（普林斯顿大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从理论上证明，在推理任务中，基于可验证奖励的强化学习（RLVR）相比监督微调（SFT）能学习高效回溯，从而在推理时计算上实现指数级优势。

GraphInfer-Bench: Benchmarking LLM's Inference Capability on Graphs

GraphInfer-Bench：评估LLM在图上的推理能力基准

Zhuoyi Peng, Jingzhou Jiang, Hanlin Gu, Lixin Fan, Yi Yang

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Webank（微众银行） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出GraphInfer-Bench基准，通过五个任务（描述与比较）测试LLM能否从节点及其邻域推断出无法从单节点或路径检索的答案，发现所有方法均存在差距。

Comments Code: https://github.com/graphinfer/GraphInfer-Bench ; Dataset: https://huggingface.co/datasets/graphinfer/graphinfer

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

视觉还是认知？多模态大语言模型的视觉上下文敏感性

Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

机构 * University of Copenhagen（哥本哈根大学） ； University of Cambridge（剑桥大学） ； ETH Zürich（苏黎世联邦理工学院） ； Clemson University（克莱姆森大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 该研究探究多模态大语言模型在视觉证据与先验冲突任务上的失效原因，引入WhatIfVis基准，发现其能编码视觉证据但难以控制对其的依赖，监督微调等方法可提升可控性。

Exploring LLM Capabilities for Situational Understanding and COLREG compliance on real-world maritime navigation scenarios

探索大语言模型（LLM）在现实世界海事航行场景中的情境理解与《国际海上避碰规则》（COLREG）遵从能力

Julius Wirbel, P. Nicholas Hansen, Line K. H. Clemmensen, Roberto Galeazzi

机构 * Technical University of Denmark（丹麦技术大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究探索LLM在海事航行中的应用，构建含50个真实场景的AIS数据集，评估不同LLM的理解与推理能力，发现不微调则难以解决海事航行任务。

Comments Submitted and accepted to the IFAC WC 2026 as an invited session paper for track 7.2 Transportation and Vehicle Systems - Marine Systems

Hyper-ES: Effective Evolution Strategies for LLM Reasoning via Descent Direction Merging

Hyper-ES：通过下降方向合并实现LLM推理的有效进化策略

Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

机构 * Southern University of Science and Technology（南方科技大学） ； National University of Singapore（新加坡国立大学） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出Hyper-ES框架，通过梯度微调获取下降方向张成子空间，再用CMA-ES优化DARE-TIES合并系数，在数学推理任务上性能优于GRPO-LoRA，梯度更新量减少10%。

Comments 19 pages, 4 figures, 14 tables. Code: https://github.com/kuangrepi/Hyper-ES

Auditing Data Provenance in LLM Fine-tuning via Intrinsic Distributional Fingerprints

基于内在分布指纹的LLM微调数据来源审计

Zirui Huang, Yunlong Mao, Wei Tong, Tingting Wu, Xin Ge, Sheng Zhong

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM微调的数据IP侵权审计难题，提出事后框架DPA，通过内在分布指纹实现黑盒恶意场景下的可靠审计，性能优于基线且抗混淆，同时存在审计与隐私攻击的两用张力。

Comments This is the extended version of CCS'26 paper https://doi.org/10.1145/3830454.3832639

From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning

从推理轨迹到可复用模块：理解语言模型推理中的组合泛化

Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Institute of Foundation Models（基础模型研究院） ； University of Michigan（密歇根大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)

AI总结 本文通过层次化潜在选择模型形式化组合泛化，理论证明SFT提供原子模块，RL分解轨迹实现组合泛化，实验验证RL能从复合轨迹中提取原子模块并重组解决新配置。

Comments ICML2026

A Systematic Approach to Multi-Agent AI from Advanced Regulatory Control Theory: Safe and Auditable LLM Operator Agents for Process Control

基于先进调节控制理论的多智能体AI系统化方法：用于过程控制的安全且可审计的LLM操作员智能体

Idelfonso B. R. Nogueira, Sigurd Skogestad

机构 * Norwegian University of Science and Technology (NTNU)（挪威科技大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出将先进调节控制理论映射为多智能体系统，每个反馈回路对应一个专业LLM操作员智能体，通过确定性或LLM编排器解决约束冲突，在奶牛场通风案例中实现可审计轨迹。

LLM-Based Synthetic Ground Truth Generation for Audio-Based Emotion Classification via In-Context Learning

基于上下文学习的音频情感分类的LLM合成真实标签生成

Qing Huang, Pooja Pol, Jianing Zhang

机构 * School of Business, Technical University of Applied Sciences Augsburg（应用技术大学阿沙芬堡商学院） ； Data Science und Autonome Systeme Technologietransferzentrum (TTZ)（数据科学与自主系统技术转移中心（TTZ）） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出利用大语言模型（LLM）和上下文学习（ICL）从多用户VR环境的流式语音数据中自动生成情感相关合成真实标签，解决团队协作状态标注难题。

Comments https://icaiit.org/paper.php?paper=14th_ICAIIT_2/3_9