语言大模型 / LLM

Large Language Models for Fault Localization: An Empirical Study

用于故障定位的大语言模型：一项实证研究

Yingjian Xiao, Weiwei Gong, Jianjun Huang, Rongqun Hu, Hongwei Li, Anquan Jie, Boyang Yang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文通过在HumanEval-Java、Defects4J数据集上评估四款LLMs，对比非LLM基线，分析不同提示策略，明确其在语句级故障定位的优缺与实际权衡，为软件工程应用提供实证支持。

Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation

评估本地大语言模型（LLM）机器翻译中的提示范围与示例相似性

Mihael Arcan

机构 * Home Lab（家庭实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文以9种欧盟语言为对象，对比3款本地LLM与专用MT基线，研究提示范围、示例选择对机器翻译的影响，发现专用MT系统仍最优，嵌入检索对强LLM效果较好，语族范围提示对强LLM可行但存在小型模型缺陷。

Identifying Implicit Bias in LLM-based Chat AI Toward People with Intellectual Disabilities

识别基于大语言模型（LLM）的聊天人工智能对智力障碍人群的隐含偏见

Karly V. Coffey, Gloria L. Krahn, John P. Hanley, Jacob E. Neely

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对5款LLM聊天AI生成的25000个故事，分析发现其对智力障碍人群存在将其矮化、依赖化等负面隐含偏见，呼吁AI开发警惕此类偏见并加以缓解。

Journal ref Karly V. Coffey, Gloria L. Krahn, John P. Hanley, Jacob E. Neely, Identifying implicit bias in LLM-based chat AI toward people with intellectual disabilities, Disability and Health Journal, 2026, 102086, ISSN 1936-6574

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

视觉还是认知？多模态大语言模型的视觉上下文敏感性

Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

机构 * University of Copenhagen（哥本哈根大学） ； University of Cambridge（剑桥大学） ； ETH Zürich（苏黎世联邦理工学院） ； Clemson University（克莱姆森大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 该研究探究多模态大语言模型在视觉证据与先验冲突任务上的失效原因，引入WhatIfVis基准，发现其能编码视觉证据但难以控制对其的依赖，监督微调等方法可提升可控性。

HealthSLM-Bench: Benchmarking Small Language Models for Mobile and Wearable Healthcare Monitoring

HealthSLM-Bench：面向移动与可穿戴医疗监护的小型语言模型基准测试

Xin Wang, Ting Dang, Xinyu Zhang, Vassilis Kostakos, Michael J. Witbrock, Hong Jia

机构 * School of Computing and Information Systems, University of Melbourne, Australia（墨尔本大学计算机与信息系统学院） ； School of Computer Science, University of Auckland, New Zealand（奥克兰大学计算机科学学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 本研究构建HealthSLM-Bench基准，评估小型语言模型（SLMs）在医疗预测任务的表现，发现SLMs性能接近大型语言模型且效率、隐私性更优，为隐私保护型医疗监护提供新方向。

Comments 9 pages, 6 tables, 6 figures. Accepted at NeurIPS 2025 Workshop on GenAI4Health

A Physics-Informed Framework for PID Tuning of Chemical Processes Using Large Language Model Agents

基于大语言模型智能体的化工过程PID整定的物理信息框架

Zhoupeng Shou, Xiaodong Hong, Congjing Ren, Jingdai Wang, Yongrong Yang, Zuwei Liao

专题命中 指令微调 ：language model(title,abstract)；large language model(title)；SFT(abstract,abstract_cn)；small language model(abstract)

AI总结 本研究提出一种适用于大、小语言模型的PID整定框架，将工程师整定流程形式化，通过微调Qwen3-0.6B并在测试案例中取得优异整定成功率，提升了PID整定的可靠性与稳定裕度。

Probing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned Models

探究推理性能的起源：强化学习（RL）与监督微调（SFT）模型在数学问题求解中的表征质量

Antyabha Rahman, Akshaj Gurugubelli, Omar Ankit, Kevin Zhu, Aishwarya Balwani

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究探究RL与SFT微调模型数学推理性能差异的机制，发现RL模型的表征更具线性可分性、深层重要性更高，其token分配变异性或反映在线策略推理的分布。

Comments Second Workshop on XAI4Science, AAAI 2026

Shared SFT Lessons Across Alignment, Model Organisms, and Toy Models

对齐、模型有机体与玩具模型中的共享SFT经验教训

Anton de la Fuente, Arthur Conmy

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.LG

AI总结 本研究探讨对齐训练、模型有机体与玩具模型间SFT经验的三类迁移，发现跨领域迁移SFT经验可推动各领域发展，建议研究者借鉴域外技术。

Comments 31 pages, 13 figures

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

通过源保护更新缓解LLM目标语言适应中的灾难性遗忘

Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras

机构 * University of Sheffield（谢菲尔德大学） ； Hitachi, Ltd.（日立株式会社） ； University of Exeter（埃克塞特大学） ； Federal University of Rio Grande do Norte（里奥格兰德杜纳粹大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出源保护更新策略，利用少量源数据和参数重要性评分，在低资源条件下有效缓解LLM在目标语言适应中的灾难性遗忘问题，实验表明其在保持源语言能力的同时提升了目标语言性能。

Comments Accepted to ACL 2026 Main Conference

Scores Are Not Decisions: Cost-Aware Stopping for Tool Acquisition in LLM Agents

分数并非决策：大语言模型智能体工具获取的成本感知停止策略

Yicheng Feng, Yan Zhang, Yan Cheng, Wei Qi

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 针对LLM智能体工具获取的异构成本问题，提出CAM-DF及其轻量变体，通过训练停止决策的离线差距实现成本感知停止，在1343个任务上验证其优于基线，减少工具接触量的同时保持任务成功率。

Adaptively Robust LLM Monitoring via Activation Watermarking

通过激活水印实现语言模型的鲁棒安全监控

Toluwani Aremu, Daniil Ognev, Samuele Poppi, Nils Lukas

机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过激活水印技术提升语言模型的安全监控能力，针对适应性攻击者设计改进防御策略，有效提升检测准确率。

Comments 17 pages, 17 figures, 8 tables

Enhancing Generative Information Extraction with Two-step Validation: A Product Attribute Use Case

通过两步验证增强生成式信息抽取：产品属性用例

Yi-Sheng Hsu, Nermeen Abou Baker, Uwe Handmann

机构 * Computer Science Institute, Ruhr West University of Applied Sciences（鲁尔西应用科学大学计算机科学学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对数字产品护照领域标注数据稀缺问题，提出集成PLM模块的两步验证生成式信息抽取方法，可提升LLM对低显著性实体的抽取性能，中型模型表现接近大型模型，最小型开源模型效果有限，还开发了对应演示应用。

Comments 13 pages

Two Calls Beat Five Agents: Evaluating Multi-Agent Pipelines Against Self-Refinement for Local Language Models

两次调用胜过五个智能体：针对本地语言模型的多智能体流水线与自我优化的评估

Ashish Prajapati, Om Mohite

专题命中 指令微调 ：language model(title)；LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.LG

AI总结 本研究对比多智能体流水线与自我优化方法，发现针对本地7B模型，两次调用自我优化在GSM8K表现更优且令牌用量低，经任务感知重设计后在HumanEval也能维持高准确率，简单方法优于多智能体架构。

Language Models are not Equally Robust to Non-Canonical Tokenization across Languages

语言模型对跨语言非规范分词的鲁棒性存在差异

Poulami Ghosh, Preethi Jyothi

机构 * IIT Bombay（印度理工学院孟买分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文研究发现语言模型对非规范分词的鲁棒性因语言而异，Llama-3.1-8B等模型在高碎片化语言中性能下降，LoRA微调可有效缓解分词敏感性。

MindForge: Teaching Small Language Models Whole-Life-Cycle Software Engineering via Source-Free Program Synthesis

MindForge：通过无源码程序合成教小型语言模型全生命周期软件工程

Yihao Chen, Shi Chang, Khaled Chawa, Feng Lin, Boyuan Chen, Shaowei Wang, Ahmed E. Hassan

专题命中 指令微调 ：language model(title)；small language model(title)；分类 cs.CL、cs.LG

AI总结 研究针对小型语言模型从零构建程序的挑战，提出MindForge构建全生命周期无源码训练环境，微调Qwen3.6-27B后在ProgramBench及7个软件工程基准上性能显著提升。

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

解耦视觉处理：通过模态特定Transformer替换实现高效多模态适配

Mingkuan Feng, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University（清华大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 该研究针对多模态大语言模型视觉指令微调成本高的问题，提出解耦视觉处理框架，替换预训练大语言模型上层解码器为轻量Transformer块，仅训练该块即可在多个基准上实现竞争力性能，降低了计算成本。

Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning

可检测边界处的后训练：一种用于微调的博弈论方法

Keegan Harris, Brian W. Lee, Ian Waudby-Smith, Philip Amortila, Nika Haghtalab, Michael I. Jordan

机构 * University of California, Berkeley（加州大学伯克利分校） ； Inria（法国国家信息与自动化研究所） ； École Normale Supérieure（巴黎高等师范学院） 纠错

专题命中 指令微调 ：post-training(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出博弈论框架解决RL微调中KL正则化系数设置问题，将均衡系数归约为KL正则化RL目标，在Qwen3-8B等模型实验中实现良好奖励-保留权衡，可用于审计开源模型API提供商。

Beyond Action Imitation: Learning a Decision-Aware User Simulator for Online Advertising

超越动作模仿：面向在线广告的决策感知用户模拟器学习

Zipeng Chen, Jiaer Zheng, Xiangyang Xu, Xinyu Lin, Zhaobin Wang, Zhaohui Liu, Qianjin Xiang, Xiaoyu Zhao, Zhuozhen Yu, Guangshuo Wang, Daxing Chen, Junwei Pan, Zhangbin Zhu, Chengguo Yin, Hao Chen, Tat-Seng Chua, Haijie Gu, Jie Jiang

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 针对现有用户模拟器仅基于单领域交互模仿动作的缺陷，本文提出决策感知用户模拟器DASH，通过上下文工程、蒸馏思考轨迹与定制规则奖励模型，在腾讯广告数据上验证了其多维度优势。

Comments 23 pages, 10 figures, 9 tables

Understanding LoRA as Knowledge Memory: An Empirical Analysis

理解LoRA作为知识记忆：一项实证分析

Seungju Back, Dongwoo Lee, Naun Kang, Taehee Lee, S. K. Hong, Youngjune Gwon, Sungjin Ahn

机构 * New York University（纽约大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过系统实证研究，将低秩适配（LoRA）作为模块化知识记忆，探索其存储容量、内部化优化、多模块系统扩展及长上下文推理能力，提供LoRA记忆操作边界的实用指导。

Comments ICML 2026

FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA

FedWeave：重新思考异构联邦MoE-LoRA中的专业化单元

Donghang Duan, Xu Zheng, Lizong Zhang, Chong Mu, Meng Han

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 FedWeave针对异构联邦MoE-LoRA中客户端粒度专业化的局限，提出非对称聚合框架，分离专家聚合与路由优化，在异构多任务基准上优于强基线，实现高效联邦大模型适配。

Comments 14 pages, 4 figures, 5 tables

Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation

大模型训练，紧凑部署：用于紧凑低秩适配的结构化压缩

Xin Yu, Cong Xie, Xunmei Liu, Tiantian Fan, Lingzhou Xue, Zhi Zhang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对LoRA表征能力不足的问题，提出PrunedLoRA框架，通过动态结构化剪枝实现自适应秩分配，在多项微调任务中性能优于LoRA及其变体和现有结构化剪枝方法。

Latent-IM: Latent Interaction Management for Speech LLMs

Latent-IM：面向语音大语言模型的潜在交互管理

Adar Avsian, Atahan Dokme, Tony Woo, Larry Heck

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究针对语音大语言模型提出Latent-IM框架，将对话动作控制分为选择与实现两个耦合问题，可提升对话动作准确率12.5个百分点，性能与微调相当。

Revealing Hidden Model Behaviors with Task-Specific Self-Reports

通过特定任务自我报告揭示隐藏模型行为

Taras Kutsyk, Bartosz Zieliński

机构 * Jagiellonian University, Faculty of Mathematics and Computer Science（雅盖隆大学数学与计算机科学系） ； Jagiellonian University, Doctoral School of Exact and Natural Sciences（雅盖隆大学精确与自然科学研究博士学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对微调语言模型的隐藏行为问题，提出稳定适配器进行自我报告（SAR），能让模型用自然语言描述隐藏行为，相比现有基线方法检测更准确，减少幻觉，便于从业者审计模型。

Comments 17 pages, 8 figures, 2 tables; appendix with 37 additional pages

SMSP: A Plug-and-Play Strategy of Multi-Scale Perception for MLLMs to Perceive Visual Illusions

SMSP：多尺度感知的插件策略用于MLLMs感知视觉错觉

Jinzhe Tu, Ruilei Guo, Zihan Guo, Junxiao Yang, Shiyao Cui, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University（清华人工智能（CoAI）小组，DCST，清华大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 本文提出SMSP策略，通过抑制高频背景以提升MLLMs对视觉错觉的识别能力，实验表明其显著提高模型性能。

OmniAD: Detect and Understand Industrial Anomaly via Multimodal Reasoning

OmniAD：基于多模态推理的工业异常检测与理解

Shifang Zhao, Yiheng Lin, Lu Han, Yao Zhao, Yunchao Wei

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院） ； Visual Intelligence + X International Joint Laboratory of the Ministry of Education（教育部视觉智能+X国际合作实验室） ； Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)

AI总结 OmniAD是融合视觉与文本推理的多模态框架，以Text-as-Mask Encoding等技术实现工业异常检测与理解，在MMAD基准性能超Qwen2.5-VL-7B等模型，代码与模型将公开。

LC-SEPLM: long-range contact-supervised adaptation for sequence-only protein representation learning

LC-SEPLM：用于仅序列蛋白质表示学习的远程接触监督适应

Chen Wang, Boming Kang, Qinghua Cui

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对蛋白质语言模型未明确学习三维残基接触的问题，提出LC-SEPLM，通过LoRA和远程残基对接触监督适配ESM2，经训练后在多项蛋白质任务上优于ESM2，证明该方法能有效引入结构信息并保留序列推理。

Auto-AEG: Scalable Data Construction for Open-Vocabulary Audio Event Grounding

Auto-AEG：用于开放词汇音频事件定位的可扩展数据构建

Zihan Zhang, Xize Cheng, Wenhao Yan, Tong Zhang, Dongjie Fu, Boyun Zhang, Yongbo He, Tao Jin

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究开放词汇音频事件定位任务，因数据稀缺受限。提出Auto-AEG可扩展管道，通过自动数据构建和模型微调构建监督，结合合成音频与伪标签训练，提升模型性能。

Comments Work in progress

Readability-Robust Code Summarization via Meta Curriculum Learning

通过元课程学习实现抗可读性代码摘要

Wenhao Zeng, Yitian Chai, Hao Zhou, Fandong Meng, Jie Zhou, Xiaodong Gu

专题命中 指令微调 ：language model(abstract)

AI总结 本文提出RoFTCodeSum方法，通过结合课程学习和元学习提升代码摘要对低可读性代码的鲁棒性。

Comments Code available at https://github.com/Zengwh02/RoFTCodeSum