语言大模型 / LLM

Small LLMs for Biomedical Claim Verification: Cost-Effective Fine-Tuning, Structural Dataset Shortcuts, and Cross-Domain Generalization

小型LLM用于生物医学声明验证：成本效益微调、结构性数据集捷径与跨域泛化

Gaurav Kumar

机构 * Moveworks AI ； University of California San Diego（加州大学圣迭戈分校） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过QLoRA微调小型LLM（Phi-3-mini、Qwen2.5-3B、Mistral-7B），在生物医学声明验证中超越GPT-4o和GPT-5（F1提升12%），并发现SciFact数据集的结构性伪影，提出基于结构稳健数据的跨域迁移方法。

Comments 8 pages, 2 figures, 12 tables. To appear at BioNLP Workshop, ACL 2026

Decomposing Factual Sycophancy in Language Models: How Size and Instruction Tuning Shape Robustness

分解语言模型中的事实性谄媚：规模与指令调优如何塑造鲁棒性

Victor De Marez, Luna De Bruyne, Walter Daelemans

机构 * Centre for Computational Linguistics, Psycholinguistics and Sociolinguistics University of Antwerp（计算语言学、心理语言学与社会语言学研究中心 荷兰安特卫普大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(title,abstract)；分类 cs.CL

AI总结 通过将事实性谄媚分解为真值边际和操纵敏感性两个通道，研究了模型规模和指令调优对56个开源语言模型（0.3B-32B参数）在13种操纵类型下鲁棒性的影响。

Long Live Fine-Tuning: Task-Specific Transformers Outperform Zero-Shot LLMs for Misinformation Response Classification on Reddit

长存微调：在Reddit上，任务特定Transformer在错误信息响应分类中优于零样本LLM

JooYoung Lee, Lin Tian, Angela Brillantes, Adriana-Simona Mihăiţă, Marian-Andrei Rizoiu

机构 * University of Technology Sydney（悉尼技术大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过对比微调模型与零样本LLM在Reddit错误信息评论分类上的表现，发现微调RoBERTa在宏F1分数上显著优于最佳零样本模型，且成本更低，表明任务特定微调在检测隐性错误信息方面仍更可靠。

ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models

ParaBlock：面向大语言模型的通信-计算并行块坐标联邦学习

Yujia Wang, Yuanpu Cao, Jinghui Chen

机构 * College of Information Sciences and Technology（信息科学与技术学院） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出ParaBlock方法，通过并行化通信与计算线程，在联邦学习大语言模型时提升通信效率，并理论证明其收敛率与标准方法相同，实验验证其性能与效率优势。

Comments Accepted by TMLR

Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir

将大型语言模型适配到低资源黏着语：LoRA与QLoRA在巴什基尔语上的比较研究

Mullosharaf K. Arabov, Svetlana S. Khaybullina

机构 * Institute of Computational Mathematics and Information Technologies, Kazan Federal University（计算数学与信息科技学院，卡兹安联邦大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文比较了LoRA和QLoRA两种参数高效微调方法在低资源黏着语巴什基尔语上的适配效果，发现QLoRA在7B规模模型上能在质量和计算成本间取得有效平衡。

Comments Accepted to CLIB 2026

Safe-FedLLM: Delving into the Safety of Federated Large Language Models

Safe-FedLLM：深入探究联邦大语言模型的安全性

Mingxiang Tao, Yu Tian, Wenxuan Tu, Yue Yang, Xue Yang, Xiangyan Tang

机构 * Hainan University（海南大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出Safe-FedLLM，一种基于探针的防御框架，通过三级防御（步骤级、客户端级和阴影级）利用轻量级分类器区分恶意与良性LoRA更新，以增强联邦大语言模型对恶意客户端的鲁棒性。

GFlowGR: Fine-tuning Generative Recommendation Frameworks with Generative Flow Networks

GFlowGR：使用生成流网络微调生成式推荐框架

Yejing Wang, Shengyu Zhou, Jinyu Lu, Qidong Liu, Xinhang Li, Wenlin Zhang, Feng Li, Pengjie Wang, Chuan Yu, Jian Xu, Bo Zheng, Xiangyu Zhao

机构 * City University of Hong Kong（城市大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对生成式推荐中微调步骤忽略未观测正样本导致的曝光偏差问题，提出基于GFlowNets的微调框架GFlowGR，通过自适应轨迹采样器和综合奖励模型整合协同知识，利用GFlowNets的多样生成特性缓解偏差。

Harnessing non-adversarial robustness in large language models

利用大语言模型中的非对抗鲁棒性

Qinghua Zhou, Ellina Aleshina, Andrey Lovyagin, Oleg Somov, Mikhail Seleznyov, Alexander Panchenko, Ivan Oseledets, Elena Tutubalina, Ivan Y. Tyukin

机构 * Applied AI Institute, Moscow, Russia（莫斯科应用人工智能研究所） ； King's College London, London, UK（伦敦国王学院） ； International Joint Laboratory of AI for Industry, QUST, Qingdao, China（工业人工智能联合实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文通过理论分析和实验，提出了一种基于去偏的微调方法，以提升大语言模型对语义相似但文本不同的提示的鲁棒性，并提供了认证保证。

LsrIF: Enhancing Logic-Structured Instruction Following of Large Language Models

LsrIF: 增强大语言模型的逻辑结构化指令遵循能力

Qingyu Ren, Qianyu He, Jingwen Chang, Geng Zhang, Jiajie Zhu, Xingzhou Chen, Zhuofei Shi, Jiaqing Liang, Yanghua Xiao, Han Xia, Zeye Sun, Fei Yu

机构 * Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学数据科学重点实验室，计算机科学与人工智能学院） ； School of Data Science, Fudan University（复旦大学数据科学学院） ； Ant Group（蚂蚁集团） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出LsrIF框架，通过构建并行、顺序、条件和嵌套结构的原子约束数据，并采用结构感知的奖励聚合方法，提升大语言模型在逻辑结构化指令遵循任务中的表现。

PALoRA: Projection-Adaptive LoRA for Preserving Reasoning in Large Language Models

PALoRA: 投影自适应LoRA以保持大型语言模型的推理能力

Mustafa Hayri Bilgin, Mariam Barry, Albert Bifet, Azzedine Idir Ait Said, Soumya Banerjee

机构 * IT Group, Research, BNP Paribas（BNP巴黎研究院IT部门） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工大学LTCI研究所） ； AI Institute, University of Waikato（瓦卡托大学人工智能研究所） ； Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出PALoRA框架，通过奇异值微调（SVF）识别推理关键成分，并在正交约束下使用LoRA注入知识，以在保持推理能力的同时高效更新事实知识。

Enhancing Multimodal Large Language Models for Safety-Critical Driving Video Analysis

增强多模态大语言模型以用于安全关键驾驶视频分析

Tomaso Trinci, Henrique Piñeiro Monteagudo, Leonardo Taccari

机构 * Verizon Connect 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本研究通过融合降采样视频帧与同步高频 telemetry 数据及专用计算机视觉模型的语义信息，提升多模态大语言模型在安全关键驾驶场景中的感知与推理能力，从而更准确地识别和描述现实驾驶中的安全关键事件。

Comments Accepted at the 2026 IEEE International Conference on Intelligent Transportation Systems (ITSC 2026)

Continual Fine-Tuning of Large Language Models via Program Memory

通过程序记忆持续微调大型语言模型

Hung Le, Svetha Venkatesh

机构 * Deakin Applied AI Initiative（德金应用人工智能计划） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出ProCL框架，通过程序记忆结构实现持续学习中的高效微调，提升模型在连续任务中的知识保留与适应能力。

Comments 18 page, preprint

PEFT-Factory: Unified Parameter-Efficient Fine-Tuning of Autoregressive Large Language Models

PEFT-Factory：统一的参数高效微调自回归大语言模型

Robert Belanec, Ivan Srba, Maria Bielikova

机构 * Faculty of Information Technology, Brno University of Technology（布拉格技术学院，布拉格技术大学） ； Kempelen Institute of Intelligent Technologies（智能技术研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 PEFT-Factory提供统一框架，整合多种参数高效微调方法和数据集，提升微调方法的可复现性和评估稳定性。

SafeSteer: A Decoding-level Defense Mechanism for Multimodal Large Language Models

SafeSteer: 多模态大语言模型中的解码级防御机制

Xinyi Zeng, Xue Yang, Jingyuan Zhang, Huanqian Yan, Xiang Chen, Kaiwen Wei, Hankun Kang, Yu Tian

机构 * Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； Kuaishou Technology（快手科技） ； School of Computer Science and Technology, Beihang University（北航计算机科学与技术学院） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Chongqing University（重庆大学） ； Wuhan University（武汉大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出SafeSteer，通过解码阶段的轻量探针和模态语义对齐向量，提升多模态大语言模型的安全性，实验表明其能提升33.40%的安全性而不需微调。

More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs

更一致，更不多样？分析两代LLM的语法和词汇

Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

机构 * Universidade da Coruña, CITIC（科鲁纳大学，CITIC） ； Independent Researcher（独立研究者） ； Palacký University, Olomouc（帕拉茨基大学，奥洛穆克） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；instruction tuning(abstract)；分类 cs.CL

AI总结 研究比较两代LLM生成的新闻文本与人类写作的语法特性，发现新模型在语法和词汇多样性上有所下降。

NiuTrans.LMT: Toward Inclusive and Scalable Multilingual Machine Translation with LLMs

NiuTrans.LMT: 向包容性和可扩展的多语言机器翻译迈进 with LLMs

Yingfeng Luo, Ziqiang Xu, Yuxuan Ouyang, Murun Yang, Dingyang Lin, Kaiyan Chang, Tong Zheng, Bei Li, Peinan Feng, Quan Du, Tong Xiao, Jingbo Zhu

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院，中国沈阳） ； NiuTrans Research, Shenyang, China（牛译研，中国沈阳） 纠错

专题命中 指令微调 ：prompting(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出NiuTrans.LMT，通过Strategic Downsampling和Parallel Multilingual Prompting缓解多语言监督微调中的方向退化问题，展示其在60种语言234个方向上的竞争力。

Comments Accepted to ACL 2026 Main Conference. Models are available at: https://github.com/NiuTrans/LMT

JudgeMeNot: Personalizing Large Language Models to Emulate Judicial Reasoning in Hebrew

JudgeMeNot: 为 Hebrew 语境下的司法推理个性化大型语言模型

Itay Razumenko, Arnon Sturm, Nir Grinberg

机构 * Computer and Information Science Ben-Gurion University of the Negev（计算机与信息科学贝内尔·加隆大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出一种合成有机监督流程，通过将原始司法判决转化为指令微调数据，实现低资源环境下对法官个性化模型的高效微调，并在三个任务中验证了因果语言模型结合合成指令微调的优越性。

Comments To appear in Findings of the ACL 2026

Beyond the Basics: Leveraging Large Language Model for Fine-Grained Medical Entity Recognition

超越基础：利用大语言模型进行细粒度医学实体识别

Nwe Ni Win, Jim Basilakis, Steven Thomas, Seyhan Yazar, Laura Pierce, Stephanie Liu, Paul M. Middleton, Nasser Ghadiri, X. Rosalind Wang

机构 * Western Sydney University（西悉尼大学） ； South Western Emergency Research Institute（西南急救研究所） ； Garvan Institute of Medical Research（加文医学研究所以） ； University of New South Wales（新南威尔士大学） ； Liverpool Hospital（利物浦医院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文研究了大语言模型在细粒度医学实体识别中的应用，通过评估LLaMA3模型在18种临床详细类别中的表现，采用零样本、少样本和LoRA微调等方法，提升了细粒度实体识别的准确率。

MNAFT: modality neuron-aware fine-tuning of multimodal large language models for image translation

MNAFT：多模态大语言模型的模态神经感知微调用于图像翻译

Bo Li, Ningyuan Deng, Tianyu Dong, Shaobo Wang, Shaolin Zhu, Lijie Wen

机构 * School of Computer Science and Technology, Tianjin University, Tianjin, China（天津大学计算机科学与技术学院） ； School of Software, Tsinghua University, Beijing, China（清华大学软件学院） ； School of Information Resource Management, Renmin University of China,Beijing, China（中国人民大学信息资源管理学院） ； School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China（上海交通大学人工智能学院） ； Baidu Inc., Beijing, China（百度公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出MNAFT，通过识别视觉和语言模块中语言无关和语言特定的神经元，改进多模态大语言模型在图像翻译中的表现，实验表明其优于现有方法。

Comments Accepted by SCIS (SCIENCE CHINA Information Science)

DART: Mitigating Harm Drift in Difference-Aware LLMs via Distill-Audit-Repair Training

DART：通过蒸馏-审计-修复训练缓解差异意识LLM中的危害漂移

Ziwen Pan, Zihan Liang, Jad Kabbara, Ali Emami

机构 * Emory University（埃默里大学） ； MIT（麻省理工学院） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出DART方法，通过蒸馏、审计和修复训练缓解LLM中因准确性提升导致的危害漂移问题，提升模型在处理差异相关任务时的准确性和安全性。

Comments Accepted to Findings of ACL 2026

Towards Fine-grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt

迈向细粒度时间感知：通过音频侧时间提示进行后训练的大音频-语言模型

Yanfeng Shi, Pengfei Cai, Jun Liu, Qing Gu, Nan Jiang, Lirong Dai, Ian McLoughlin, Yan Song

机构 * National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China, Hefei, China（语音与语言信息处理国家级工程研究中心，中国科学技术大学，合肥，中国） ； ICT Cluster, Singapore Institute of Technology, Singapore（新加坡理工学院ICT集群，新加坡） 纠错

专题命中 指令微调 ：language model(title,abstract)；post-training(title)；SFT(abstract)；分类 cs.AI

AI总结 本文提出Audio-Side Time Prompt方法，结合强化学习改进大音频-语言模型的时间感知能力，在音频定位、事件检测等任务中取得显著提升。

Comments Submitted to Interspeech 2026

TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models

TLoRA+: 一种用于大型语言模型的低秩参数高效微调方法

Yarui Cao, Kai Liu

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出TLoRA+方法，结合TLoRA+优化器提升大型语言模型的微调效率与性能，通过实验验证其在GLUE基准上的有效性与鲁棒性。

Comments 16 pages, 12 figures and 6 tables in total. Submitted to CoLM

TeRA: Vector-based Random Tensor Network for High-Rank Adaptation of Large Language Models

TeRA: 基于向量的随机张量网络用于大语言模型的高秩适应

Yuxuan Gu, Wuyang Zhou, Giorgos Iacovides, Danilo Mandic

机构 * Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦分校电子与电气工程系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 TeRA提出一种新型PEFT方法，通过将张量化的权重更新矩阵参数化为Tucker-like张量网络，实现高秩权重更新的同时保持向量方法的参数效率。

Comments Accepted at ACL main conference 2026. Code is available at https://github.com/guyuxuan9/TeRA

A Patch-based Cross-view Regularized Framework for Backdoor Defense in Multimodal Large Language Models

基于补丁的跨视图正则化框架用于多模态大语言模型中的后门防御

Tianmeng Fang, Yong Wang, Zetai Kong, Zengzhen Su, Jun Wang, Chengjin Yu, Wei Wang

机构 * Singapore Management University（新加坡管理大学） ； China University of Mining and Technology（中国矿业大学） ； The University of Melbourne（墨尔本大学） ； Anhui University（安徽大学） ； Xi’an Jiaotong University（西安交通大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出一种基于补丁增强和跨视图正则化的统一后门防御框架，通过约束特征表示和输出分布层面的异常行为，有效降低后门攻击成功率并保持正常生成能力。

Comments 26 pages, 3 figures. Subjects: Machine Learning (cs.LG)

Beyond Static Vision: Scene Dynamic Field Unlocks Intuitive Physics Understanding in Multi-modal Large Language Models

超越静态视觉：场景动态场解锁多模态大语言模型中的直观物理理解

Nanxi Li, Xiang Wang, Yuanjie Chen, Haode Zhang, Hong Li, Yong-Lu Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tianjin University（天津大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究探讨多模态大语言模型在物理理解上的不足，提出Scene Dynamic Field方法提升对连续物体动态的理解能力，实现20.7%的改进并展现良好的泛化能力。

Chain-of-Authorization: Embedding authorization into large language models

授权链：将授权嵌入大型语言模型

Yang Li, Yule Liu, Xinlei He, Youjian Zhao, Qi Li, Ke Xu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出授权链框架，通过重新设计输入输出格式和微调合成数据，使LLM在动态推理环境中内化访问边界，提升安全性和拒绝非授权请求的能力。

Comments 23 pages, 7 figures

Unveiling the Basin-Like Loss Landscape in Large Language Models

揭示大语言模型中的盆地状损失景观

Huanran Chen, Yinpeng Dong, Zeming Wei, Yao Huang, Yichi Zhang, Hang Su, Jun Zhu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 研究发现大语言模型的损失景观中出现盆地结构，随着模型规模增大，模型对参数空间扰动的鲁棒性增强，但最坏方向的损失景观尖锐且有害，对抗性微调会快速降低模型能力。

BLooP: Zero-Shot Abstractive Summarization using Large Language Models with Bigram Lookahead Promotion

BLooP：利用大语言模型的双元前瞻促进进行零样本抽象摘要

Varun Iyer, Cornelia Caragea

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 BLooP通过双元前瞻促进技术，在无需训练的情况下提升大语言模型生成摘要的准确性和忠实度。

Comments LREC 2026

GAST: Gradient-aligned Sparse Tuning of Large Language Models with Data-layer Selection

GAST：基于梯度对齐的大型语言模型稀疏调优与数据层选择

Kai Yao, Zhenghan Song, Kaixin Wu, Mingjie Zhong, Danzhao Cheng, Zhaorui Tan, Yixin Ji, Penglei Gao

机构 * Ant Group（蚂蚁集团） ； Cornell University（康奈尔大学） ； University of Liverpool（利物浦大学） ； Soochow University（苏州大学） ； Cleveland Clinic Lerner Research Institution（克利夫兰诊所勒纳研究机构） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 GAST通过同时进行数据和层维度的选择性微调，解决现有方法忽略数据对不同层贡献差异的问题，提升大型语言模型的微调效果。

BitBypass: A New Direction in Jailbreaking Aligned Large Language Models with Bitstream Camouflage

BitBypass：一种新的方向：利用位流伪装进行对齐大语言模型的黑盒劫持

Kalyan Nakka, Nitesh Saxena

机构 * SPIES Research Lab, Dept. of CSE, Texas A&M University（SPIES研究实验室，计算机科学与工程系，德克萨斯A&M大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 BitBypass通过位流伪装技术，提出了一种新的黑盒劫持方法，有效绕过对齐大语言模型的安全机制，展现出更高的隐蔽性和攻击成功率。

Comments 27 pages, 27 figures, and 4 tables