语言大模型 / LLM

The Granularity Axis: A Micro-to-Macro Latent Direction for Social Roles in Language Models

粒度轴：语言模型中社会角色的微到宏观潜在方向

Chonghan Qin, Xiachong Feng, Ziyun Song, Xiaocheng Feng, Jing Xiong, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示语言模型中社会角色粒度的潜在方向，通过定义粒度轴，发现其主导了角色表示空间的几何结构，并通过实验验证其在不同层级和模型间的稳定性与因果相关性。

Comments 28 pages, including appendices

Where Do Prompt Perturbations Break Generation? A Segment-Level View of Robustness in LoRA-Tuned Language Models

提示扰动为何破坏生成？基于段级视角的LoRA微调鲁棒性分析

Zhuoyun Li, Boxuan Wang, Jinwei Hu, Zhenglin Huang, Qisong He, Xinmiao Huang, Guangliang Cheng, Xiaowei Huang, Yi Dong

机构 * School of Computer Science and Informatics, University of Liverpool, UK（利物浦大学计算机科学与信息学学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出S$^2$R$^2$框架，通过段级语义分割与最优传输对齐提升LoRA微调模型的鲁棒性，有效应对提示扰动导致的关键实体或结论漂移问题。

Comments Under review

Graph Query Generation with Constraint-guided Large Language Agents

带有约束引导的大语言代理的图查询生成

Mengying Wang, Nicolaas Jedema, Rahul Pandey, RaviKiran Krishnan, Jens Lehmann, Yinghui Wu

机构 * Case Western Reserve University（凯斯西储大学） ； Amazon（亚马逊） ； Meta 纠错

专题命中 指令微调 ：language agent(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出UniQGen框架，利用大语言模型动态提取和优化图查询子句，提升查询准确性和效率，在多个基准测试中表现优异，适用于企业级知识图谱问答。

Comments 42nd IEEE International Conference on Data Engineering (ICDE)

AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications

超越核心领域的人工智能安全：简历筛选作为专门大语言模型应用中对抗性漏洞的案例研究

Honglin Mu, Jinghao Liu, Kaiyang Wan, Rui Xing, Xiuying Chen, Timothy Baldwin, Wanxiang Che

机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心） ； Harbin Institute of Technology（哈尔滨工业大学） ； Natural Language Processing Research Department（自然语言处理研究部） ； MBZUAI ； Paul G. Allen School of Computer Science and Engineering（保罗·G·阿伦计算机科学与工程学院） ； University of Washington（华盛顿大学） ； School of Computing and Information Systems（计算与信息系统学院） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了大语言模型在简历筛选中的对抗性漏洞，提出FIDS防御机制，通过实验显示训练时防御优于推理时缓解，有效降低攻击成功率。

Joint Flashback Adaptation for Forgetting-Resistant Instruction Tuning

联合回溯适应用于抗遗忘的指令微调

Yukun Zhao, Lingyong Yan, Zhenyang Li, Shuaiqiang Wang, Zhumin Chen, Zhaochun Ren, Dawei Yin

专题命中 指令微调 ：instruction tuning(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出联合回溯适应方法，通过引入旧任务的有限提示来缓解增量学习中的灾难性遗忘问题，提升模型在新任务上的泛化能力。

Comments The experimental setting is wrong, i.e., not a real continual learning setting

Re-Mask and Redirect: Exploiting Denoising Irreversibility in Diffusion Language Models

重新掩码和引导：利用去噪不可逆性在扩散语言模型中进行攻击

Arth Singh

机构 * National Institute of Technology Agartala（阿加尔塔拉国立理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TrajHijack攻击，通过重新掩码已承诺的拒绝标记并注入短的肯定前缀，显著提升ASR性能，揭示了扩散语言模型的安全性漏洞及防御机制的不足。

Comments 15 pages

Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration

巩固还是适应？PRISM：通过梯度集中解耦SFT和RL数据

Yang Zhao, Yangou Ouyang, Xiao Ding, Hepeng Wang, Bibo Cai, Kai Xiong, Jinglong Gao, Zhouhao Sun, Li Du, Bing Qin, Ting Liu

机构 * Research Center for Social Computing and Interactive Robotics, Harbin Institute of Technology（哈尔滨工业大学社会计算与交互机器人研究中心） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 指令微调 ：SFT(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 PRISM通过分析梯度空间结构，区分高冲突数据需RL重构与低冲突数据需SFT巩固，提升LLM训练效率与鲁棒性。

Comments ACL2026 Main Conference

Unlocking Prompt Infilling Capability for Diffusion Language Models

解锁扩散语言模型的提示填充能力

Yoshinari Fujinuma, Keisuke Sakaguchi

机构 * Patronus AI ； Tohoku University（东北大学） ； RIKEN（理化学研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过扩展监督微调中的全序列掩码，解锁扩散语言模型的提示填充能力，证明模型填充的提示能匹配或超越手动设计模板，并有效跨模型迁移。

Explainable Token-level Noise Filtering for LLM Fine-tuning Datasets

可解释的token级噪声过滤用于LLM微调数据集

Yuchen Yang, Wenze Lin, Enhao Huang, Zhixuan Chu, Hongbin Zhou, Lan Tao, Yiming Li, Zhan Qin, Kui Ren

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全全国重点实验室） ； Hangzhou HighTech Zone (Binjiang) Blockchain and Data Security Research Institute（杭州高新区（滨江）区块链与数据安全研究院） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出XTF框架，通过分解token级数据对微调过程的贡献，提升LLM微调性能，实验表明在数学、代码和医学任务中性能提升达13.7%。

A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models

大型视觉-语言模型的全面信息分解分析

Lixin Xiu, Xufang Luo, Hideki Nakayama

机构 * The University of Tokyo（东京大学） ； Microsoft Research（微软研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过信息分解方法分析大型视觉-语言模型的信息谱，揭示任务模式和模型策略，为模型设计提供新视角。

Comments Accepted at ICLR 2026. Project page: https://riishin.github.io/pid-lvlm-iclr26/

On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language Models

关于令牌的困境：具有漂移感知令牌分配的动态MoE用于大视觉语言模型的持续学习

Chongyang Zhao, Mingsong Li, Haodong Lu, Dong Gong

机构 * University of New South Wales (UNSW Sydney)（新南威尔士大学（悉尼新南威尔士大学）） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LLaVA-DyMoE框架，通过动态MoE和漂移感知令牌分配缓解持续学习中的路由漂移问题，提升模型在持续学习中的性能。

Comments Accepted at CVPR 2026

mSFT: Addressing Dataset Mixtures Overfitting Heterogeneously in Multi-task SFT

mSFT：在多任务SFT中异质性地解决数据混合过拟合问题

Woosung Koh, Jeyoung Jeon, Youngjin Song, Yujin Cheon, Soowon Oh, Jaehyeong Choi, Se-Young Yun

机构 * KAIST AI（韩国科学技术院人工智能系） ； Yonsei University（延世大学） ； Samsung Advanced Institute of Technology（三星高级技术研究所） 纠错

专题命中 指令微调 ：SFT(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 mSFT通过迭代和过拟合感知的搜索算法，解决多任务数据混合中的过拟合问题，优于四个基线方法，在十个基准和六个基模型上表现优异，且在不同数据规模和任务粒度下保持鲁棒性。

Comments Pre-print (newer versions are minor edits)

Open-weight genome language model safeguards: Assessing robustness via adversarial fine-tuning

开放权重基因组语言模型的安全保障：通过对抗性微调评估鲁棒性

James R. M. Black, Moritz S. Hanke, Aaron Maiwald, Tina Hernandez-Boussard, Oliver M. Crook, Jaspreet Pannu

机构 * Center for Health Security（健康安全中心） ； Johns Hopkins Bloomberg School of Public Health（约翰霍普金斯大学布隆伯格公共卫生学院） ； Department of Chemistry（化学系） ； University of Oxford（牛津大学） ； Stanford University School of Medicine（斯坦福大学医学院） ； Department of Chemistry & Kavli Institute for Nanoscience Discovery（化学系及卡弗里纳米科学发现研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究评估了开放权重基因组语言模型在对抗性微调下的鲁棒性，发现通过微调有害病毒序列可恢复模型的滥用相关能力，强调了需要安全框架以确保模型安全部署。

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Biosecurity Safeguards for Generative AI

User Preference Modeling for Conversational LLM Agents: Weak Rewards from Retrieval-Augmented Interaction

用于对话大语言模型代理的用户偏好建模：来自检索增强交互的弱奖励

Yuren Hao, Shuhaib Mehri, ChengXiang Zhai, Dilek Hakkani-Tür

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出VARS框架，通过长短期向量表示用户偏好，利用弱奖励在线更新向量，提升交互效率，实验证明其在多会话协作任务中表现优异。

Comments 21 pages including appendices

When the Pure Reasoner Meets the Impossible Object: Analytic vs. Synthetic Fine-Tuning and the Suppression of Genesis in Language Models

当纯粹推理者遇见不可能之物：分析性与合成性微调及语言模型中生成的抑制

Amin Amouhadi

机构 * Institute for Artificial Intelligence, University of Georgia（人工智能研究所，佐治亚大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了在'不可能之物'上微调大语言模型的本体论后果，通过分析与合成微调对比，揭示了逻辑矛盾对语言模型生成能力的抑制作用。

SAKE: Towards Editing Auditory Attribute Knowledge of Large Audio-Language Models

SAKE：迈向大型音频-语言模型的听觉属性知识编辑

Chih-Kai Yang, Yen-Ting Piao, Tzu-Wen Hsu, Szu-Wei Fu, Zhehuai Chen, Ke-Han Lu, Sung-Feng Huang, Chao-Han Huck Yang, Yu-Chiang Frank Wang, Yun-Nung Chen, Hung-yi Lee

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SAKE基准，用于评估大型音频-语言模型中听觉属性知识的编辑方法，发现多数方法在可靠性上表现良好，但在听觉泛化和多模态知识传播方面存在不足，细调模态连接器比直接编辑LLM更稳健。

Comments Work in progress. Resources: https://github.com/ckyang1124/SAKE

Partially Recentralization Softmax Loss for Vision-Language Models Robustness

部分重校正softmax损失用于视觉-语言模型鲁棒性

Hao Wang, Jinzhe Jiang, Xin Zhang, Chen Li

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出部分重校正softmax损失，通过限制top K softmax输出提升预训练多模态模型的对抗鲁棒性，实验显示细调后模型对主流攻击更具鲁棒性。

Comments The study described in Section 4 was conducted without required institutional review board approval. The paper is withdrawn pending completion of the approval process

LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning

LCSB: 用于设备端大语言模型微调的内存高效层循环选择反向传播

Juneyoung Park, Eunbeen Yoon, Seongwan Kim. Jaeho Lee

机构 * Opt-AI Inc.（Opt-AI公司） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 LCSB通过选择性梯度计算提升设备端大语言模型微调的效率和稳定性。

Comments Under the review, 13 pages

Think Fast and Slow: Step-Level Cognitive Depth Adaptation for LLM Agents

快速思考与缓慢思考：面向LLM代理的步骤级认知深度适应

Ruihan Yang, Fanghua Ye, Xiang We, Ruoqing Zhao, Kang Luo, Xinbo Xu, Bo Zhao, Ruotian Ma, Shanyi Wang, Zhaopeng Tu, Xiaolong Li, Deqing Yang, Linus

机构 * Fudan University（复旦大学） ； Tencent Hunyuan（腾讯文恩） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 CogRouter通过动态调整认知深度提升LLM代理在多轮决策任务中的性能与效率。

A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models

A2D: 任意顺序、任意步长的安全对齐用于扩散语言模型

Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

机构 * Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学） ； Department of Computer Science and Engineering, Yonsei University（计算机科学与工程系，延世大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 A2D通过令牌级对齐方法，在扩散语言模型中实现任意顺序和步长攻击的鲁棒防御，显著降低有害输出生成概率并提升安全终止效率。

Comments Accepted at ICLR 2026. Code and models are available at https://ai-isl.github.io/A2D

Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning

基于Holdout损失的数据选择用于LLM微调的上下文学习

Ling Zhang, Xianliang Yang, Juwon Yu, Park Cheonyoung, Miran Lee, Lei Song, Jiang Bian

机构 * Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 指令微调 ：LLM(title)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于上下文近似（ICA）的方法，通过估计holdout损失来高效选择高价值训练数据，提升LLM微调的对齐性能。

Scaling Ambiguity: Augmenting Human Annotation in Speech Emotion Recognition with Audio-Language Models

缩放歧义：通过音频-语言模型增强语音情感识别中的人工标注

Wenda Zhang, Hongyu Jin, Siyi Wang, Zhiqiang Wei, Ting Dang

机构 * University of Melbourne（墨尔本大学） ； Xi'an Jiaotong University（西安交通大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过音频-语言模型生成合成标注，提升语音情感识别中模糊情感的真实分布可靠性，实验表明合成标注在低歧义区域效果显著，但高歧义情况需进一步优化。

Comments Accepted by ICASSP 2026

Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer

鲁棒且高效的零阶LLM微调方法：自适应贝叶斯子空间优化器

Jian Feng, Zhihong Huang

机构 * School of Mathematics, Sun Yat-sen University, Guangzhou, China（中山大学数学学院） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出BSZO方法，通过自适应贝叶斯子空间优化提升零阶LLM微调的鲁棒性和效率，实验显示在多种任务中性能优于基线方法。

Comments 23 pages, 2 figures, 5 tables

Safeguarding LLM Fine-tuning via Push-Pull Distributional Alignment

通过推拉分布对齐保障大语言模型微调安全

Haozhong Wang, Zhuo Li, Yibo Yang, He Zhao, Hongyuan Zha, Dandan Guo

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 SOT通过推拉分布对齐机制提升大语言模型微调的安全性与效用平衡

POLYCHARTQA: Benchmarking Large Vision-Language Models with Multilingual Chart Question Answering

POLYCHARTQA: 通过多语言图表问答基准评估大视觉-语言模型

Yichen Xu, Liangyu Chen, Liang Zhang, Jianzhe Ma, Wenxuan Wang, Qin Jin

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 PolyChartQA是首个大规模多语言图表问答基准，通过多语言图表生成和评估，揭示英语与其他语言在图表理解上的性能差距，并提供训练集提升多语言模型表现。

Comments Work in Progress

EXAONE 3.0 7.8B Instruction Tuned Language Model

EXAONE 3.0 7.8B 指令微调语言模型

Soyoung An, Kyunghoon Bae, Eunbi Choi, Stanley Jungkyu Choi, Yemuk Choi, Seokhee Hong, Yeonjung Hong, Junwon Hwang, Hyojin Jeon, Gerrard Jeongwon Jo, Hyunjik Jo, Jiyeon Jung, Yountae Jung, Euisoon Kim, Hyosang Kim, Joonkee Kim, Seonghwan Kim, Soyeon Kim, Sunkyoung Kim, Yireun Kim, Youchul Kim, Edward Hwayoung Lee, Haeju Lee, Honglak Lee, Jinsik Lee, Kyungmin Lee, Moontae Lee, Seungjun Lee, Woohyung Lim, Sangha Park, Sooyoun Park, Yongmin Park, Boseong Seo, Sihoon Yang, Heuiyeen Yeen, Kyungjae Yoo, Hyeongu Yun

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 EXAONE 3.0 7.8B 指令微调语言模型在韩语和通用任务中表现优异，通过开源促进专家AI的发展。

LUNE: Efficient LLM Unlearning via LoRA Fine-Tuning with Negative Examples

LUNE: 通过LoRA微调与负例实现高效的LLM反学习

Yezi Liu, Hanning Chen, Wenjun Huang, Yang Ni, Mohsen Imani

机构 * University of California, Irvine（加州大学伊藤分校） ； Purdue University Northwest（普渡大学西北分校） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 LUNE通过LoRA微调与负例实现高效LLM反学习，有效抑制特定知识，降低计算和内存消耗

UW-BioNLP at ChemoTimelines 2025: Thinking, Fine-Tuning, and Dictionary-Enhanced LLM Systems for Chemotherapy Timeline Extraction

UW-BioNLP在ChemoTimelines 2025中的表现：基于思考、微调和词典增强的LLM系统用于化疗时间线提取

Tianmai M. Zhang, Zhaoyi Sun, Sihang Zeng, Chenxi Li, Neil F. Abernethy, Barbara D. Lam, Fei Xia, Meliha Yetisgen

机构 * University of Washington（华盛顿大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 UW-BioNLP通过思考、微调和词典增强LLM方法，在ChemoTimelines 2025中实现了最佳性能，提升了化疗时间线提取的准确性。

Comments To be published in Proceedings of the 7th Clinical Natural Language Processing Workshop

Closing the Gap: Data-Centric Fine-Tuning of Vision Language Models for the Standardized Exam Questions

弥合差距：面向标准化考试题目的视觉语言模型数据驱动微调

Egemen Sert, Şeyda Ertekin

机构 * organization= Department of Computer Engineering, Middle East Technical University (METU) , city= Ankara , country= Türkiye ； organization= METU-DTX Digital Transformation \& Innovation Centre, METU , city= Ankara , country= Türkiye 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过高质量数据和优化语法提升视觉语言模型在标准化考试题目的多模态推理性能，达到接近SOTA的水平。

Drift No More? Context Equilibria in Multi-Turn LLM Interactions

多轮交互中不再漂移：多轮LLM交互中的上下文均衡

Vardhan Dongre, Ryan A. Rossi, Viet Dac Lai, David Seunghyun Yoon, Dilek Hakkani-Tür, Trung Bui

机构 * Adobe Research（Adobe研究院） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出了一种动态框架，通过KL散度和递归模型解释多轮交互中的上下文漂移，展示可控干预能有效减少漂移，表明漂移是可控均衡现象而非必然衰减。