语言大模型 / LLM

From Context Shift to Stylistic Collapse: Why Training Objectives Matter More Than Scale

从语境偏移到风格崩溃：为什么训练目标比规模更重要

Rohan Mahapatra

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；language model(abstract)；preference optimization(abstract)

AI总结 本文通过分析17个模型（410M-100B+参数）在24个语言探针上的表现，发现指令微调系统会导致语言熵沿语篇和结构维度系统性崩溃，并表明弱干预加剧崩溃而强控制可显著改善，揭示了当前对齐流程在重新分配风格概率质量方面的结构性局限。

Comments 26 pages, 13 tables, 2 figures. Planning to submit to NeurIPS 2026

Committed SAE-Feature Traces for Audited-Session Substitution Detection in Hosted LLMs

托管LLM中审计会话替换检测的承诺SAE特征轨迹

Ziyang Liu

专题命中 指令微调 ：LLM(title_cn,summary_cn)；分类 cs.AI

AI总结 提出一种承诺-开放协议，通过Merkle树提交稀疏自编码器特征轨迹，以检测托管LLM提供商在服务中静默替换模型的行为。

Comments We identified inaccuracies in the security analysis: the closed-form intrinsic-dimension lower bound on the feature-forgery attacker (Proposition 4.2, Section 4, Appendix V) and the cross-backend noise calibration for the joint z-score threshold (Section 5.1, Table 2). These affect the claimed attack-resistance guarantees. We are withdrawing the paper to correct them before resubmission

TFD: A Comprehensive Structured Tibetan Foundation Dataset for Low-Resource Language Processing and Large-Scale Modeling

TFD：面向低资源语言处理和大规模建模的综合结构化藏语基础数据集

Cheng Huang, Fan Gao, Nyima Tashi, Yutong Liu, Yadi Liu, Wenbin Wei, Xiangxiang Wang, Yongbin Yu

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Xizang University（西藏大学） ； ZenWeave AI ； The State Key Laboratory of Tibetan Intelligence（藏语智能国家重点实验室） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 为解决藏语大语言模型开发中缺乏覆盖预训练、指令微调、安全对齐、偏好优化和推理监督等完整流程的数据集问题，提出首个结构化、大规模、专家精选的藏语基础数据集TFD，包含超过110亿词元的统一语料库及链式推理数据集，通过训练Sun-Shine系列藏语模型在理解、安全、推理和生成基准上取得显著提升。

Learning First Integrals via Backward-Generated Data and Guided Reinforcement Learning

通过反向生成数据和引导强化学习学习第一积分

Jingfeng Zhong, Zhengxiang Liu, Zhijie Wang, Shuai Li

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出FISolver，一种基于LLM的求解器，通过反向生成数据和引导强化学习方法，解决第一积分发现中的数据稀缺问题，并在挑战性基准上显著优于其他方法。

Comments 17 pages, 2 figures, 3 tables

Ancient Greek to Modern Greek Machine Translation: A Novel Benchmark and Fine-Tuning Experiments on LLMs and NMT Models

古希腊语到现代希腊语机器翻译：一种新的基准和对LLM和NMT模型的微调实验

Spyridon Mavromatis, Sokratis Sofianopoulos, Prokopis Prokopidis, Maria Giagkou

机构 * National and Kapodistrian University of Athens, Department of Informatics and Telecommunications（雅典国家和卡普迪斯特里亚大学信息与电信系） ； Institute for Language and Speech Processing, Athena RC（语言与语音处理研究所，雅典RC） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 本文提出了一种新的基准测试，并对LLM和NMT模型进行了微调实验，以解决古希腊语到现代希腊语的低资源机器翻译问题，展示了微调在提升翻译性能上的显著效果。

Comments 14 pages. Accepted for presentation at the 15th Language Resources and Evaluation Conference (LREC 2026), Palma, Mallorca, Spain

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pp. 8685-8698. European Language Resources Association (ELRA)

HydroAgent: Closing the Gap Between Frontier LLMs and Human Experts in Hydrologic Model Calibration via Simulator-Grounded RL

HydroAgent: 通过模拟器引导的强化学习缩小前沿大语言模型与人类专家在水文模型校准之间的差距

Zhi Li, Songkun Yan, Jie Cao, Mofan Zhang, Anjiang Wei, Jinwoong Yoo, Yang Hong

机构 * Civil, Environmental, and Architectural Engineering, University of Colorado Boulder（科罗拉多大学波尔德分校土木、环境与建筑工程系） ； Civil Engineering and Environmental Sciences, University of Oklahoma（俄克拉荷马大学土木工程与环境科学系） ； Department of Computer Science, University of Oklahoma（俄克拉荷马大学计算机科学系） ； Civil and Environmental Engineering, Stanford University（斯坦福大学土木与环境工程系） ； Department of Computer Science, Stanford University（斯坦福大学计算机科学系） ； NASA Goddard Space Flight Center（美国国家航空航天局戈达德空间飞行中心） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究如何利用前沿大语言模型（LLM）代理替代人类水文模型师进行水文模型校准，提出HydroAgent方法，通过模拟器引导的强化学习（RLSF）进行微调，以提高模型在不同流域中的适应性和准确性。

Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs

视觉即理解：解锁因果注意力以实现模态互注意力用于多模态大语言模型

Wei-Yao Wang, Zhao Wang, Helen Suzuki, Yoshiyuki Kobayashi

机构 * Sony Group Corporation, Tokyo, Japan（索尼集团，日本东京） 纠错

专题命中 指令微调 ：foundation model(abstract,abstract_cn)；instruction tuning(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出模态互注意力机制，通过解锁因果注意力，提升多模态理解性能，无需额外参数，在12个基准测试中平均提升6.2%。

Comments ICML 2026. Code is available at https://github.com/sony/aki

Vision-LLMs for Spatiotemporal Traffic Forecasting

面向时空交通预测的视觉语言模型

Ning Yang, Hengyu Zhong, Haijun Zhang, Randall Berry

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Southwest University（西南大学） ； Department of Computing and Communication Engineering, Beijing University of Science and Technology（北京科技大学计算机与通信工程学院） ； Department of Electrical and Computer Engineering, Northwestern University（西北大学电气与计算机工程系） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出ST-Vision-LLM框架，将时空预测转化为视觉-语言融合问题，通过视觉编码器处理历史交通矩阵并结合高效数值编码方案，提升交通预测精度。

Alignment Reduces Expressed but Not Encoded Gender Bias: A Unified Framework and Study

对齐减少了表达但未减少编码的性别偏见：一个统一的框架和研究

Nour Bouchouchi, Thibault Laugel, Xavier Renard, Christophe Marsala, Marie-Jeanne Lesot, Marcin Detyniecki

机构 * Sorbonne Université, CNRS, LIP6（索邦大学、国家科学研究中心、LIP6实验室） ； AXA（安盛） ； Polish Academy of Science, IBS PAN（波兰科学院、IBS PAN） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出统一框架分析LLM中的内在和外在性别偏见，发现对齐减少表达偏见但内部表示仍存在关联，且在对抗性提示下可被激活。

Minerva: Reinforcement Learning with Verifiable Rewards for Cyber Threat Intelligence LLMs

Minerva: 为网络威胁情报LLM采用可验证奖励的强化学习

Md Tanvirul Alam, Aritran Piplai, Ionut Cardei, Nidhi Rastogi, Peter J Worth

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； University of Texas at El Paso（德克萨斯大学埃尔帕索分校） ； Florida Atlantic University（佛罗里达Atlantic大学） 纠错

专题命中 指令微调 ：LLM(title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出Minerva，一种统一的数据集和训练流程，用于多类网络威胁情报子任务，通过任务特定验证器评分结构化输出。MinervaRL通过轻量自训练机制生成额外验证轨迹并反向蒸馏至模型，提升性能。

Null Space Constrained Contrastive Visual Forgetting for MLLM Unlearning

空域约束对比遗忘用于MLLM反学习

Yuhang Wang, Zhenxing Niu, Haoxuan Ji, Guangyu He, Linlin Zhang, Haichang Gao

机构 * School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种MLLM反学习方法，通过冻结LLM主干并微调视觉模块，在保留非目标视觉知识和全部文本知识的同时，有效遗忘目标视觉知识。

Comments 20 pages, 5 figures

Introspection Adapters: Training LLMs to Report Their Learned Behaviors

自我反思适配器：训练LLM报告其学习行为

Keshav Shenoy, Li Yang, Abhay Sheshadri, Sören Mindermann, Jack Lindsey, Sam Marks, Rowan Wang

机构 * Ashwood Centre on AI Science and Policy（人工智能科学与政策中心） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；分类 cs.AI

AI总结 本文提出自我反思适配器，通过训练LLM描述其学习行为，用于快速识别多种LLM的学习行为，实现对微调模型的有效审计。

Hierarchical Policy Optimization for Simultaneous Translation of Unbounded Speech

分层策略优化用于无界语音的同时翻译

Siqi Ouyang, Shuoyang Ding, Oleksii Hrinchuk, Vitaly Lavrukhin, Brian Yan, Boris Ginsburg, Lei Li

机构 * Carnegie Mellon University（卡内基梅隆大学） ； NVIDIA（英伟达） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出分层策略优化方法，通过后训练处理不完美的监督微调数据，提升同时语音翻译质量与效率，实验显示在1.5秒延迟下，COMET和MetricX得分分别提升超7和1.25。

Comments ACL 2026 Oral

Writing-RL: Advancing Long-form Writing via Adaptive Curriculum Reinforcement Learning

Writing-RL: 通过自适应课程强化学习推进长文本写作

Xuanyu Lei, Chenliang Li, Yuning Wu, Kaiming Liu, Weizhou Shen, Peng Li, Ming Yan, Fei Huang, Ya-Qin Zhang, Yang Liu

机构 * Institute for AI Industry Research (AIR)（人工智能产业研究院） ； Tsinghua University（清华大学） ； Dept. of Comp. Sci. & Tech.（计算机科学与技术系） ； Institute for AI（人工智能研究院） ； Institute of Intelligent Computing（智能计算研究院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Writing-RL框架，通过自适应课程强化学习提升长文本写作能力，克服SFT的局限，实验表明其在长文本生成任务中优于基线模型。

Comments Code is released at https://github.com/Tongyi-Zhiwen/Writing-RL

SecureGate: Learning When to Reveal PII Safely via Token-Gated Dual-Adapters for Federated LLMs

SecureGate: 通过令牌门控双适配器安全学习何时揭示PII

Mohamed Shaaban, Mohamed Elmahallawy

机构 * Washington State University（华盛顿州立大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SecureGate通过令牌门控双适配器框架，在联邦LLM微调中实现细粒度隐私控制，减少PII泄露并提升任务效用。

Synthesizing Instruction-Tuning Datasets with Contrastive Decoding

通过对比解码合成指令微调数据集

Tatsuya Ichinose, Youmi Ma, Masanari Oi, Ryuto Koike, Naoaki Okazaki

机构 * Department of Computer Science, School of Computing, Institute of Science Tokyo（东京科学大学计算机科学系） ； National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院） ； Research and Development Center for Large Language Models, NII（大型语言模型研究与开发中心，日本信息产业技术综合研究所） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出CoDIT方法，通过对比解码分离预训练知识与指令遵循能力，提升指令微调效果。实验表明基于CoDIT构建的数据集在多个基准上表现更优。

Comments 24 pages, 7 figures

An empirical study of LoRA-based fine-tuning of large language models for automated test case generation

基于LoRA的大型语言模型微调在自动测试用例生成中的实证研究

Milad Moradi, Ke Yan, David Colwell, Rhona Asgari

机构 * AI Research Lab, Tricentis（Tricentis AI研究实验室） ； Tricentis GmbH 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.AI

AI总结 本文通过实证研究探讨LoRA微调在基于需求的测试用例生成中的效果，评估了多种LLM家族，并发现LoRA微调显著提升了开源模型性能，且开源模型在微调后可与专有模型性能相当。

Instructing Large Language Models for Low-Resource Languages: A Systematic Study for Basque

为低资源语言指导大型语言模型：巴斯克语的系统研究

Oscar Sainz, Naiara Perez, Julen Etxaniz, Joseba Fernandez de Landa, Itziar Aldabe, Iker García-Ferrero, Aimar Zabala, Ekhi Azurmendi, German Rigau, Eneko Agirre, Mikel Artetxe, Aitor Soroa

专题命中 指令微调 ：language model(title,abstract)；large language model(title)；分类 cs.CL

AI总结 本文系统研究了巴斯克语在低资源场景下的指导模型方法，发现目标语言语料库至关重要，合成指令能产生稳健模型，且使用指导模型作为骨干优于非指导基础模型。

Comments Accepted at EMNLP 2025 Main Conference

LIA: Supervised Fine-Tuning of Large Language Models for Automatic Issue Assignment

LIA：大型语言模型的监督微调用于自动问题分配

Arsham Khosravani, Alireza Hoseinpour, Arshia Akhavan, Mehdi Keshani, Abbas Heydarnoori

机构 * California State University Northridge（加州州立大学北岭分校） ； Bowling Green State University（鲍灵格林州立大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.AI

AI总结 LIA通过监督微调大型语言模型，实现高效准确的问题分配，显著优于现有方法。

CARE: An Explainable Computational Framework for Assessing Client-Perceived Therapeutic Alliance Using Large Language Models

CARE：基于大语言模型的可解释计算框架，用于评估客户端感知的治疗联盟

Anqi Li, Chenxiao Wang, Yu Lu, Renjun Xu, Lizhi Ma, Zhenzhong Lan

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Department of Psychology, Jing Hengyi School of Education, Hangzhou Normal University（心理系，金恒毅教育学院，杭州师范大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

AI总结 CARE基于大语言模型，通过生成可解释的推理原因，提升对咨询中治疗联盟感知的评估准确性与实用性。

Comments 14 pages, 4 figures

What-If Analysis of Large Language Models: Explore the Game World Using Proactive Thinking

大型语言模型的What-If分析：通过前瞻性思维探索游戏世界

Yuan Sui, Yanming Zhang, Yi Liao, Yu Gu, Guohua Tang, Zhongqian Sun, Wei Yang, Bryan Hooi

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.AI

AI总结 WiA-LLM通过前瞻性思维提升大型语言模型在复杂游戏环境中的决策能力，实现74.2%的预测准确率和更接近专家玩家的策略行为。

ARREST: Adversarial Resilient Regulation Enhancing Safety and Truth in Large Language Models

ARREST: 对抗鲁棒调节提升大语言模型的安全性与真实性

Sharanya Dasgupta, Arkaprabha Basu, Sujoy Nath, Swagatam Das

机构 * Electronics and Communication Sciences Unit (ECSU), Indian Statistical Institute Kolkata, University of Surrey, and Indian Institute Of Technology Delhi（电子与通信科学单元（ECSU）、印度统计研究所科钦分校、萨里大学和印度理工学院德里） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；RLHF(abstract)；分类 cs.CL

AI总结 ARREST通过对抗鲁棒调节提升大语言模型的安全性与真实性，通过外部网络纠正表征不匹配并生成软拒绝。

EXAONE 3.5: Series of Large Language Models for Real-world Use Cases

EXAONE 3.5：面向实际应用场景的大型语言模型系列

Soyoung An, Kyunghoon Bae, Eunbi Choi, Kibong Choi, Stanley Jungkyu Choi, Seokhee Hong, Junwon Hwang, Hyojin Jeon, Gerrard Jeongwon Jo, Hyunjik Jo, Jiyeon Jung, Yountae Jung, Hyosang Kim, Joonkee Kim, Seonghwan Kim, Soyeon Kim, Sunkyoung Kim, Yireun Kim, Yongil Kim, Youchul Kim, Edward Hwayoung Lee, Haeju Lee, Honglak Lee, Jinsik Lee, Kyungmin Lee, Woohyung Lim, Sangha Park, Sooyoun Park, Yongmin Park, Sihoon Yang, Heuiyeen Yeen, Hyeongu Yun

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(title)；分类 cs.CL

AI总结 EXAONE 3.5系列模型通过指令微调在现实场景中实现卓越的指令遵循能力，同时在长上下文理解和通用基准测试中表现优异。

LoKI: Low-damage Knowledge Implanting of Large Language Models

LoKI: 大型语言模型的低损伤知识植入

Runyu Wang, Peng Ping, Zhengyu Guo, Xiaoye Zhang, Quan Shi, Liting Zhou, Tianbo Ji

专题命中 指令微调 ：large language model(title)；language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 LoKI通过利用transformer架构的知识存储机制，实现了在保持通用能力的同时提升任务特定性能的参数高效微调方法。

Comments AAAI-26 Oral

Scalable Fingerprinting of Large Language Models

Anshul Nasery, Jonathan Hayase, Creston Brooks, Peiyao Sheng, Himanshu Tyagi, Pramod Viswanath, Sewoong Oh

机构 * University of Washington（华盛顿大学） ； Sentient 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；post-training(abstract)；分类 cs.LG

Comments Spotlight at NeurIPS 2025

Distribution Prompting: Understanding the Expressivity of Language Models Through the Next-Token Distributions They Can Produce

Haojin Wang, Zining Zhu, Freda Shi

机构 * University of Waterloo（多伦多大学） ； Stevens Institute of Technology（史蒂文斯理工学院） ； Vector Institute, Canada CIFAR AI Chair（加拿大向量研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(title)；分类 cs.CL

The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation

David Stap, Christof Monz

机构 * Language Technology Lab University of Amsterdam（语言技术实验室 阿姆斯特丹大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

Comments EMNLP 2025 Camera Ready

GTA: Supervised-Guided Reinforcement Learning for Text Classification with Large Language Models

Min Zeng, Jingfei Sun, Xueyou Luo, Caiquan Liu, Shiqi Zhang, Li Xie, Xiaoxin Chen

机构 * vivo AI Lab（vivo人工智能实验室） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；SFT(abstract)；分类 cs.CL

Comments Accepted at EMNLP 2025

Can Large Language Models Act as Ensembler for Multi-GNNs?

Hanqi Duan, Yao Cheng, Jianxiang Yu, Yao Liu, Xiang Li

机构 * East China Normal University（东华师范大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.AI

Prescribing the Right Remedy: Mitigating Hallucinations in Large Vision-Language Models via Targeted Instruction Tuning

Rui Hu, Yahan Tu, Shuyu Wei, Dongyuan Lu, Jitao Sang

机构 * Beijing Key Lab of Traffic Data Analysis and Mining（北京交通大数据分析与挖掘重点实验室） ； Beijing Jiaotong University（北京交通大学） ； School of Information Technology and Management（信息科学技术学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(title)；分类 cs.AI

Comments Accepted in Information Sciences 2025