语言大模型 / LLM

TALAN: Task-Aligned Latent Adaptation Networks for Targeted Post-Training of Large Language Models

TALAN：面向大型语言模型目标后训练的任务对齐潜在自适应网络

Chengkai Zhang, Ziteng Liu, Junpu Wang, Zeyi Tao, Yang Wang, Sagar Chordia, Qin Huang

机构 * Meta AI 纠错

专题命中 指令微调 ：post-training(title,abstract)；large language model(title)；language model(title)；SFT(abstract,abstract_cn)

AI总结 提出TALAN，一种序列条件潜在旁路，插入Transformer残差流并与低秩适配器协同训练，在STEM/代码基准上平均提升LoRA 1.41点、DoRA 1.85点，仅增加<1%可训练参数和1.01-1.02倍推理开销。

EDIT: Evidence-Diagnosed Intervention Training for Rule-Faithful LLM Grading

EDIT：基于证据诊断的干预训练以实现遵循规则的LLM评分

Zhihao Wu, Linhai Zhang, Taiyi Wang, Runcong Zhao, Peter Andrews, Cesare Aloisi, Yulan He

机构 * King’s College London（伦敦国王学院） ； University of Cambridge（剑桥大学） ； AQA ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 提出EDIT框架，通过内部模型信号定位推理错误步骤并修正，结合信念引导的奖励塑造，提升LLM评分对评分标准的忠实度。

CHASE: Adversarial Red-Blue Teaming for Improving LLM Safety using Reinforcement Learning

CHASE：利用强化学习进行对抗性红蓝队训练以提高LLM安全性

Rahul Markasserithodi, Aditya Joshi, Yuekang Li, Ishmanbir Singh, Chris Yoo, Alan Niu

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；分类 cs.CL

AI总结 提出CHASE框架，通过红蓝队协同进化（红队使用GRPO生成对抗性改写，蓝队使用两阶段GRPO+拒绝采样SFT进行防御），在保持良性提示零误拒的同时将攻击成功率降低43.2%。

Comments Under Review at ARR

Beyond Code Pairs: Dialogue-Based Data Generation for LLM Code Translation

超越代码对：基于对话的数据生成用于LLM代码翻译

Le Chen, Nuo Xu, Winson Chen, Bin Lei, Pei-Hung Lin, Dunzhi Zhou, Rajeev Thakur, Caiwen Ding, Ali Jannesari, Chunhua Liao

机构 * Argonne National Laboratory（阿贡国家实验室） ； University of Minnesota（明尼苏达大学） ； Iowa State University（爱荷华州立大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于对话的数据生成方法，通过双LLM架构生成验证的翻译和多轮对话，以提升LLM在低资源编程领域中的代码翻译能力。

TamperBench: Systematically Stress-Testing LLM Safety Under Fine-Tuning and Tampering

TamperBench：系统化压力测试微调和篡改下的LLM安全性

Saad Hossain, Tom Tseng, Punya Syon Pandey, Samanvay Vajpayee, Matthew Kowal, Nayeema Nonta, Samuel Simko, Stephen Casper, Zhijing Jin, Kellin Pelrine, Sirisha Rambhatla

机构 * Critical ML Lab Waterloo Canada（Waterloo大学Critical ML实验室） ； FAR.AI Berkeley USA（伯克利美国FAR.AI公司） ； University of Toronto Toronto Canada（多伦多大学） ； University of Waterloo Waterloo Canada（Waterloo大学） ； ETH Zürich Zürich Switzerland（苏黎世联邦理工学院） ； MIT CSAIL Cambridge USA（麻省理工学院CSAIL实验室） ； University of Toronto, MPI, EuroSafeAI, Vector Institute Toronto Canada（多伦多大学、马克斯·普朗克研究所、EuroSafeAI、Vector Institute） ； Critical ML Lab University of Waterloo Waterloo Canada（Waterloo大学Critical ML实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出统一框架TamperBench，通过系统化超参数扫描评估21个开源LLM在9种篡改威胁下的安全性和实用性，发现越狱微调是最严重攻击，当前对齐阶段防御基本失效。

Comments 25 pages, 15 figures

Before and After Temperature: A Distributional View of Creative LLM Generation

温度前后：创造性LLM生成的分布视角

V. S. Raghu Parupudi, Harsha Ponnada, Aditi Kaushal, S. Shria Parupudi, Saiteja Dasari, Sahiti Bulusu

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Indian Institute of Technology, Kharagpur（印度理工学院克哈格布尔分校） ； Delhi Technological University（德里技术大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Rutgers University（罗格斯大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过分析采样温度重塑token分布的特征，提出一种无需参考的创造力评估方法，在Llama-3.1-8B-Instruct上达到Spearman ρ=0.918（LLM评判）和ρ=0.870（人类多数评判），显著优于现有基线。

Comments Submitted to NGEN-AI 2026

Enhancing LLM Metacognition via Cognitive Pairwise Training

通过认知成对训练增强LLM元认知

Weitao Li, Hao Zhou, Xuanyu Lei, Fandong Meng, Yuanhang Liu, Jingyi Ren, Ante Wang, Xiaolong Wang, Yuanchi Zhang, Fuwen Luo, Guangwen Yang, Lin Gan, Weizhi Ma, Yang Liu

机构 * National Engineering Laboratory for Intelligent Information Processing, Academy of Mathematics and Physics, Chinese Academy of Sciences（智能信息处理国家工程实验室，中国科学院数学物理研究所） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 提出认知成对训练（CPT），通过成对比较推理轨迹来学习区分可靠与不可靠推理，从而提升LLM的推理与元认知权衡。

From Memorization to Creativity: LLM as a Designer of Novel Neural Architectures

从记忆到创造：LLM作为新型神经架构的设计者

Waleed Khalid, Dmitry Ignatov, Radu Timofte

机构 * Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany（计算机视觉实验室，CAIDAS与IFI，乌尔姆大学，德国） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出NNGPT框架，通过闭环架构合成流水线，利用代码型LLM的监督微调循环，结合MinHash-Jaccard新颖性过滤和低保真性能信号，迭代提升生成架构的有效性、性能和多样性，实现从记忆到创造的转变。

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 3252-3261, 2026

The Long-Term Effects of Data Selection in LLM Fine-Tuning

LLM微调中数据选择的长期影响

Yuxin Yang, Aoxiong Zeng, Xiangquan Yang

机构 * Shanghai University（上海大学） ； East China Normal University（华东师范大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究多阶段LLM微调中，短视数据选择策略（如基于当前效用）可能导致后续学习变慢、遗忘加剧和排名反转，提出长视距感知选择（LHAS）目标函数以缓解此问题。

Comments work in process

DEBATE: A Large-Scale Benchmark for Evaluating Opinion Dynamics in Role-Playing LLM Agents

DEBATE：用于评估角色扮演LLM代理中观点动态的大规模基准

Yun-Shiuan Chuang, Ruixuan Tu, Chengtao Dai, You Li, Smit Vasani, Binwei Yao, Michael Henry Tessler, Sijia Yang, Dhavan Shah, Robert Hawkins, Junjie Hu, Timothy T. Rogers

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Google DeepMind（谷歌DeepMind） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 提出DEBATE基准，通过多轮公共消息和Likert量表信念数据，评估多代理角色扮演LLM模拟中观点动态的真实性，发现零样本设置下代理组过度收敛，而监督微调可改善立场对齐并减少组级收敛误差。

EvoMD-LLM: Learning the Language of Species Evolution in Reactive Molecular Dynamics

EvoMD-LLM：学习反应分子动力学中物种进化的语言

Zhichen Tang, Zhengzheng Dang, Yulin Chen, Jixin Wu, Haiwen Li, Yanming Wang

机构 * Global College, Shanghai Jiao Tong University（上海交通大学全球学院） ； Global Institute of Future Technology, Shanghai Jiao Tong University（上海交通大学未来技术全球研究院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出EvoMD-LLM框架，将反应分子动力学轨迹离散化为符号时间序列，通过时间脚手架机制使自回归大语言模型学习物种组成演化，在多项时间预测任务上优于基线模型，并能生成可解释性预测。

Comments 17 pages, ACL Findings

LLM Zeroth-Order Fine-Tuning is an Inference Workload

LLM零阶微调是一种推理工作负载

Zelin Li, Caiwen Ding

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文发现LLM零阶微调是推理主导的工作负载，通过将其重复评分阶段在服务运行时中执行，实现了8.13倍加速，并保持了高精度。

Comments 12 pages, 4 figures, 3 tables, including appendix and references

LCO: LLM-based Constraint Optimization for Safer Agentic LLMs in Real-world Tasks

LCO：基于LLM的约束优化，用于现实任务中更安全的智能体LLM

Jiayong Wan, Jiawei Chen, Zhaoxia Yin, Liu Shuyuan, Hang Su

机构 * East China Normal University（东华大学） ； Beijing Zhongguancun Academy（北京中关村学院） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出LCO框架，通过自思考模块和进化采样模块约束LLM行为，在不微调模型的情况下减少上下文奖励黑客行为，实验表明在输出优化和策略优化场景中显著提升安全性。

RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs

RL 压缩，SFT 扩展：推理型大语言模型的比较研究

Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过轨迹级和步骤级分析框架，比较了强化学习（RL）和监督微调（SFT）对数学推理大语言模型推理路径的影响，发现RL压缩错误轨迹并集中推理功能，而SFT扩展正确轨迹并均匀化推理功能。

Comments Accepted at ICLR2026

EditCaption: Human-Refined SFT and HAE-DPO for Image Editing Instruction Synthesis

EditCaption: 用于图像编辑指令合成的人工精炼SFT与HAE-DPO

Xiangyuan Wang, Honghao Cai, Yunhao Bai, Chao Hui, Tianze Zhou, Haohua Chen, Hao Shi, Yuling Wu, Yao Hu, Xu Tang, Yibo Chen, Wei Zhu

机构 * Peking University（北京大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tsinghua University（清华大学） ； Beihang University（北京航空航天大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出EditCaption两阶段后训练流程，通过人工精炼SFT和基于难度自适应错误感知DPO（HAE-DPO）提升图像编辑指令合成质量，显著降低关键错误率并超越现有模型。

Diagnosing Korean-Language LLM Political Bias via Census-Grounded Agent Simulation

通过人口普查基础代理模拟诊断韩语LLM的政治偏见

Sungwoo Kang

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Korea University（韩国大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过人口普查基础代理模拟框架Dynamo-K，研究韩语LLM在六个韩国选举中的政治行为，识别出三种系统性失败模式，并提出解决方案以校准模型，从而提高政治行为诊断的准确性。

BoostLLM: Boosting-inspired LLM Fine-tuning for Few-shot Tabular Classification

BoostLLM: 通过提升范式提升LLM微调用于少样本表格分类

Yi-Siang Wang, Kuan-Yu Chen, Yu-Chen Den, Darby Tien-Hao Chang

机构 * SinoPac Holdings（SinoPac控股公司） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出BoostLLM框架，通过多轮残差优化提升LLM微调性能，在少样本表格分类中超越传统方法，匹配甚至超越XGBoost，并在强树模型和延长提升周期下进一步提升。

Comments 19 pages, 4 figures

Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization

通过上下文老虎机优化用户资料以实现检索增强的LLM个性化

Linfeng Du, Ye Yuan, Zichen Zhao, Fuyuan Lyu, Emiliano Penaloza, Xiuying Chen, Zipeng Sun, Jikun Kang, Laurent Charlin, Xue Liu, Haolun Wu

机构 * McGill University（麦吉尔大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Université de Montréal（蒙特利尔大学） ； Salesforce（Salesforce公司） ； HEC Montréal（蒙特利尔HEC商学院） ； Mila - Quebec AI Institute（魁北克人工智能研究所） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出PURPLE框架，通过上下文老虎机优化用户资料，利用Plackett-Luce模型捕捉复杂依赖，提升LLM个性化效果。

Comments Accepted to ACL 2026

On the Robustness of LLM-Based Dense Retrievers: A Systematic Analysis of Generalizability and Stability

基于LLM的密集检索器的鲁棒性：通用性和稳定性系统分析

Yongkang Li, Panagiotis Eustratiadis, Yixing Fan, Evangelos Kanoulas

机构 * University of Amsterdam（阿姆斯特丹大学） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文系统分析了基于LLM的密集检索器的通用性和稳定性，发现指令微调模型在复杂推理任务中存在'专业化税'，而嵌入几何结构对鲁棒性有预测作用。

Multi-Task LLM with LoRA Fine-Tuning for Automated Cancer Staging and Biomarker Extraction

多任务LLM结合LoRA微调用于自动癌症分期和生物标志物提取

Jiahao Shao, Anam Nawaz Khan, Christopher Brett, Tom Berg, Xueping Li, Bing Yao

机构 * Department of Industrial & Systems Engineering, The University of Tennessee, Knoxville（工业与系统工程系，田纳西大学， Knoxville） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种参数高效、多任务框架，利用LoRA微调LLM实现乳腺癌TNM分期、组织学分级和生物标志物的自动化提取，实验显示其在宏F1分数上达到0.976，优于传统方法。

Comments 11 pages, 3 figures and 4 tables in the main manuscript. Additional content, figures and tables are in supplementary material section. 17 pages in total

Evaluating LLM-Generated ACSL Annotations for Formal Verification

评估LLM生成的ACSL注解用于形式验证

Arshad Beg, Diarmuid O'Donoghue, Rosemary Monahan

机构 * Maynooth University（迈诺特大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文评估了自动ACSL注解生成策略，比较了规则基Python脚本、Frama-C的RTE插件及三种LLM，发现规则方法更可靠，LLM性能波动大。

Comments 12 pages. Formal Techniques for Judicious Programming FTfJP-2026 at ECOOP. Conditionally Accepted. Final Revision

Activation Manifold Projection: Liberating Task-Specific Behaviors from LLM Architectures

激活流形投影：从LLM架构中解放任务特定行为

Al Kari

机构 * Manceps, Inc.（Manceps公司） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出CAST框架，通过学习不同LLM架构激活流形间的非线性映射，解放LoRA编码的行为，实现零样本翻译，实验显示其性能优于现有权重空间转移方法。

Inducing Epistemological Humility in Large Language Models: A Targeted SFT Approach to Reducing Hallucination

在大型语言模型中诱导知识谦逊：一种针对减少幻觉的定向SFT方法

Cem Uluoglakci, Tugba Taskaya Temizel

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(title,abstract)；分类 cs.CL

AI总结 本文提出HypoTermInstruct数据集，通过非现实术语问题训练模型知识谦逊，减少幻觉，实验显示其显著提升HypoTerm Score和FactScore，同时保持MMLU性能稳定。

DS$^2$-Instruct: Domain-Specific Data Synthesis for Large Language Models Instruction Tuning

DS$^2$-Instruct: 领域特定数据合成用于大语言模型指令微调

Ruiyao Xu, Noelle I. Samia, Han Liu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；分类 cs.CL

AI总结 DS$^2$-Instruct通过零样本方法生成领域特定指令数据集，结合任务关键词和布卢姆分类法不同认知层次，提升模型在数学、金融等七个领域性能。

Comments EACL 2026 Findings

Neuron-Aware Data Selection In Instruction Tuning For Large Language Models

面向神经元的数据选择用于大语言模型的指令微调

Xin Chen, Junchao Wu, Shu Yang, Runzhe Zhan, Zeyu Wu, Min Yang, Shujian Huang, Lidia S. Chao, Derek F. Wong

机构 * NLP ； CT Lab, Department of Computer and Information Science, University of Macau（计算机与信息科学系，澳门大学CT实验室） ； Artificial Intelligence Research Institute, Shenzhen University of Advanced Technology（深圳先进技术大学人工智能研究院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） ； Provable Responsible AI and Data Analytics Lab, KAUST（可证明责任AI与数据分析实验室，卡尔斯兰大学） ； National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；分类 cs.CL

AI总结 本文提出NAIT框架，通过分析神经元激活模式相似性选择高效指令微调数据，提升大语言模型特定或通用能力，实验证明其在多种任务中优于其他方法。

PowerGraph-LLM: Novel Power Grid Graph Embedding and Optimization with Large Language Models

PowerGraph-LLM: 利用大语言模型的新型电力网络图嵌入与优化框架

Fabien Bernier, Jun Cao, Maxime Cordy, Salah Ghamizi

机构 * SnT, University of Luxembourg, Luxembourg（卢森堡大学SnT学院，卢森堡） ； Luxembourg Institute of Health (LIH), Luxembourg（卢森堡健康研究院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 PowerGraph-LLM利用大语言模型解决电力系统最优潮流问题，结合图与表格表示以捕捉复杂关系，并通过定制的微调协议提升性能。

Comments Published at IEEE Transactions on Power Systems

Journal ref IEEE Transactions on Power Systems (Volume: 40, Issue: 6, Pages: 5483 - 5486, November 2025)

ITDR: An Instruction Tuning Dataset for Enhancing Large Language Models in Recommendations

ITDR: 一个用于增强推荐系统中大语言模型的指令微调数据集

Zekun Liu, Xiaowen Huang, Jitao Sang

机构 * Beijing Jiaotong University School of Computer Science ； Technology Beijing Key Laboratory of Traffic Data Mining ； Embodied Intelligence Key Laboratory of Big Data \& Artificial Intelligence in Transportation, Ministry of Education Beijing China ； Beijing Jiaotong University 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；分类 cs.AI

AI总结 ITDR数据集通过七个子任务提升推荐系统中大语言模型的性能，包含20万实例，适用于多种开源和闭源模型。

Towards Alignment-Centric Paradigm: A Survey of Instruction Tuning in Large Language Models

Xudong Han, Junjie Yang, Tianyang Wang, Ziqian Bi, Xinyuan Song, Junfeng Hao, Junhao Song

机构 * Department of Informatics, University of Sussex（信息学院，苏塞克斯大学） ； Pingtan Research Institute, Xiamen University（平潭研究院，厦门大学） ； Department of Computer Science, University of Liverpool（计算机科学系，利物浦大学） ； Department of Computer Science, Purdue University（计算机科学系，普渡大学） ； Department of Computer Science, Emory University（计算机科学系，埃默里大学） ； AI Agent Lab, Vokram Group（AI代理实验室，Vokram集团） ； Department of Computing, Imperial College London（计算系，帝国理工学院伦敦分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；分类 cs.CL

Comments 24 pages, 7 figures, 5 tables

CAP-LLM: Context-Augmented Personalized Large Language Models for News Headline Generation

Raymond Wilson, Cole Graham, Chase Carter, Zefeng Yang, Ruiqi Gu

机构 * National Energy University（国家能源大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

MF-LLM: Simulating Population Decision Dynamics via a Mean-Field Large Language Model Framework

Qirui Mi, Mengyue Yang, Xiangning Yu, Zhiyu Zhao, Cheng Deng, Bo An, Haifeng Zhang, Xu Chen, Jun Wang

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

Comments 29 pages, 8 figures, 4 tables