语言大模型 / LLM

LLM-MARS: Large Language Model for Behavior Tree Generation and NLP-enhanced Dialogue in Multi-Agent Robot Systems

Artem Lykov, Maria Dronova, Nikolay Naglov, Mikhail Litvinov, Sergei Satsevich, Artem Bazhenov, Vladimir Berman, Aleksei Shcherbak, Dzmitry Tsetserukou

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)

Comments 2023 IEEE. This work has been submitted to IEEE for possible publication. arXiv admin note: text overlap with arXiv:2305.19352

CoIN: A Benchmark of Continual Instruction tuNing for Multimodel Large Language Model

Cheng Chen, Junchen Zhu, Xu Luo, Hengtao Shen, Lianli Gao, Jingkuan Song

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)

LLM-POET: Evolving Complex Environments using Large Language Models

Fuma Aki, Riku Ikeda, Takumi Saito, Ciaran Regan, Mizuki Oka

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)

Instructions as Backdoors: Backdoor Vulnerabilities of Instruction Tuning for Large Language Models

Jiashu Xu, Mingyu Derek Ma, Fei Wang, Chaowei Xiao, Muhao Chen

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(title)；language model(title)；RLHF(abstract)

Comments NAACL 2024

LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding

Senqiao Yang, Jiaming Liu, Ray Zhang, Mingjie Pan, Zoey Guo, Xiaoqi Li, Zehui Chen, Peng Gao, Yandong Guo, Shanghang Zhang

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)

LLM-BRAIn: AI-driven Fast Generation of Robot Behaviour Tree based on Large Language Model

Artem Lykov, Dzmitry Tsetserukou

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)

Comments 10 pages, 5 figures

Demystifying Instruction Mixing for Fine-tuning Large Language Models

Renxi Wang, Haonan Li, Minghao Wu, Yuxia Wang, Xudong Han, Chiyu Zhang, Timothy Baldwin

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract,comments)；LLM(abstract)

Comments Instruction Tuning, Large Language Model, Alignment

HiRoute: Hierarchical Routed Prompt Tuning for Safety Alignment of Large Language Models

HiRoute：用于大语言模型安全对齐的分层路由提示调优

Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；preference optimization(abstract)

AI总结 HiRoute是一种输入自适应分层提示调优框架，通过分层路由器与多粒度提示专家，提升大语言模型安全对齐效果，在多个安全基准上兼顾安全性与响应有用性，减少过度拒绝。

Comments Preprint

Listwise Cross-Encoder Fine-Tuning vs. Agentic Instruction Tuning for LLM Rerankers: A Systematic Study in Medical Procedure Reranking

用于LLM重排序器的列表式交叉编码器微调与智能体指令微调：医疗流程重排序的系统性研究

Matan Fainzilber, Shlomit Plavner

专题命中 指令微调 ：LLM(title,title_cn)；instruction tuning(title)；分类 cs.CL

AI总结 本文系统性对比列表式交叉编码器微调与智能体指令微调两种LLM重排序范式，在自建医疗流程重排序数据集上，发现1.09亿参数的ListNet微调交叉编码器性能优于40亿参数的Qwen3-Reranker-4B，参数量仅为后者1/37，相关成果已开源。

Comments 10 pages, 6 figures, 4 tables. Code available at https://github.com/matanf-healthee/listwise-crossencoder-reranking

Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training

通过多阶段后训练实现推荐系统基础模型的渐进式对齐

Oseong Choi, Hoeinn Kim, Jihoon Lee, Byungsoo Kang, Taeyeong Jang

专题命中 指令微调 ：foundation model(title,abstract)；post-training(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出LP-FFT-RFT三阶段渐进式后训练框架，将推荐系统基础模型的下游适配与业务指标对齐分离，实验证实其能提升推荐质量。

Comments 9 pages, 3 figures. Accepted to the 20th ACM Conference on Recommender Systems (RecSys '26), Industry Track

Patches of Nonlinearity: Instruction Vectors in Large Language Models

非线性补丁：大型语言模型中的指令向量

Irina Bigoulaeva, Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab)（通用知识处理实验室） ； Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（计算机科学系，达姆施塔特技术大学和应用网络安全国家研究中心ATHENE，德国） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(title)；SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 通过因果中介分析发现指令表示在模型中高度局部化，称为指令向量（IVs），并揭示其线性可分性与非线性因果交互并存，提出一种免于线性假设的新方法定位信息处理，发现IVs作为电路选择器。

Comments Accepted at ACL 2026

NOVA: NOise-aware Verbal Confidence CAlibration for Robust Large Language Models in RAG Systems

NOVA: 面向RAG系统中鲁棒大语言模型的噪声感知言语置信度校准

Jiayu Liu, Rui Wang, Qing Zong, Yumeng Wang, Cheng Qian, Qingcheng Zeng, Tianshi Zheng, Haochen Shi, Dadi Guo, Baixuan Xu, Chunyang Li, Yangqiu Song

机构 * HKUST（香港科技大学） ； UIUC（伊利诺伊大学香槟分校） ； Northwestern University（西北大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；LLM(abstract_cn)

AI总结 提出NOVA框架，通过规则引导的监督微调，解决检索增强生成中噪声上下文导致的过度自信问题，在域内和域外分别提升ECE 10.9%和8.0%。

Benchmarking Empirical Privacy Protection for Adaptations of Large Language Models

大语言模型适配的实证隐私保护基准测试

Bartłomiej Marek, Lorenzo Rossi, Vincent Hanke, Xun Wang, Michael Backes, Franziska Boenisch, Adam Dziedzic

机构 * CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全中心） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 通过系统变化适配数据分布，使用鲁棒成员推断和金丝雀数据提取攻击，评估差分隐私下大语言模型的实际隐私风险，发现分布偏移显著影响隐私脆弱性，LoRA等参数高效微调方法对分布外数据提供最佳实证保护。

Comments Accepted at ICLR 2026 (Oral)

Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models

谁的规范？解开大语言模型中的文化与个人对齐

Angana Borah, Isabelle Augenstein, Rada Mihalcea

机构 * University of Michigan - Ann Arbor（密歇根大学安娜堡分校） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；instruction tuning(abstract)

AI总结 提出PACT框架评估大语言模型在文化规范与个人偏好间的权衡，发现模型受国家背景影响大于年龄和性别，且人类对齐未能捕捉文化多元性。

Comments Preprint under review

Large Language Models Are Overconfident in Their Own Responses

大型语言模型对自己的回答过度自信

Mario Sanz-Guerrero, Manuel Mager, Katharina von der Wense

机构 * Johannes Gutenberg University Mainz（莱茵河畔明斯特约翰·古腾堡大学） ； University of Colorado Boulder（科罗拉多大学波德分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；instruction tuning(abstract)

AI总结 研究指令微调与聊天模板导致的大型语言模型校准偏差，发现“所有权偏见”使模型对自己的回答自信度高出26%，并提出通过将模型回答伪装为用户输入来降低过度自信。

Comments Accepted to ACL 2026 Findings

OOD-GraphLLM: Graph Large Language Model for Out-of-Distribution Generalized Drug Synergy Prediction

OOD-GraphLLM：面向分布外泛化的药物协同预测图大语言模型

Xin Wang, Linxin Xiao, Yang Yao, Wenwu Zhu

机构 * DCST, BNRist, Tsinghua University（国防科技大学、北京理工大学、清华大学） ； DCST, Tsinghua University（国防科技大学、清华大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；instruction tuning(abstract)

AI总结 针对药物协同预测中因新化合物导致的分布外偏移问题，提出OOD-GraphLLM框架，通过联合优化分子图表示与生物医学语义语言表示实现准确预测。

Comments 12 pages, 9 figures, ACM KDD 2026

From GPS Points to Travel Patterns: Flexible and Semantic Trajectory Generation with LLMs

从GPS点到出行模式：基于LLM的灵活语义轨迹生成

Silin Zhou, Chenhao Wang, Yuntao Wen, Shuo Shang, Lisi Chen, Panos Kalnis

机构 * University of Electronic Science and Technology of China（电子科技大学） ； King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出HTP方法，通过层次化生成出行模式再生成GPS点，利用LLM和RQ-VAE实现灵活、语义丰富的轨迹生成，在质量上平均提升29.78%。

Comments This paper is accepted by KDD2026 second round

AFRILANGTUTOR: Advancing Language Tutoring and Culture Education in Low-Resource Languages with Large Language Models

AFRILANGTUTOR：利用大语言模型推进低资源语言的语言辅导与文化教育

Tadesse Destaw Belay, Shahriar Kabir Nahin, Israel Abebe Azime, Ocean Monjur, Marek Rei, Chris Biemann, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam, Anshuman Chhabra

机构 * Instituto Politécnico Nacional（墨西哥政治技术学院） ； University of South Florida（佛罗里达州立大学） ； Saarland University（萨尔兰大学） ； Imperial College London（伦敦帝国理工学院） ； University of Hamburg（汉堡大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 针对低资源语言缺乏训练数据的问题，提出AFRILANGDICT词典资源并构建AFRILANGEDU数据集，通过监督微调和直接偏好优化训练AFRILANGTUTOR模型，在10种非洲语言上显著提升辅导性能。

Internalizing Tool Knowledge in Small Language Models via QLoRA Fine-Tuning

通过QLoRA微调将工具知识内化到小型语言模型中

Yuval Shemla, Ayal Yakobe, Tanmay Agarwal, Dhaval Patel, Kaoutar El Maghraoui

机构 * Columbia School of General Studies, Columbia University, NY, USA（哥伦比亚大学泛研学院） ； Columbia Engineering, Columbia University, NY, USA（哥伦比亚大学工程学院） ； IBM Research, NY, USA（IBM研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 本文研究通过QLoRA参数高效微调将工具知识内化到小型语言模型中，在AssetOpsBench基准上，微调后的Gemma 4 E4B和Qwen3-4B模型在无描述推理下优于有完整工具描述的未微调基线，输入长度减少82.6%，规划分数提升。

Distilling Game Code World Model Generation into Lightweight Large Language Models

将游戏代码世界模型生成蒸馏到轻量级大型语言模型

Tyrone Serapio, Arjun Prakash, Haoyang Xu, Kevin Wang, Amy Greenwald

机构 * Brown University（布朗大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 研究通过后训练将游戏代码世界模型生成能力蒸馏到小型模型，采用监督微调和带可验证奖励的强化学习提升生成代码的语法正确性和规则遵循性。

From Curated Data to Scalable Models: Continual Pre-training of Dense and MoE Large Language Models for Tibetan

从 curated 数据到可扩展模型：为藏语持续预训练密集和 MoE 大语言模型

Lei Yang, Leiyu Pan, Bojian Xiong, Renren Jin, Shaowei Zhang, Yue Chen, Ling Shi, Jiang Zhou, Junru Wu, Zhen Wang, Jianxiang Peng, Juesi Xiao, Tianyu Dong, Zhuowen Han, Zhuo Chen, Yuqi Ren, Deyi Xiong

机构 * TJUNLP Lab（TJUNLP实验室） ； School of Computer Science and Technology（计算机科学与技术学院） ； Tianjin University（天津大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；instruction tuning(abstract)

AI总结 本文提出了一种全面的管道，通过大规模数据整理和持续预训练推进藏语语言模型。构建了72GB高质量藏语语料库，并通过平衡多语言持续预训练和多语言指令微调改进Qwen2.5-7B模型，最终扩展为50B-A10B的MoE架构，实验结果显示模型在多种任务中优于现有开源和藏语专用模型。

Fine-Tuning Small Language Models for Solution-Oriented Windows Event Log Analysis

针对Windows事件日志分析的细调小型语言模型

Siraaj Akhtar, Saad Khan, Simon Parkinson

机构 * School of Computing and Engineering, University of Huddersfield, Huddersfield, United Kingdom（计算与工程学院，赫德斯菲尔德大学，赫德斯菲尔德，英国） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 本文研究小型语言模型在事件日志分析中的应用，通过合成数据集验证其在问题识别和修复方案生成上的优势，相比大语言模型更节省资源。

Comments 27 pages, 14 figures, 5 tables

How Large Language Models Balance Internal Knowledge with User and Document Assertions

大型语言模型如何在内部知识与用户和文档断言之间取得平衡

Shuowei Li, Haoxin Li, Wenda Chu, Yi Fang

机构 * Santa Clara University（圣克拉拉大学） ； Nanyang Technological University（南洋理工大学） ； California Institute of Technology（加州理工学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；post-training(abstract)

AI总结 本文研究了大型语言模型在处理内部知识与外部信息时的平衡问题，提出三源交互框架，评估27个模型，发现模型更依赖文档断言，且通过微调可提升其区分能力。

Comments Findings of ACL 2026

SmileyLlama: Modifying Large Language Models for Directed Chemical Space Exploration

SmileyLlama：通过监督微调改进大语言模型以定向探索化学空间

Joseph M. Cavanagh, Kunyang Sun, Andrew Gritsevskiy, Dorian Bagni, Yingze Wang, Thomas D. Bannister, Teresa Head-Gordon

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

AI总结 SmileyLlama通过监督微调和直接偏好优化，改进大语言模型以生成具有特定性质的药物分子，展示了其在药物发现中的应用潜力。

FCN-LLM: Empower LLM for Brain Functional Connectivity Network Understanding via Graph-level Multi-task Instruction Tuning

FCN-LLM: 通过图级多任务指令微调赋能LLM理解脑功能连接网络

Xingcan Hu, Wei Wang, Li Xiao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 FCN-LLM通过图级多任务指令微调使LLM理解脑功能连接网络，提升其在临床任务中的泛化能力。

Adapting Large Language Models to Low-Resource Tibetan: A Two-Stage Continual and Supervised Fine-Tuning Study

将大型语言模型适应于低资源藏语：一种两阶段持续和监督微调研究

Lifeng Chen, Ryan Lai, Tianming Liu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 本研究通过两阶段方法将Qwen2.5-3B适应到藏语，通过持续预训练和监督微调提升翻译质量，实现低资源语言的模型适应。

Compositional Bias Control in Large Language Models: Preference Learning Fails, Supervision Succeeds

Atij Mahesh

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；preference optimization(abstract)

Comments 20 pages

Do Code Semantics Help? A Comprehensive Study on Execution Trace-Based Information for Code Large Language Models

Jian Wang, Xiaofei Xie, Qiang Hu, Shangqing Liu, Yi Li

机构 * Singapore Management University（新加坡国立管理学院） ； Nanyang Technological University（南洋理工大学） ； Tianjin University（天津大学） ； State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

Comments EMNLP2025-findings https://openreview.net/forum?id=d4ICISW2T4

Enhancing Complex Instruction Following for Large Language Models with Mixture-of-Contexts Fine-tuning

Yuheng Lu, ZiMeng Bai, Caixia Yuan, Huixing Jiang, Xiaojie Wang

机构 * School of Artificial Intelligence, Beijing University of Posts and Telecommunications（人工智能学院，北京邮电大学） ； LI Auto Inc.（LI汽车公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

Trans-Zero: Self-Play Incentivizes Large Language Models for Multilingual Translation Without Parallel Data

Wei Zou, Sen Yang, Yu Bao, Shujian Huang, Jiajun Chen, Shanbo Cheng

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学） ； ByteDance Research（字节跳动研究） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

Comments 11 pages, 4 figures, accepted by ACL 2025 as findings