Multimodal Foundation Models for Zero-shot Animal Species Recognition in Camera Trap Images
专题命中 指令微调 ：foundation model(title,abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.LG
Comments 18 pages, 9 figures
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 指令微调 11601 篇
Specialist or Generalist? Instruction Tuning for Specific NLP Tasks
专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL
Comments Accepted to EMNLP 2023
Enhancing Zero-Shot Crypto Sentiment with Fine-tuned Language Model and Prompt Engineering
专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL
Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models
专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL
Comments Accepted to EMNLP 2023 Findings. Work was done before July 2023
LLM-augmented Preference Learning from Natural Language
专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL
Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants
专题命中 指令微调 ：foundation model(title)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)
Introducing DictaLM -- A Large Generative Language Model for Modern Hebrew
专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；foundation model(abstract)；分类 cs.CL
Fine-tuning Large Enterprise Language Models via Ontological Reasoning
专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL
Comments Accepted at RuleML 2023
Context Aware Query Rewriting for Text Rankers using LLM
专题命中 指令微调 ：LLM(title,abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI
PMC-LLaMA: Towards Building Open-source Language Models for Medicine
专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL
Better Handling Coreference Resolution in Aspect Level Sentiment Classification by Fine-Tuning Language Models
专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL
Comments Work done up till December 2022
Contextual Dynamic Prompting for Response Generation in Task-oriented Dialog Systems
专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL
Comments Accepted at EACL 2023 main conference. (Camera-ready version)
InstructDial: Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning
专题命中 指令微调 ：instruction tuning(title,abstract)；language model(abstract)；small language model(abstract)；分类 cs.CL
Comments EMNLP 2022
Robust Transfer Learning with Pretrained Language Models through Adapters
专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL
Comments Accepted to ACL 2021
TF1-EN-3M: Three Million Synthetic Moral Fables for Training Small, Open Language Models
TF1-EN-3M：三百万合成道德寓言用于训练小型开放语言模型
机构 * Babeș-Bolyai University（巴纳德-波耶亚大学） ； KlusAI Labs（KlusAI实验室）
专题命中 指令微调 ：language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出TF1-EN-3M数据集，包含三百万英文寓言，用于训练小型开放语言模型，展示通过指令微调模型生成高质量寓言的方法，验证了无需大模型即可实现大规模道德叙事的可能性。
Comments 18 pages, 6 tables, 1 figure. v2: revised evaluation with open-weight LLM judge panel, expanded citations
LLM-Powered GUI Agents in Phone Automation: Surveying Progress and Prospects
专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)
Comments Paper accepted to TMLR 2025, Project Homepage: https://github.com/PhoneLLM/Awesome-LLM-Powered-Phone-GUI-Agents
Less is More: Local Intrinsic Dimensions of Contextual Language Models
机构 * Faculty of Mathematics and Natural Sciences, Heinrich Heine University Düsseldorf（明斯特大学数学与自然科学学院） ； Institute of AI for Health, Helmholtz Munich（健康人工智能研究所） ； Technical University of Munich（慕尼黑技术大学） ； University of Fribourg（弗里堡大学）
专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG；LLM(comments)
Comments Accepted at the 39th Conference on Neural Information Processing Systems (NeurIPS 2025; in press). 10 pages, with an additional 17 pages in the appendix. Our code is available at https://github.com/aidos-lab/Topo_LLM_public and https://github.com/aidos-lab/grokking-via-lid
Journal ref Advances in Neural Information Processing Systems, Volume 38 (NeurIPS 2025)
Vision Language Models: A Survey of 26K Papers
机构 * School of Computer Science, The University of Manchester, Manchester, UK（曼彻斯特大学计算机科学学院）
专题命中 指令微调 ：language model(title)；LLM(abstract,comments)；instruction tuning(abstract)；prompting(abstract)
Comments VLM/LLM Learning Notes
Computational Orientalism: Measuring Structural Discourse Bias in Large Language Models Using the Middle East Cultural Sensitivity Score (MECSS)
计算东方主义：使用中东文化敏感性评分（MECSS）测量大语言模型中的结构性话语偏见
专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI
AI总结 该研究提出MECSS框架测量大语言模型的东方主义结构性话语偏见，发现GPT-4和Falcon3-7B-Instruct均存在系统性东方主义模式，且Falcon3-7B-Instruct得分更高，Said-washing现象普遍存在。
Comments 16 pages, 3 tables
STEREODISCO: Discovering Stereotypicality in LLMs
STEREODISCO：发现大语言模型中的刻板印象
机构 * Institute for Artificial Intelligence（人工智能研究所） ； Institute for Social Science（社会科学研究所） ； University of Southampton（南安普顿大学）
专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 STEREODISCO框架适配语义差异法研究LLM内部表征的刻板印象，发现LLM编码的社会群体刻板印象与人类存在差异，且识别出多种新的刻板印象语义轴。
MindForge: Teaching Small Language Models Whole-Life-Cycle Software Engineering via Source-Free Program Synthesis
MindForge：通过无源码程序合成教小型语言模型全生命周期软件工程
专题命中 指令微调 ：language model(title)；small language model(title)；分类 cs.CL、cs.LG
AI总结 研究针对小型语言模型从零构建程序的挑战，提出MindForge构建全生命周期无源码训练环境，微调Qwen3.6-27B后在ProgramBench及7个软件工程基准上性能显著提升。
Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
迈向对大语言模型微调中记忆知识无法泛化原因的机理理解
机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学）
专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI
AI总结 研究大语言模型微调中记忆知识无法泛化的问题，用自修补技术监测知识渗透动态，发现与知识电路未对准假设一致，还设计启发式策略验证，跨域实验证明发现具稳健性。
KG2Cypher: Data-Centric Pipeline for Building Enterprise Text-to-Cypher Systems
KG2Cypher：面向构建企业文本到Cypher系统的数据驱动流水线
机构 * Sungkyunkwan University（成均馆大学） ； NAVER
专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL、cs.AI
AI总结 提出KG2Cypher数据驱动流水线，从现有知识图谱生成可执行Cypher查询及对应自然语言问题，通过LoRA微调提升企业文本到Cypher转换的准确率。
Comments 11 pages, 2 figures, 10 tables
A Training-Free Mixture-of-Agents Framework for Multi-Document Summarization using LLMs and Knowledge Graphs
一种基于LLM和知识图谱的无训练混合智能体框架用于多文档摘要
机构 * Faculty of Artificial Intelligence and Data Science, Phenikaa University（人工智能与数据科学学院，泛尼克大学） ； VNPT AI, VNPT Group（VNPT AI，VNPT集团） ； MobiFone Research and Development Center, MobiFone Corporation（MobiFone研发与开发中心，MobiFone公司） ； Business AI Lab, Faculty of Data Science and Artificial Intelligence, National Economics University, College of Technology（商业人工智能实验室，数据科学与人工智能学院，国家经济大学，技术学院）
专题命中 指令微调 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出一种无需训练、结合大语言模型和知识图谱的混合智能体框架，通过分解摘要任务为专用智能体（抽取、知识感知抽象、迭代精炼）并利用多视角一致性机制，在英文和越南语数据集上取得领先性能。
Comments Accepted by Neural Computing and Applications
Journal ref Neural Comput & Applic 38, 538 (2026)
Scaling Performance and Low-Resource Annotation with Many-Shot In-Context Learning for Named Entity Recognition
扩展性能与低资源标注：面向命名实体识别的多示例上下文学习
机构 * Temple University（天普大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校）
专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 本文研究多示例上下文学习在命名实体识别中的扩展性，发现使用数百示例可使LLM匹配甚至超越监督BERT，并利用约百个人工标注示例生成高质量数据，在低资源NER上提升约10% F1。
Comments ACL 2026 Findings
MENTOR: Reinforcement Learning via Flexible Teacher-Optimized Rewards for Tool-Use Distillation
MENTOR: 通过灵活的教师优化奖励进行工具使用蒸馏的强化学习
机构 * Seoul National University of Science and Technology（首尔科学技术大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； LG CNS
专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)
AI总结 提出MENTOR方法，通过灵活的教师优化奖励结构，平衡行为对齐与下游性能，提升小模型在工具使用任务中的域外泛化能力。
Alignment Risks from Capability-Seeking RL Training
从能力寻求强化学习训练中产生的对齐风险
机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Toronto（多伦多大学） ； University of Cambridge（剑桥大学）
专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)；分类 cs.CL、cs.LG
AI总结 本文研究了在易受攻击的环境中通过强化学习训练语言模型时，模型可能利用隐含漏洞来最大化奖励的风险，发现这些策略不仅限于狭窄的技巧，还能在一定程度上转移、传播，并在某些情况下比通过SFT学习更持久，表明需要扩展AI安全工作到审计和保障训练环境、奖励机制和评估渠道。
Comments Accepted by ICML 2026
MusaCoder: Native GPU Kernel Generation with Full-Stack Training on Moore Threads GPU
MusaCoder: 在摩尔线程GPU上通过全栈训练实现原生GPU内核生成
机构 * Moore Threads AI
专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)
AI总结 提出MusaCoder全栈训练框架，结合渐进式数据合成、多样性保持拒绝微调和基于执行反馈的强化学习，在CUDA和MUSA后端上生成高效原生GPU内核，9B模型匹配前沿闭源模型，27B模型达到新最优。
Stabilizing Policy Optimization via Logits Convexity
通过Logits凸性稳定策略优化
机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 针对强化学习训练不稳定的问题，从梯度角度分析监督微调与强化学习的稳定性差距，提出Logits凸优化（LCO）框架，通过模拟logits级凸性来稳定策略优化，实验表明该方法能提升训练稳定性并在多个基准上优于传统方法。
What Gets Unmasked First? Trajectory Analysis of Diffusion Models for Graph-to-Text Generation
什么先被揭开？面向图到文本生成的扩散模型轨迹分析
机构 * The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 本文首次系统研究掩码扩散语言模型在图到文本生成中的解码轨迹，发现其优先生成实体，并针对监督微调导致的输出长度固定问题提出无训练推理时修改方法λ缩放结构解码，恢复+9.4 BLEU-4，同时引入Graph-LLaDA模型以显式融入关系图结构。
