语言大模型 / LLM

Soft Specialists: $α$-Rényi Ensembles for Uncertainty-Aware LLM Post-Training

软专家：用于不确定性感知的LLM后训练的$\alpha$-Rényi集成

Paula Cordero-Encinar, Georgy Tyukin, Andrew B. Duncan

机构 * Department of Mathematics, Imperial College London（帝国理工学院伦敦校区数学系） ； Bessemer AI 纠错

专题命中 指令微调 ：LLM(title,title_cn)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出一种$\alpha$-Rényi变分框架，通过学习后训练参数的分布来替代深度集成，实现不确定性感知的LLM后训练，并支持软路由和模型专业化。

LLM Zeroth-Order Fine-Tuning is an Inference Workload

LLM零阶微调是一种推理工作负载

Zelin Li, Caiwen Ding

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文发现LLM零阶微调是推理主导的工作负载，通过将其重复评分阶段在服务运行时中执行，实现了8.13倍加速，并保持了高精度。

Comments 12 pages, 4 figures, 3 tables, including appendix and references

LCO: LLM-based Constraint Optimization for Safer Agentic LLMs in Real-world Tasks

LCO：基于LLM的约束优化，用于现实任务中更安全的智能体LLM

Jiayong Wan, Jiawei Chen, Zhaoxia Yin, Liu Shuyuan, Hang Su

机构 * East China Normal University（东华大学） ； Beijing Zhongguancun Academy（北京中关村学院） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出LCO框架，通过自思考模块和进化采样模块约束LLM行为，在不微调模型的情况下减少上下文奖励黑客行为，实验表明在输出优化和策略优化场景中显著提升安全性。

RL Squeezes, SFT Expands: A Comparative Study of Reasoning LLMs

RL 压缩，SFT 扩展：推理型大语言模型的比较研究

Kohsei Matsutani, Shota Takashiro, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过轨迹级和步骤级分析框架，比较了强化学习（RL）和监督微调（SFT）对数学推理大语言模型推理路径的影响，发现RL压缩错误轨迹并集中推理功能，而SFT扩展正确轨迹并均匀化推理功能。

Comments Accepted at ICLR2026

AFRILANGTUTOR: Advancing Language Tutoring and Culture Education in Low-Resource Languages with Large Language Models

AFRILANGTUTOR：利用大语言模型推进低资源语言的语言辅导与文化教育

Tadesse Destaw Belay, Shahriar Kabir Nahin, Israel Abebe Azime, Ocean Monjur, Marek Rei, Chris Biemann, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam, Anshuman Chhabra

机构 * Instituto Politécnico Nacional（墨西哥政治技术学院） ； University of South Florida（佛罗里达州立大学） ； Saarland University（萨尔兰大学） ； Imperial College London（伦敦帝国理工学院） ； University of Hamburg（汉堡大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 针对低资源语言缺乏训练数据的问题，提出AFRILANGDICT词典资源并构建AFRILANGEDU数据集，通过监督微调和直接偏好优化训练AFRILANGTUTOR模型，在10种非洲语言上显著提升辅导性能。

Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization

人类标注变异作为稳定信号：通过跨标注者偏好优化学习标注者特定的解释行为

Beiduo Chen, Pingjun Hong, Ziyun Zhang, Benjamin Roth, Anna Korhonen, Barbara Plank

机构 * MaiNLP ； Center for Information and Language Processing（信息与语言处理中心） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； University of Vienna（维也纳大学） ； LTL ； University of Cambridge（剑桥大学） 纠错

专题命中 指令微调 ：preference optimization(title,abstract)；SFT(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)

AI总结 研究大语言模型能否学习并复现标注者特定的标签-解释行为，提出跨标注者偏好优化（CAPO）方法，通过对比目标标注者与其他有效但非目标标注者的响应来提升模仿和归因能力。

Comments 43 pages, 20 figures

Adapting the Interface, Not the Model: Runtime Harness Adaptation for Deterministic LLM Agents

适配接口而非模型：面向确定性LLM智能体的运行时框架适配

Tianshi Xu, Huifeng Wen, Meng Li

机构 * Peking University（北京大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 提出Life-Harness运行时框架，通过从训练轨迹中演化出可复用的环境侧干预，在不修改模型权重或评估环境的情况下，显著提升冻结LLM智能体在确定性任务中的性能。

Comments Work in progress

SMILE-Next: Teaching Large Language Models to Detect, Classify, and Reason about Laughter

SMILE-Next: 教授大型语言模型检测、分类和推理笑声

Lee Jung-Mok, Kim Sung-Bin, Joohyun Chang, Lee Hyun, Tae-Hyun Oh

机构 * School of EE, KAIST（韩国科学技术院电子工程系） ； Dept. of EE, POSTECH（POSTECH电子工程系） ； School of Computing, KAIST（韩国科学技术院计算机科学系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出SMILE-Next数据集和包含笑声特定Self-Instruct与混合笑声专家框架的方法，用于实现多模态笑声理解，显著优于基线模型。

Journal ref Annual Meetings of the Association for Computational Linguistics 2026

Identifying and Mitigating Bottlenecks in Role-Playing Agents: A Systematic Study of Disentangling Character Profile Axes

识别与缓解角色扮演代理中的瓶颈：解耦角色档案轴线的系统研究

Yonghyun Jun, Junhyuk Choi, Jeonghyun Park, Jihyeong Park, Liu Nicole Geumheon, Hwanhee Lee

机构 * Chung-Ang University（Chung-Ang 大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究通过解耦角色档案的熟悉度、结构和性格三个轴线，系统诊断LLM角色扮演代理的性能瓶颈，并提出无训练的场感知对比解码（FACD）策略来缓解性格带来的性能下降。

Comments 28 pages

SRAF: Stealthy and Robust Adversarial Fingerprint for Copyright Verification of Large Language Models

SRAF：用于大语言模型版权验证的隐蔽且鲁棒的对抗指纹

Zhebo Wang, Zhenhua Xu, Maike Li, Wenpeng Xing, Chunqiang Hu, Chen Zhi, Meng Han

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 提出SRAF框架，通过协同联合优化和困惑度隐藏技术，在多种模型修改下实现鲁棒且隐蔽的对抗指纹，用于大语言模型所有权验证。

Text-Only Data Synthesis for Vision Language Model Training

仅文本数据合成用于视觉语言模型训练

Xiaomin Yu, Wenjie Zhang, Ziyue Qiao, Chengwei Qin, Hui Xiong

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Great Bay University（大湾大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；pretraining(abstract)

AI总结 提出一个跨集成的三阶段多模态数据合成框架，仅从文本生成高质量多模态训练数据，用于视觉语言模型的预训练和指令微调。

VULPO: Context-Aware Vulnerability Detection via On-Policy LLM Optimization

VULPO：基于策略优化的上下文感知漏洞检测

Youpeng Li, Fuxun Yu, Weiliang Qi, Xinda Wang

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Microsoft（微软） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出VULPO框架，通过构建包含上下文信息和推理轨迹的数据集ContextVul，结合冷启动监督微调和自适应策略优化，显著提升大语言模型在真实仓库中的漏洞检测能力。

Knowing When to Ask: Segment-Level Credit Assignment for LLM Tool Use

知道何时求助：面向LLM工具使用的片段级信用分配

Abhijit Kumar, Zoey Wu, Mohit Suley

机构 * Microsoft AI Redmond（微软AI红mond） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出CARL方法，通过强化学习在模型自身轨迹上训练评论家，对每个工具使用片段独立分配信用，使模型学会区分参数知识足够与需要外部帮助的情况，在多个基准上提升准确率并减少不必要的工具调用。

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

SAME: 用于多模态持续指令调优的稳定混合专家模型

Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态持续指令调优中专家路由漂移和专家漂移问题，提出稳定混合专家模型（SAME），通过正交子空间分解路由动态和曲率感知缩放更新专家，实现无重放的状态最优性能。

Comments Accepted to ICML 2026. Code is available at https://github.com/LAMDA-CL/Prism

FedMPT: Federated Multi-label Prompt Tuning of Vision-Language Models

FedMPT: 视觉语言模型的多标签联邦提示调优

Xucong Wang, Pengkun Wang, Zhe Zhao, Liheng Yu, Shuang Wang, Yang Wang

机构 * University of Science and Technology of China（科学技术大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI

AI总结 针对联邦学习中多标签识别任务，提出FedMPT方法，利用因果模型的前门调整和大语言模型驱动的条件解耦，通过最优传输和门控机制抑制虚假标签关联，提升模型鲁棒性。

Comments 16 pages, including 11 pages of main text and 5 pages of appendix; Accepted by CVPR2026

ICG: Improving Cover Image Generation via MLLM-based Prompting and Personalized Preference Alignment

ICG: 通过基于MLLM的提示和个性化偏好对齐改进封面图像生成

Zhipeng Bian, Jieming Zhu, Qijiong Liu, Wang Lin, Guohao Cai, Zhaocheng Du, Jiacheng Sun, Zhou Zhao, Zhenhua Dong

机构 * Huazhong University of Science and Technology（华中科技大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Hong Kong Polytechnic University（香港理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ICG框架，利用多模态大语言模型和扩散模型，通过元标记提取语义特征、用户嵌入个性化对齐及多奖励学习策略，实现高质量、个性化封面图像生成。

Comments Published in Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pages 12268-12278, EMNLP 2025. Official version: https://doi.org/10.18653/v1/2025.emnlp-main.617

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (Main Track) EMNLP 2025 12268-12278

Routing-Aligned Fine-Tuning for Multilingual Downstream Tasks in Mixture-of-Experts Models

面向混合专家模型中多语言下游任务的路由对齐微调

Guanzhi Deng, Kuan Wu, Haibo Wang, Shing Yin Wong, Sichun Luo, Linqi Song

机构 * City University of Hong Kong（香港城市大学） ； Carnegie Mellon University（卡内基梅隆大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 针对混合专家模型在多语言下游任务中的路由结构异构问题，提出RA-MoE三阶段框架，通过中间层语言通用对齐区识别任务相关专家，并引入路由对齐损失增强目标语言路由，实验表明该方法优于标准微调和强基线。

FPMoE: A Sparse Mixture-of-Experts Approach to Functional Code Generation

FPMoE：一种用于函数式代码生成的稀疏混合专家方法

Loc Pham, Lang Hong Nguyet Anh, Thanh Le-Cong

机构 * GreenNode AI ； Hanoi University of Science and Technology（河内科学技术大学） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM在函数式编程语言上性能差的问题，提出基于稀疏MoE架构的FPMoE模型，通过语言特定专家和共享专家分别消除干扰和捕获跨语言抽象，以3B活跃参数达到远超微调基线并匹配大模型的效果。

Why LLMs Fail at Causal Discovery and How Interventional Agents Escape

为什么LLM在因果发现中失败以及干预代理如何逃脱

Amartya Roy, Sonali Parbhoo

机构 * SIRE, IIT Delhi（IIT德里智能研究机构） ； Robert Bosch GmbH（罗伯特·博世有限公司） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 指令微调 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文证明大型语言模型在因果发现中存在根本性失败，并提出一种基于干预代理的因果贝叶斯优化方法（A-CBO），通过外部贝叶斯循环在无需模型微调的情况下实现可证明的收敛。

Comments 9 pages, 3 figures

Fine-Tuning Vision-Language Models for Understanding Current Damage and Scoring Priority with Quality Guard Agent

微调视觉语言模型以理解当前损伤并使用质量卫士代理进行优先级评分

Takato Yasuno

专题命中 指令微调 ：language model(title,abstract)；SLM(abstract,abstract_cn)

AI总结 本文通过微调LLaVA-1.5-7B视觉语言模型，结合规则引擎和质量卫士代理，实现了桥梁损伤自动理解与修复优先级评分，有效降低了评分变异并提升了效率。

Comments 23 pages, 11 figures, 13 tables

GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection

GUI-CIDER：通过因果内化和密度感知示例重选进行GUI代理的中期训练

Zheng Wu, Chengcheng Han, Zhengxi Lu, Tianjie Ju, Yanyu Chen, Qi Gu, Xunliang Cai, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Meituan（美团） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出GUI-CIDER中期训练方法，通过因果内化和密度感知示例重选显式内化GUI世界知识，提升代理对GUI操作的理解和任务成功率。

SYNAPSE: Neuro-Symbolic Visual Thought-to-Text Decoding via Topological Semantic Denoising

SYNAPSE: 通过拓扑语义去噪的神经符号视觉思维到文本解码

Akshaj Murhekar, Abhijit Mishra

机构 * School of Information University of Texas at Austin（信息学院德克萨斯大学奥斯汀分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出SYNAPSE框架，利用常识图结构和潜在样本进行推理时符号正则化，稳定脑电到文本解码中的语义生成，无需微调大语言模型。

PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective

PEFT-Arena：从稳定性-可塑性角度理解参数高效微调

Yangyi Huang, Ruotian Peng, Zeju Qiu, Jiale Kang, Yandong Wen, Bernhard Schölkopf, Weiyang Liu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Westlake University（西湖大学） ； MPI for Intelligent Systems（智能系统研究所） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出PEFT-Arena基准，通过稳定性-可塑性困境评估参数高效微调方法，发现正交微调在帕累托前沿上最优，并从权重空间和激活空间分析其几何特性。

Comments Technical report v1 (28 pages, 9 figures, project page: https://spherelab.ai/PEFT-Arena/)

Semantic Flow Regularization: Teaching LLMs to Generate Diverse Yet Coherent Responses

语义流正则化：教会LLMs生成多样且连贯的回复

Kerui Peng, Feifei Li, Xingyu Fan, Wenhui Que

机构 * Tencent Inc.（腾讯公司） ； Beijing, China（中国北京） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型微调时输出多样性严重受限的跨风格坍缩问题，提出语义流正则化（SFR），通过条件流匹配监督骨干网络使用连续句子嵌入，在零部署成本下提升多样性和风格保真度。

PICACO: Pluralistic In-Context Value Alignment of LLMs via Total Correlation Optimization

PICACO: 通过总相关优化实现大语言模型的多元情境价值对齐

Han Jiang, Dongyao Zhu, Xiaoyuan Yi, Ziang Xiao, Zhihua Wei, Xing Xie

机构 * Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学） ； North Carolina State University, Raleigh, NC, USA（北卡罗来纳州立大学） ； Microsoft Research Asia, Beijing, China（微软亚洲研究院） ； Tongji University, Shanghai, China（同济大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对情境对齐中价值冲突导致的指令瓶颈问题，提出PICACO方法，通过优化元指令并最大化指定价值与模型响应的总相关，无需微调即可实现多元价值平衡对齐。

Comments ICML 2026

Plan Before Search: Search Agents Need Plan

搜索前先规划：搜索智能体需要规划

Zhipeng Qian, Zihan Liang, Yufei Ma, Ben Chen, Huangyu Dai, Jiayi Ji, Chenyi Lei, Wenwu Ou, Xiaoshuai Sun, Qibin Hou

机构 * Kuaishou Technology（快手科技） ； Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学） ； VCIP, CS, Nankai University（南开大学VCIP实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Plan方法，通过将问题分解为有序子问题再进行检索，并引入自举训练范式，无需外部强模型蒸馏即可在多跳QA中激活规划能力。

iPOE: Interpretable Prompt Optimization via Explanations

iPOE: 基于解释的可解释提示优化

Jiahui Li, Yarik Menchaca Resendiz, Sean Papay, Roman Klinger

机构 * Fundamentals of Natural Language Processing, University of Bamberg, Germany（自然语言处理基础，巴姆堡大学，德国） ； Leibniz-Institut für Psychologie (ZPID), Trier, Germany（莱比锡心理学研究所（ZPID），特里尔，德国） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出iPOE方法，通过自动从解释中生成指南并优化，实现可解释的提示优化，在四个数据集上性能提升高达39%，且人类与LLM对指南贡献的判断一致性达Cohen's kappa 0.65。

Encoder-Free Human Motion Understanding via Structured Motion Descriptions

通过结构化运动描述实现无编码器的人体运动理解

Yao Zhang, Zhuchenyang Liu, Thomas Ploetz, Yu Xiao

机构 * Aalto University（阿alto大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出结构化运动描述（SMD），将关节位置序列转换为结构化自然语言描述，使大语言模型无需专用编码器即可直接进行运动推理，在运动问答和字幕生成任务上超越现有方法。

GuardReasoner-Omni: A Reasoning-based Multi-modal Guardrail for Text, Image, Video, and Audio

GuardReasoner-Omni：一种基于推理的多模态护栏，适用于文本、图像、视频和音频

Zhenhao Zhu, Yue Liu, Yanpei Guo, Wenjie Qu, Cancan Chen, Yufei He, Yibo Li, Yulin Chen, Tianyi Wu, Huiying Xu, Xinzhong Zhu, Jiaheng Zhang

专题命中 指令微调 ：SFT(summary_cn,abstract)

AI总结 提出GuardReasoner-Omni，一种基于推理的多模态护栏模型，通过两阶段训练（SFT和RL）在3B和7B参数规模上实现对文本、图像、视频和音频数据的有效审核，性能优于现有基线。

GFMate: Empowering Graph Foundation Models with Test-time Prompt Tuning

GFMate：通过测试时提示调优赋能图基础模型

Yan Jiang, Ruihong Qiu, Zi Huang

机构 * School of Electrical Engineering and Computer Science, The University of Queensland, Brisbane, Queensland, Australia（电气工程与计算机科学学院，昆士兰大学，布里斯班，昆士兰，澳大利亚） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出预训练无关的测试时图提示调优方法GFMate，通过质心提示和层提示避免与源领域和预训练策略的纠缠，并设计测试时互补学习目标利用有标签和无标签目标域数据，在12个基准数据集上实现高达30.63%的性能提升。