语言大模型 / LLM

STAIF: A Stage-wise Optimization for Complex Instruction Following

STAIF：一种用于复杂指令跟随的逐阶段优化方法

Jian Hong, Chen Cheng, Quan Liu, Yuhao Chen, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； iFLYTEK Research Group（科大讯飞研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型遵循复杂指令的挑战，提出STAIF逐阶段优化框架，先通过偏好优化提高软约束敏感度，再用可验证奖励强化学习确保硬约束遵守，构建相关数据集，验证了该方法的设计并展现出领先性能和泛化能力。

Comments 16 pages, 6 figures

Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis

让我看着你：用于对话语音合成的高级面部表情建模

Yifan Hu, Shuwei He, Rui Liu, Haizhou Li

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 研究针对对话语音合成中面部表情线索常被忽视及缺乏多模态数据集的问题，提出基于大语言模型的FacialTalker框架，含AUTokenizer和DualDPO策略，构建VSDD-1K数据集，实验表明该框架在表情感知和语音合成质量上表现出色。

Comments 10 pages, 5 figures, 5 tables. Accepted by ACM MM 2026

Learning Sampling Parameters for Diffusion Models

学习扩散模型的采样参数

Arisrei Lim, Yossi Gandelsman

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 研究针对扩散模型推理时采样参数固定的问题，提出LeSAMP框架，将参数选择转化为强化学习问题，通过人类偏好模型和VLM评判优化，实验表明该方法相比基线有更高胜率，为改进扩散模型输出提供补充途径。

Comments Code will be released

RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning

RESTOR：通过强化学习自动生成RESTful API的测试预言机

Xun Zhou, Zhen Dong, Mingyu Ren, Qiang Li, JunJie Li, Sifan Wang, Xiaolong Yu, Chaofeng Sha, Xin Peng

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对RESTful API测试中定义可靠测试预言机的挑战，Restor框架利用强化学习，通过数据增强管道微调大语言模型生成测试断言，在工业数据集和生产工作流程中表现出色，提升测试用例采用率并减少人工QA工作。

Comments Accepted to ISSTA 2026. 22 pages, 8 figures, 2 tables

Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning

超越直接回答：通过启发式强化学习将教育大语言模型调整为苏格拉底式引导者

Xiaokun Wang, Siyu Song, Wentao Liu, Xiaodong Zou

机构 * East China Normal University（华东师范大学） ； Shanghai Chuangjie Situo Information Technology Co., Ltd.（上海创杰思拓信息技术有限公司） ； Shanghai Normal University（上海师范大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对教育场景中LLMs直接作答问题，提出HeuristicEdu两阶段管道，经监督热身和GRPO，利用特定对话及启发式奖励训练Qwen2.5 - 7B，提升了支架有效性，降低关键词泄漏，表明规模并非引发苏格拉底行为的唯一因素。

Comments 12 pages, 2 figures, 5 tables; includes an appendix

On the Impossibility of Unbiased and Length-Invariant Policy Optimization with Outcome Rewards

关于使用结果奖励进行无偏且长度不变的策略优化的不可能性

Fei Ding, Yongkang Zhang, Yuhao Liao, Zijian Zeng, Huiming Yang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究在标准结果奖励+GRPO设置下，无基于长度的加权方案能同时兼具梯度无偏性与长度不变性。通过参数族刻画权衡谱，揭示GRPO和Dr. GRPO各有优劣，处于不可避免的权衡两端，都非完美。

EmoAgent-R1: Towards Multimodal Emotion Understanding with Reinforcement Learning-based Dynamic Agent Specialization

EmoAgent-R1：基于强化学习的动态智能体专业化实现多模态情感理解

Lihuang Fang, Yuchen Zou, kebing Jin, Jinghui Qin

机构 * Guangdong University of Technology（广东工业大学） ； Southern University of Science and Technology（南方科技大学） ； Xi’an Jiaotong University（西安交通大学） ； Guizhou Provincial Laboratory of Big Data, State Key Laboratory of Public Big Data, Guizhou University（贵州大学大数据省级重点实验室、公共大数据国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对现有多模态情感识别方法忽视情感源动态性和复杂性的问题，提出基于强化学习的动态智能体专业化框架EmoAgent-R1，采用冷启动策略和两步智能体工作流程训练，并用P-GRPO优化，实验证明其在情感推理性能和优化稳定性上更优。

JAGG: Jacobian-Aggregated Group Gradient for Efficient GRPO Training of Diffusion Models

AGG：用于扩散模型高效GRPO训练的雅可比聚合组梯度

Ruiyi Ding, Jie Li, He Kang, Ziyan Liu, Chengru Song, Yuan cheng

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究GRPO扩展到扩散模型的计算瓶颈问题，提出JAGG方法，通过特定插值和聚合梯度，减少反向传播次数，实验表明该方法能在质量损失小的情况下显著加速T2I训练中的DiT RL训练。

Comments 21 pages

Qwen-Music Technical Report

Qwen-音乐技术报告

Jin Xu, Kangdi Wang, Ruibin Yuan, Shun Lei, Xiong Wang, Xize Cheng, Xueyao Zhang, Yang Zhang, Yiheng Chen, Yongqi Wang, Yue Wang, Zhifang Guo, Zihan Liu, Zijian Lin, Dake Guo, Hangrui Hu, Lei Xie, Linhan Ma, Wei Xue, Wenxiang Guo, Xinfa Zhu, Xipin Wei, Yangze Li, Yuanjun Lv, Yuxuan Wang, Yunfei Chu, Zhiyong Wu

机构 * Qwen Team（通义团队） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)

AI总结 介绍Qwen-音乐，它支持文本到音乐生成和翻唱歌曲生成两个核心任务。集成三个核心组件，通过特定机制建模并渲染。经多语言数据训练及多种训练方式，在多个音乐性和音频质量指标上达领先成果，获专业评估人员青睐。

Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

无坐标或区域标签的视觉文档理解中的证据归因

Zhuchenyang Liu, Yao Zhang, Yu Xiao

机构 * Aalto University（阿尔托大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 研究视觉文档理解中无坐标或区域标签时的证据归因问题，通过对比坐标与语言接口，发现语言接口能提升证据召回率、降低幻觉率。基于此用引述和检索管道作训练框架，引入GRPO方法，提高了模型严格归因准确率，找到改善归因的实用路径。

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

检索前先思考：多模态检索增强生成的智能体规划

Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

机构 * Bosch AI Research Center（博世人工智能研究中心） ； University of Notre Dame（圣母大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 研究多模态检索增强生成问题，提出MM-R2框架，通过建模检索内容和位置在检索前推理，构建意图基础检索状态，在结构化知识图谱检索，还构建相关数据集并采用两阶段后训练策略，实验证明其在答案准确性等方面表现出色。

LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget

LongStraw：在固定GPU预算下超越200万个令牌的长上下文强化学习

Changhai Zhou, Kieran Liu, Yuhua Zhou, Qian Qiao, Jun Gao, Harry Zhang, Irvine Lu, Nolan Ho, Lucian Li, Andrew Lei, Cleon Cheng, Steven Chiang, Yihang Zeng, Di Zhang, Rio Yang, Kaijie Chen, Andrew Chen, Pony Ma, Weizhong Zhang, Cheng Jin

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 研究针对推理上下文长度与强化学习后训练的差距问题，提出LongStraw架构感知执行堆栈，用GRPO优化，在固定GPU预算下实现百万令牌强化学习后训练，通过实验验证了其执行能力。

Comments 44 pages, 10 figures, 11 tables. Code: https://github.com/MindLab-Research/longstraw

DobicVLM: Aligning Chest X-Ray Report Generation with Clinically-Grounded Programmatic Rewards via Group Relative Policy Optimization

DobicVLM：通过群体相对策略优化使胸部X光报告生成与临床基础的程序化奖励保持一致

Thanni Adewuyi, Angelica Obayi, Andem Aniekan, Samuel Okoko, Angel Ezendu, Ephraim Usani, Ademide Animasaun, Philip Chibundu, Christian Maurice, Mary Donald Essien, Oluwaseun Odunsi, Oluwasegun Oguntuase, Abiodun Adereni

机构 * Dobic Health（多比克健康公司） ； University of Ibadan（伊巴丹大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 研究针对自动胸部X光报告生成难题，提出DobicVLM模型，结合监督微调、GRPO及临床奖励，用可解释规则组件执行标准，经训练和评估，该模型多数标准优于Gemini 2.5 Flash，证明GRPO在资源受限设置中的价值。

Git Context Controller: Manage the Context of LLM-based Agents like Git

Git Context Controller: 管理基于LLM的代理的上下文像Git一样

Junde Wu, Minhao Hu, Jiayuan Zhu, Jiazhen Pan, Yuyuan Liu, Min Xu, Yueming Jin

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 Git-Context-Controller通过版本化文件系统管理LLM代理上下文，提升多轨迹问题解决能力，在SWE-Bench等基准测试中取得最佳性能。

MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models

MIITA：用于小语言模型持续学习的内存诱导推理时间自适应

Dong Li, Yanchi Liu, Xujiang Zhao, Wei Cheng, Zhengzhang Chen, Xintao Wu, Zhong Chen, Chen Zhao, Haifeng Chen

机构 * Baylor University（贝勒大学） ； NEC Laboratories America（美国 NEC 实验室） ； University of Arkansas（阿肯色大学） ； Southern Illinois University（南伊利诺伊大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)

AI总结 针对小语言模型持续学习中参数更新致灾难性遗忘及内存不足问题，提出MIITA框架，它通过存储校正方向原型并在推理时检索应用，结合理论分析，在多种设置实验中提升性能并减轻遗忘。

PANOPTICON: A PII-Based Assemblage of Naturalistic Output Tokens for Investigating Privacy Leakage Within LLM Context Window

全景监控：基于个人身份信息的自然主义输出令牌集合，用于研究大语言模型上下文窗口内的隐私泄露

Ryan Thornton, Mir Mehedi Ahsan Pritom, Maanak Gupta

机构 * Meta 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型上下文窗口内隐私泄露问题，引入PANOPTICON管道和数据集，由Meta模型生成含PII片段的提示，测量数据集多样性评估真实性，通过案例展示其在理解提示反转攻击中的效用及为LLM隐私研究奠基。

Comments 9 pages, 3 figures, 3 tables. Submitted to IEEE CARS 2026

MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models

MM-ShiftKV：用于多模态大语言模型的解码感知预填充阶段键值选择

Jinsong Shu, Chenyang Wu, Zhongle Xie, Baokun Wang, Lidan Shou

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术产业开发区（滨江）区块链与数据安全研究院） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态大语言模型中KV缓存问题，提出MM-ShiftKV方法，通过构建方差扩展查询代理近似解码时查询行为，基于聚合注意力质量估计KV重要性，在严格缓存预算下性能优于现有方法。

Comments 19 pages, 11 figures

TopoFE: topology-aware LLM-guided Automated Feature Engineering

TopoFE：拓扑感知的大语言模型引导的自动特征工程

Sha Li, Naren Ramakrishnan

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究表格学习中自动特征工程问题，提出拓扑感知多岛进化框架TOPOFE，结合特定族探索、自适应提示记忆和拓扑引导知识转移，在多个公共数据集实验中，相比现有方法有改进，能发现更多样可转移特征程序。

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

SyRuP：通过大语言模型解码中的奖励引导预测增强系统提示遵循

Seoyeon Kim, Minjae Kang, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究如何增强大语言模型对系统提示的遵循，提出SyRuP框架，通过训练交叉注意力奖励头产生令牌级遵循分数，推理时结合多种信号对候选重新排序，实验表明该方法能有效提升系统提示遵循度且开销适度。

Comments under review, 23 pages

Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory

大语言模型中的现实监测：随对话记忆而转变的自我认知

Saurabh Ranjan, Konstantina Sokratous, Brian Odegaard

机构 * University of Florida（佛罗里达大学） ； University of Missouri（密苏里大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中现实监测能力，通过两个实验和六个模型发现来源归因依赖对话记忆结构，反馈揭示模型存在内部外部判断互换、置信度与正确性脱钩等问题，表明评估模型知识时追踪来源很重要。

Isolated but Exposed: Persistence-Based Memory Extraction Attack on LLM Agents

孤立但暴露：基于持久性的大语言模型智能体内存提取攻击

Xinyu Gao, Wenyu Chen, Xiangtao Meng, Li Wang, Chuanchao Zang, Jianing Wang, Zheng Li, Shanqing Guo

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的智能体内存提取攻击，提出SPORE攻击方法，通过解耦对抗命令与检索锚点、优化覆盖空间及持久化有效载荷，突破内存隔离，实现高提取率，揭示仅靠内存隔离不足，需重审工具端信任边界。

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models

当汇点帮助或伤害：面向大视觉-语言模型的注意力汇点统一框架

Jiho Choi, Jaemin Kim, Sanghwan Kim, Seunghoon Hong, Jin-Hwi Park

机构 * KAIST（韩国科学技术院） ； Chung-Ang University（中央大学） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文研究了大视觉-语言模型中注意力汇点的影响，提出统一框架分析其作为冗余 artifacts 或全局先验的作用，并通过 Layer-wise Sink Gating 模块平衡全局推理与局部证据。

Comments Acknowledgments updated

MedLoCoMo: A Long-Context Multi-Session Medical Dialogue Benchmark for Large Language Models

MedLoCoMo：用于大语言模型的长上下文多会话医学对话基准

Zeyu Zhang, Ziqing Wang, Kaize Ding

机构 * Northwestern University（西北大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 研究针对大语言模型在多入院医学对话临床推理方面的不足，构建MedLoCoMo基准，通过特定方法生成问答项目，含100个患者时间线，发现跨入院推理比局部证据使用难，提供代码和基准供使用与复现。

ConsistencyGate: Preventing Memory Contamination in LLM Agents via Self-Consistency Admission Control

一致性门控：通过自一致性准入控制防止大语言模型智能体中的内存污染

Yan Zhang, Shibo Li

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型智能体内存污染问题，提出一致性门控方法，在提交候选事实前向模型查询K次获软支持分数，超阈值才准入。该机制与模型无关、无需微调，经实验在四个模型主干上减少了污染，还发布了相关基准和实现。

Comments 24 pages, 2 figures, 6 tables, 1 algorithm; includes appendices

AgentWatcher: A Rule-based Prompt Injection Monitor

AgentWatcher: 一种基于规则的提示注入监控

Yanting Wang, Wei Zou, Runpeng Geng, Jinyuan Jia

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出AgentWatcher，通过聚焦短文本片段和定义明确的规则，解决提示注入检测中上下文长度影响和规则不明确的问题，实现可扩展且可解释的检测方法。

Comments The code is available at https://github.com/wang-yanting/AgentWatcher

PINA: Prompt Injection Attack against Navigation Agents

PINA：针对导航代理的提示注入攻击

Jiani Liu, Yixin He, Lanlan Fan, Qidi Zhong, Yushi Cheng, Meng Zhang, Yanjiao Chen, Wenyuan Xu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 PINA提出了一种针对导航代理的提示注入攻击检测框架，通过实验展示了其高攻击成功率和稳健性，揭示了导航代理在安全方面的关键漏洞。

Comments Accepted at ICASSP 2026

Journal ref 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2026

MemChain: Learning Interpretable Memory Traces for Memory-Augmented LLM Agents

MemChain：为内存增强型大语言模型智能体学习可解释的内存痕迹

Yiwen Ma, Songjun Tu, Qichao Zhang, Dong Li, Linjing Li, Dongbin Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学交叉科学学院） ； Memorax AI（Memorax人工智能公司） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对内存增强型大语言模型智能体检索内存回答查询存在的问题，提出MemChain可训练检索后内存策略，经两阶段学习框架训练，能生成有效证据上下文，实验证明其在多种模型上性能领先且减少内存上下文。

SF-AMS: Strategic Forgetting for Structured Memory in LLM Agent

SF-AMS：大语言模型智能体中结构化记忆的策略性遗忘

Ning Yang, Siqi Li, Miaoxin Shen, Yuan Zhou, Meng Zhang, Tong Li, Haijun Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体长上下文依赖瓶颈问题，提出SF-AMS框架，通过效用驱动机制和复合评分整合信号维护记忆，实验表明该方法在多跳推理等任务中相比基线有显著提升，证明建模记忆重要性对长上下文推理关键。

Libra: Taming Attention Workload Skew in Long-Context LLM Training with Bounded Sequence Pool

天秤座：使用有界序列池驯服长上下文语言模型训练中的注意力工作负载倾斜

Yan Wang, Xiulong Yuan, Kaiming Yang, Jiaxuan Peng, Pengju Lu, Mingzhen Li, Zhipeng Zhang, Chang Si, Zhixiang Ruan, Hongqing Chen, Linlang Jiang, Siyu Wang, Langshi Chen, Rui Men, Man Yuan, Guangming Tan, Yong Li, Weile Jia, Jingren Zhou

专题命中 长上下文与记忆 ：LLM(title,abstract)

AI总结 研究长上下文语言模型训练的负载平衡问题，提出Libra方法，利用大数定律，通过有界序列池、方差减少序列放置和平铺注意力池化等技术，有效减少注意力工作负载倾斜，提高训练吞吐量。

Comments 15 pages, 15 figures

MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation

MemVLN：用于视觉与语言导航的情景记忆和程序记忆

Yuqi Liu, Shengju Qian, Tianyuan Qu, Mingxian Lin, Zixuan Wang, Xin Wang, Bei Yu, Jiaya Jia

机构 * The Chinese University of Hong Kong（香港中文大学） ； LIGHTSPEED（光速） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究连续环境中视觉与语言导航问题，提出MemVLN框架，利用视觉编码器、大语言模型，通过情景记忆管理和程序记忆，实现实时推理，提升导航成功率并降低推理延迟。