语言大模型 / LLM

Reward-Weighted On-Policy Distillation with an Open Property-Equivalence Verifier for NL-to-SVA Generation

基于开放属性等价验证器的奖励加权在线策略蒸馏用于自然语言到SVA生成

Qingyun Zou, Yingze Li, Tianen Liu, Bingsheng He, Weng-Fai Wong

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出RWOPD方法，通过开放属性等价检查器提升SVA生成性能，使模型在多个评估指标上超越现有最佳模型。

Low-Rank Adapters Initialization via Gradient Surgery for Continual Learning

通过梯度手术实现低秩适配器初始化用于持续学习

Joana Pasquali, Ramiro N. Barros, Arthur S. Bianchessi, Vinícius Conte Turani, João Vitor Boer Abitante, Rafaela Cappelari Ravazio, Christian Mattjie, Otávio Parraga, Lucas S. Kupssinskü, Rodrigo C. Barros

机构 * MALTA, Machine Learning Theory and Applications Lab, PUCRS, Porto Alegre, Brazil（马尔塔机器学习理论与应用实验室，PUCRS，巴西波尔图阿莱格雷） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出SLICE方法，通过梯度手术优化LoRA适配器初始化，提升持续学习中稳定性与可塑性的平衡，改进性能指标。

Instructions Shape Production of Language, not Processing

指令塑造语言的生成，而非处理

Andreas Waldis, Leshem Choshen, Yufang Hou, Yotam Perlitz

机构 * Department of Linguistics, University of Tübingen（图宾根大学语言学系） ； IBM Research, MIT, and MIT-IBM Watson AI Lab（IBM研究院、麻省理工学院和麻省理工-IBM沃森人工智能实验室） ； Interdisciplinary Transformation University of Austria（奥地利跨学科转型大学） ； IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 研究揭示指令通过影响语言模型生成阶段的信息 asymmetry，而非处理阶段，通过五种二元判断任务层析任务特定信息，发现输出 tokens 的信息变化与行为强相关，而输入 tokens 的信息变化弱相关。

PEFT-Bench: A Parameter-Efficient Fine-Tuning Methods Benchmark

PEFT-Bench: 一种参数高效微调方法基准

Robert Belanec, Branislav Pecher, Ivan Srba, Maria Bielikova

机构 * Faculty of Information Technology, Brno University of Technology（布拉格技术学院，布拉格技术大学） ； Kempelen Institute of Intelligent Technologies（智能技术研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出PEFT-Bench基准，用于评估不同参数高效微调方法在自回归大语言模型上的性能，涵盖27个NLP数据集和7种方法，并引入PEFT Soft Cost Penalties指标考虑参数数量、推理速度和训练内存使用。

Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer

任务提示向量：通过多任务软提示迁移实现有效的初始化

Robert Belanec, Simon Ostermann, Ivan Srba, Maria Bielikova

机构 * Faculty of Information Technology, Brno University of Technology（布拉格技术大学信息学院） ； Kempelen Institute of Intelligent Technologies（智能技术研究所） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出任务提示向量，通过多任务软提示迁移实现有效初始化，适用于低资源环境，并展示了其在不同语言模型架构中的独立性，提供了一种多任务提示算术的替代方案。

SSDA: Bridging Spectral and Structural Gaps via Dual Adaptation for Vision-Based Time Series Forecasting

SSDA：通过双适应弥合频谱和结构差距以实现基于视觉的时间序列预测

Mingrui Zhang, Hanchen Yang, Wengen Li, Xudong Jiang, Yichao Zhang, Jihong Guan, Shuigeng Zhou

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出SSDA，通过频谱和结构双适应弥合时间序列预测中的频谱和结构差距，提升视觉大模型的预测性能。

Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization

多目标与混合奖励强化学习 via 奖励去相关策略优化

Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

机构 * Meituan, China（美团，中国） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出RDPO方法，通过量化归一化和马氏白化处理，解决多任务和混合奖励环境中的奖励分布不均和相关性问题，提升模型在指令遵循和写作质量上的表现。

CRePE: Curved Ray Expectation Positional Encoding for Unified-Camera-Controlled Video Generation

CRePE：曲率射线期望位置编码用于统一相机控制的视频生成

Seonghyun Jin, Youngmin Kim, Sunwoo Park, Jong Chul Ye

机构 * Graduate School of AI（人工智能研究生院） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CRePE，一种基于曲率射线期望的位置编码，用于统一相机模型下的视频生成，通过几何注意力适配器稳定相机控制，提升几何感知和感知质量指标。

Comments 17 pages, 8 figures, Under review

Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling

原始生成，双重判断：从测试时扩展进行自我训练

Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

机构 * Apple（苹果公司） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出DuST框架，通过双重判断空间提升代码生成与判断能力，实验显示在多个模型上显著提升测试时扩展性能。

VoxCor: Training-Free Volumetric Features for Multimodal Voxel Correspondence

VoxCor：无需训练的体积分量用于多模态体素对应

Guney Tombak, Ertunc Erdil, Ender Konukoglu

机构 * Biomedical Image Computing Group, ETH Zurich（生物医学图像计算组，苏黎世联邦理工学院） ； The LOOP Zurich – Medical Research Center（苏黎世医疗研究中心） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 VoxCor通过冻结的2D Vision Transformer基础模型生成可重用的体积分量表示，无需训练即可实现跨模态和跨主体的体素对应，提升跨模态和跨主体的转换性能。

TrackCraft3R: Repurposing Video Diffusion Transformers for Dense 3D Tracking

TrackCraft3R：将视频扩散变换器重新用于密集3D跟踪

Jisu Nam, Jahyeok Koo, Soowon Son, Jaewoo Jung, Honggyu An, Junhwa Hur, Seungryong Kim

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 本文提出TrackCraft3R，通过重新利用预训练的视频扩散变换器，实现了基于单目视频的密集3D跟踪，采用双潜表示和时间RoPE对齐设计，提升了跟踪性能和效率。

Comments Project page and code are available at https://cvlab-kaist.github.io/TrackCraft3r/

Agent^2 RL-Bench: Can LLM Agents Engineer Agentic RL Post-Training?

Agent^2 RL-Bench: 能否让LLM代理在训练后设计自主强化学习？

Wanyi Chen, Xiao Yang, Xu Yang, Tianming Sha, Qizheng Li, Zhuo Wang, Bowen Xian, Fang Kong, Weiqing Liu, Jiang Bian

机构 * Soochow University（苏州大学） ； Microsoft Research Asia（微软亚洲研究院） ； Peking University（北京大学） ； Stony Brook University（石溪大学） ； The University of Chicago（芝加哥大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title,abstract)；SFT(abstract,abstract_cn)；foundation model(abstract)

AI总结 Agent2 RL-Bench评估LLM代理在训练后自主设计、实现、调试和执行提升基础模型的管道能力，展示代理在强化学习中的智能行为与局限性。

Comments 37 pages, 7 figures, 20 tables

Entropy Aware Reward Guidance for Diffusion Language Model Alignment

基于熵的奖励引导用于扩散语言模型对齐

Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出EntRGi机制，解决离散扩散语言模型中无法通过自然输出区分的问题，通过动态插值连续token放松与采样硬token，提升奖励模型可靠性与优化精度。

Comments Preprint

F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking

F-GRPO：基于统一候选生成与排序的因子化组相对策略优化

Rohan Surana, Gagan Mundada, Junda Wu, Xintong Li, Yizhu Jiao, Bowen Jin, Sizhe Zhou, Tong Yu, Ritwik Sinha, Jiawei Han, Jingbo Shang, Julian McAuley

机构 * UC San Diego（南加州大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出F-GRPO，通过因子化组相对策略优化统一完成候选生成与排序，解决传统方法中因反馈滞后导致的优化不稳定问题，提升推荐系统性能。

Improving Code Translation with Syntax-Guided and Semantic-aware Preference Optimization

通过语法引导和语义感知的偏好优化改进代码翻译

Yuhan Wu, Huan Zhang, Wei Cheng, Chen Shen, Jingyue Yang, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； National Institute of Healthcare Data Science, Nanjing University, China（南京大学健康数据科学国家研究院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 本文提出CTO方法，通过对比学习训练跨语言语义模型，结合编译器反馈实现代码翻译的语法和语义优化，实验表明其在C++、Java和Python翻译中表现优异。

Comments Accepted in the 35th International Joint Conference on Artificial Intelligence (IJCAI 2016)

GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training

GRACE：基于梯度对齐的推理数据整理以实现高效的后训练

Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Hong Kong Baptist University, China（香港 Baptist 大学） ； City University of Hong Kong, China（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 GRACE通过梯度对齐方法，对推理数据进行高效后训练，仅用20%的数据即可达到全数据性能的108.8%，5%数据仍保持100.2%的性能。

PRISM-X: Experiments on Personalised Fine-Tuning with Human and Simulated Users

PRISM-X：基于人类和模拟用户的人个性化微调实验

Hannah Rose Kirk, Liu Leqi, Fanzhi Zeng, Henry Davidson, Bertie Vidgen, Christopher Summerfield, Scott A. Hale

机构 * University of Oxford（牛津大学） ； UK AI Security Institute（英国人工智能安全研究所） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Mercor ； Meedan 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 研究通过大规模内侧实验评估个性化语言模型在多轮对话中的表现，发现基于偏好微调的P-DPO方法优于通用模型和个性化提示，但个性化数据训练收益有限，且微调会放大趋炎附势行为，可能带来长期负面影响。

Explaining and Breaking the Safety-Helpfulness Ceiling via Preference Dimensional Expansion

通过偏好维度扩展解释并打破安全与有益性天花板

ShiYing Huang, Liang Lin, Yuer Li, Kaiwen Luo, Zhenhong Zhou, An Zhang, Junhao Dong, Kun Wang, Zhigang Zeng

机构 * Huazhong University of Science and Technology（华中科技大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Chongqing University（重庆大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出MORA方法，通过多维奖励整合解决多目标对齐中的安全与有益性矛盾，实验显示在序列对齐中提升5%-12.4%，同时对齐中整体奖励提升4.6%。

Sharpness-Guided Group Relative Policy Optimization via Probability Shaping

通过概率塑造的锐度引导组相对策略优化

Tue Le, Linh Ngo Van, Trung Le

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出GRPO-SG，通过降低可能引起过大梯度的token权重，提升RLVR的泛化能力，实验显示在数学推理、逻辑谜题和工具增强问答中表现更优。

Multi-Armed Sampling Problem and the End of Exploration

多臂采样问题与探索的终结

Mohammad Pedramfar, Siamak Ravanbakhsh

机构 * Mila - Quebec AI Institute, McGill University（魁北克AI研究所，麦吉尔大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出多臂采样框架，探讨采样场景下的探索-利用权衡，建立 regret 下界并提出近优算法，表明采样几乎无需探索，通过温度参数统一采样与多臂老虎机问题。

Comments 29th International Conference on Artificial Intelligence and Statistics (AISTATS) 2026

expo: Exploration-prioritized policy optimization via adaptive kl regulation and gaussian curriculum sampling

expo: 通过自适应KL调节和高斯课程采样优先政策优化

Mingxiong Lin, Zhangquan Gong, Maowen Tang, Qian Li, Chuangchuang Wang, Jian Ma, Sutian Huang, Kai Tang, Haonan Lu

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出EXPO算法，通过自适应KL调节和高斯课程采样提升策略探索效率，实验表明其在数学推理任务中显著优于传统GRPO方法。

Comments Duplicate submission of arXiv:2605.11403

Pareto-Guided Optimal Transport for Multi-Reward Alignment

基于帕累托前沿的多奖励对齐最优传输

Ying Ba, Tianyu Zhang, Mohan Zhou, Yalong Bai, Wenyi Mo, Guiwei Zhang, Bing Su, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； Beijing Key Laboratory of Research on Large Models（北京大模型研究关键实验室） ； Engineering Research Center of Next-Generation Intelligent Search（下一代智能搜索与推荐工程技术研究中心） ； Rutgers University（罗格斯大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 本文提出帕累托前沿引导的最优传输框架，通过构建任务特定的帕累托前沿并利用分布感知最优传输将支配样本映射到前沿，结合在线和离线优化策略，引入联合支配率和联合坍塌率作为评估指标，实验显示在多奖励协同和对抗攻击中优于基线方法。

Comments Accepted to ICML 2026

MultiPath Memory Access: Breaking Host-GPU Bandwidth Bottlenecks in LLM Services

多路径内存访问：突破LLM服务中的主机-GPU带宽瓶颈

Lingfeng Tang, Daoping Zhang, Junjie Chen, Peihao Huang, Feng Jin, Chengguang Xu, Yuxin Chen, Feiqiang Sun, Guo Chen

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 本文提出MMA系统，通过多路径内存访问技术提升主机与GPU间的数据传输效率，减少LLM服务中的延迟瓶颈。

RealICU: Do LLM Agents Understand Long-Context ICU Data? A Benchmark Beyond Behavior Imitation

RealICU: 大语言模型能否理解长期上下文ICU数据？一个超越行为模仿的基准测试

Chengzhi Shen, Weixiang Shen, Tobias Susetzky, Chen, Chen, Jun Li, Yuyuan Liu, Xuepeng Zhang, Zhenyu Gong, Daniel Rueckert, Jiazhen Pan

机构 * Technical University of Munich（慕尼黑技术大学） ； TUM University Hospital（TUM大学医院） ； LMU Munich（慕尼黑大学） ； University of Sheffield（谢菲尔德大学） ； University of Oxford（牛津大学） ； Zhongshan Hospital Fudan University（复旦大学中山医院） ； Sun Yat-sen University Cancer Center（中山大学肿瘤中心） ； Imperial College London（伦敦帝国学院） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； relAI – Konrad Zuse School of Excellence in Reliable AI（relAI – 卡诺夫茨卓越可靠人工智能学校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RealICU通过真实ICU场景评估大语言模型的长期上下文理解能力，提出四个医生驱动任务，揭示现有模型在临床推荐中的召回与安全性的权衡问题。

Useful Memories Become Faulty When Continuously Updated by LLMs

有用的记忆在由LLMs持续更新时会变得错误

Dylan Zhang, Yanshan Lin, Zhengkun Wu, Yihang Sun, Bingxuan Li, Dianqi Li, Hao Peng

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； IIIS, Tsinghua University（清华大学人工智能研究院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究发现，即使基于有用经验，LLM生成的记忆在持续更新后可能失效，建议将原始事件作为首要证据并明确控制记忆巩固过程。

EconAI: Dynamic Persona Evolution and Memory-Aware Agents in Evolving Economic Environments

EconAI：动态身份演变与记忆感知代理在演变经济环境中的应用

Annie Liu, Zane Cao, Lang Chen, Zongxin Xu, Zigan Wang

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出EconAI框架，通过经济情绪指数、记忆加权和动态决策机制，提升经济模拟的适应性和真实性，实现宏观与微观经济环境的统一模拟。

Skill-Conditioned Visual Geolocation for Vision-Language Models

基于技能的视觉地理定位用于视觉-语言模型

Chenjie Yang, Yutian Jiang, Yutong Deng, Chenyu Wu

机构 * Southwest Jiaotong University（西南交通大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出GeoSkill框架，通过技能图进化提升视觉语言模型的地理定位能力与自我进化能力，实验显示其在GeoRC任务中表现优异，且在外部数据集上具有良好的泛化能力。

Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context

通过超越128K上下文的泛化有效训练长上下文视觉-语言模型

Zhaowei Wang, Lishu Luo, Haodong Duan, Weiwei Liu, Sijin Wu, Ji Luo, Shen Yan, Shuai Peng, Sihang Yuan, Chaoyi Huang, Yi Lin, Yangqiu Song

机构 * CSE Department, HKUST（香港科技大学计算机科学与工程系） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)

AI总结 本文研究了长上下文视觉-语言模型的持续预训练，通过平衡数据和检索优化，提出MMProLong模型在长文档VQA等任务中表现优异，且能扩展至更长上下文和多任务场景。

Comments work in progress

Does Engram Do Memory Retrieval in Autoregressive Image Generation?

Engram是否在自回归图像生成中执行记忆检索？

Jinghao Wang, Qiyuan He, Chunbin Gu, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究探讨Engram模块在自回归图像生成中的作用，发现其虽节省计算量但未提升样本质量，且模块行为更像一个带门控的架构旁路而非内容寻址检索器。

Comments 9 pages

Multitask Multimodal Fusion with Tabular Foundation Models for Peak and Durability Prediction of Pertussis Booster Response

多任务多模态融合：基于表格基础模型的百日咳加强针反应峰值和持续性预测

Divya Sitani

机构 * Berlin, Germany（柏林，德国） 纠错

专题命中 长上下文与记忆 ：foundation model(title)；分类 cs.LG

AI总结 本文提出多任务对比多模态融合架构，用于预测百日咳加强针反应的峰值和持续性，通过结合冻结的TabPFN-v2模态编码器、双标签监督对比损失、模态dropout和缺失性掩码注意力融合，实现了对两个任务的联合预测。

Comments 22 pages, 8 figures, 4 tables. Code available at https://github.com/Divya1205/cmi-pb-multitask