语言大模型 / LLM

Design Your Ad: Personalized Advertising Image and Text Generation with Unified Autoregressive Models

为广告设计：基于统一自回归模型的个性化广告图像和文本生成

Yexing Xu, Wei Feng, Shen Zhang, Haohan Wang, Yuxin Qin, Yaoyu Li, Ao Ma, Yuhao Luo, Lu Wang, Xudong Ren, Haoran Wang, Run Ling, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Longguang Wang, Yulan Guo

机构 * Sun Yat-Sen University（中山大学） ； Northeastern University（东北大学） 纠错

专题命中 指令微调 ：instruction tuning(abstract)；分类 cs.CL

AI总结 本文提出统一广告生成模型Uni-AdGen，通过单个自回归框架生成个性化图文广告，结合前景感知模块和指令微调提升生成质量，并引入大规模广告数据集和新指标提升个性化生成效果。

Comments 22 pages, 19 figures, CVPR 2026

Caraman at SemEval-2026 Task 8: Three-Stage Multi-Turn Retrieval with Query Rewriting, Hybrid Search, and Cross-Encoder Reranking

Caraman 在 SemEval-2026 任务 8：基于查询重写、混合搜索和交叉编码器重排序的三阶段多轮检索

David-Maximilian Caraman, Gheorghe Cosmin Silaghi

机构 * Babeş-Bolyai University（巴贝什-波雅伊大学） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.CL

AI总结 本文提出了一种三阶段多轮检索方法，结合查询重写、混合搜索和交叉编码器重排序，通过温度调优提升领域特定性能，达到nDCG@5 0.531的排名。

Comments Accepted at SemEval2026, task 8: MTRAGEval

Reviving In-domain Fine-tuning Methods for Source-Free Cross-domain Few-shot Learning

复兴领域内微调方法以适用于无源跨领域少样本学习

Yaze Zhao, Yicong Liu, Yixiong Zou, Yuhua Li, Ruixuan Li

机构 * School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 本文研究跨领域少样本学习中领域内微调方法的性能，发现LoRA等适配器方法优于提示方法，提出Semantic Probe框架提升模态对齐和类别分离。

StyleVAR: Controllable Image Style Transfer via Visual Autoregressive Modeling

StyleVAR：通过视觉自回归建模实现可控的图像风格迁移

Liqi Jing, Dingming Zhang, Peinian Li, Lichen Zhu, Yang Xu, Hanyu Xing

机构 * Duke University（杜克大学） ； University of Southern California（南加州大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.AI

AI总结 本文提出StyleVAR，基于视觉自回归建模框架，通过条件离散序列建模实现风格迁移，在学习的潜在空间中建模目标token的分布。引入混合交叉注意力机制，通过风格和内容特征决定强调历史的哪些方面，从而在保持自回归连续性的同时对齐内容结构和风格纹理。

M$^4$-SAM: Multi-Modal Mixture-of-Experts with Memory-Augmented SAM for RGB-D Video Salient Object Detection

M$^4$-SAM：基于内存增强的SAM多模态混合专家用于RGB-D视频显著目标检测

Jiyuan Liu, Jia Lin, Xiaofei Zhou, Runmin Cong, Deyang Liu, Zhi Liu

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Shandong University（山东大学） ； Anqing Normal University（安庆师范学院） ； Shanghai University（上海大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 M$^4$-SAM通过引入模态感知MoE-LORA、分层特征融合和伪引导初始化，提升SAM2在RGB-D视频显著目标检测中的性能，实现零样本检测。

Comments 10 pages, 3 figures

StoicLLM: Preference Optimization for Philosophical Alignment in Small Language Models

StoicLLM：在小型语言模型中通过偏好优化实现哲学对齐

Ishmam Khan, Sindhuja Thogarrati, Shuo Zhang

机构 * Tufts University（塔夫茨大学） ； Bose Corporation（博世公司） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(title,abstract)；small language model(title)；LLM(abstract_cn)

AI总结 研究通过偏好优化方法对小型语言模型进行微数据集训练，实现对斯多葛主义内在美德的强对齐，但发现模型在处理斯多葛主义外在义务时存在代表性限制。

Understanding the Performance Gap in Preference Learning: A Dichotomy of RLHF and DPO

理解偏好学习中的性能差距：RLHF和DPO的二元性

Ruizhe Shi, Minhak Song, Runlong Zhou, Zihan Zhang, Maryam Fazel, Simon S. Du

机构 * University of Washington（华盛顿大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Amazon Inc.（亚马逊公司） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 本文分析RLHF和DPO性能差距的来源，揭示模型规格误差对方法选择的影响，指出在线DPO在特定条件下优于其他方法，揭示两阶段学习的统计优势。

Comments ICML accepted version

Leveraging RAG for Training-Free Alignment of LLMs

利用RAG实现无需训练的LLM对齐

John T. Halloran

机构 * Leidos（莱迪奥斯公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出RAG-Pref算法，通过对比信息提升对抗攻击拒绝能力，相比其他方法在五种主流LLM上提升3.7倍，同时保持计算效率。

Comments 19 pages, 4 figures, and 6 tables

SkillMaster: Toward Autonomous Skill Mastery in LLM Agents

SkillMaster：迈向LLM代理自主技能掌握

Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li

机构 * Shandong University（山东大学） ； Zhongguancun Academy（中关村学院） ； Tsinghua University（清华大学） ； Southeast University（东南大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI

AI总结 SkillMaster通过轨迹引导技能复习、反事实效用评估和DualAdv-GRPO算法，使LLM代理能自主创建、优化和选择技能，提升任务成功率8.8%和9.3%。

When Policy Entropy Constraint Fails: Preserving Diversity in Flow-based RLHF via Perceptual Entropy

当策略熵约束失效时：通过感知熵在基于流的RLHF中保持多样性

Xiaofeng Tan, Jun Liu, Bin-Bin Gao, Yuanting Fan, Xi Jiang, Chengjie Wang, Hongsong Wang, Feng Zheng

机构 * Southeast University（东南大学） ； Tencent Youtu Lab（腾讯云图实验室） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)

AI总结 本文研究了基于流的RLHF中策略熵与多样性之间的关系，提出感知熵作为新的约束方法，通过在感知空间中保持多样性提升模型质量。

Robust Policy Optimization to Prevent Catastrophic Forgetting

鲁棒策略优化以防止灾难性遗忘

Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Southern California（南加州大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出FRPO框架，通过优化当前策略及下游适应可达的KL限制邻域内策略，提升鲁棒性，减少安全性能退化，同时保持下游任务表现。

On Predicting the Post-training Potential of Pre-trained LLMs

关于预训练语言模型后训练潜力的预测

Xiaoyuan Li, Yubo Ma, Kexin Yang, Moxin Li, Keqin Bao, Wenie Wang, Fuli Feng, Dayiheng Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Alibaba Group（阿里巴巴集团） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出RuDE框架，通过响应判别预测预训练模型后训练潜力，实验显示与后训练表现相关性超90%，验证了其在高效基础模型开发中的有效性。

Comments Under Review

YFPO: A Preliminary Study of Yoked Feature Preference Optimization with Neuron-Guided Rewards for Mathematical Reasoning

YFPO：一种基于神经引导奖励的数学推理的初步研究

Yifan Le

机构 * Zhejiang University（浙江大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 YFPO通过识别数学相关神经元并构建辅助奖励，提升大语言模型的推理能力，实验表明神经层面信号可增强偏好优化，为更精细的推理后训练提供新方向。

Comments 10 pages, 2figures. Work in progress

Grid Games: The Power of Multiple Grids for Quantizing Large Language Models

网格游戏：多个网格在量化大语言模型中的力量

Vage Egiazarian, Erik Schultheis, Andrei Panferov, Earl Killian, Torsten Hoefler, Dan Alistarh

机构 * ISTA ； ETH Zürich（苏黎世联邦理工学院） ； Red Hat AI（红帽人工智能） 纠错

专题命中 后训练与偏好优化 ：large language model(title)；language model(title)；post-training(abstract)；分类 cs.LG

AI总结 本文研究了通过多个网格提升大语言模型量化效果的方法，提出PO2网格问题并展示其在不同模型中的优势，实验表明自适应网格能提升精度。

Comments Preprint

KEPO: Knowledge-Enhanced Preference Optimization for Multimodal Reasoning with Applications to Medical VQA

KEPO：基于知识的偏好优化用于多模态推理及其在医学VQA中的应用

Fan Yang, Rui Meng, Trudi Di Qi, Ali Ezzati, Yuxin Wen

机构 * Chapman University（查普曼大学） ； Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室） ； University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 KEPO通过质量门控的在线蒸馏和知识增强的探索策略，提升多模态推理任务的训练稳定性与推理一致性，优于强化学习和在线蒸馏基线。

Semantic Reward Collapse and the Preservation of Epistemic Integrity in Adaptive AI Systems

语义奖励崩溃与自适应AI系统中知识完整性保护

William Parris

机构 * BDB Labs / BagelTech（BDB实验室/BagelTech） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 研究探讨了自适应AI系统中语义奖励崩溃问题，指出其导致知识完整性受损，并提出宪法奖励分层框架以保护不同知识属性。

Comments 15 pages including references. Position and framework paper. Companion empirical work available at arXiv:2604.17587

Forget BIT, It is All about TOKEN: Towards Semantic Information Theory for LLMs

忘掉BIT，一切关于TOKEN：面向大语言模型的语义信息理论

Bo Bai

机构 * Bo Bai（白波） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出语义信息理论，将TOKEN作为意义载体，重构注意力机制和Transformer模型，建立预训练、强化学习和推理中的信息度量方法，明确下一token预测与格兰杰因果推断的关系。

$ξ$-DPO: Direct Preference Optimization via Ratio Reward Margin

$ξ$-DPO：通过比率奖励边际进行直接偏好优化

Zhengyuan Fan, Zhonghua Wu, Yuxuan Du, Qun Chen

机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出$ξ$-DPO，通过重新定义奖励形式和优化目标，解决SimPO中超参数联合调优难题，实现更直观的边际解释和稳定训练。

Variance-aware Reward Modeling with Anchor Guidance

具有锚点指导的方差感知奖励建模

Shuxing Fang, Ruijian Han, Liangyu Zhang, Fan Zhou

机构 * Department of Data Science and Artificial Intelligence, Hong Kong Polytechnic University（香港理工大学数据科学与人工智能系） ； School of Statistics and Data Science, Shanghai University of Finance and Economics（上海财经大学统计与数据科学学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；分类 cs.LG

AI总结 本文提出一种通过添加粗粒度响应级锚点标签来解决标准Bradley-Terry奖励模型非识别性问题的框架，改进了奖励建模和下游RLHF性能。

Interpreting Context-Aware Human Preferences for Multi-Objective Robot Navigation

解释情境感知的人类偏好以实现多目标机器人导航

Tharun Sethuraman, Subham Agrawal, Nils Dengler, Jorge de Heuvel, Teena Hassan, Maren Bennewitz

机构 * Hochschule Bonn-Rhein-Sieg, Germany（波恩-莱茵-锡格应用科学大学，德国） ； University of Bonn, Germany（波恩大学，德国） ； Lamarr Institute for Machine Learning and Artificial Intelligence, Germany（拉马尔机器学习与人工智能研究所，德国） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种结合基础模型与多目标强化学习政策的框架，使机器人能理解并应用情境依赖的导航偏好，提升在共享人类环境中的适应性、透明性和可用性。

Asymmetric Advantage Modulation Calibrates Entropy Dynamics in RLVR

不对称优势调制校准RLVR中的熵动态

Hengrui Gu, Xiaotian Han, Yujing Bian, Feiyi Wang, Kaixiong Zhou

机构 * North Carolina State University（北卡罗来纳州立大学） ； Case Western Reserve University（凯斯西储大学） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究RLVR中探索受限问题，提出AsymGRPO通过分离正负优势调制强度，精准控制熵动态以提升推理能力。

Environment-Adaptive Preference Optimization for Wildfire Prediction

环境适应性偏好优化用于野火预测

Enyi Jiang, Wu Sun

机构 * Computer Science, Stanford University（斯坦福大学计算机科学系） ； Department of Global Ecology, Carnegie Institution for Science（卡内基科学研究所全球生态系部门） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 本文提出环境适应性偏好优化框架，通过构造分布对齐数据集并结合监督学习与偏好优化，提升野火预测在环境变化下的鲁棒性与极端情况下的检测能力。

Space Syntax-guided Post-training for Residential Floor Plan Generation

基于空间语法的后训练生成住宅平面图

Zhuoyang Jiang, Dongqing Zhang

机构 * College of Architecture and Urban Planning, Tongji University（同济大学建筑与城市规划学院） ； Information Hub, The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）信息中心） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 本文提出SSPT框架，通过空间语法集成 oracle 评估生成平面图的空间配置质量，改进生成器的配置逻辑，SSPT-PPO在非分布环境下表现更优。

Less Redundancy: Boosting Practicality of Vision Language Model in Walking Assistants

减少冗余：提升视觉语言模型在行走助手中的实用性

Chongyang Li, Zhiqiang Yuan, Hanbo Bi, Zexi Jia, Jinchao Zhang

机构 * Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯人工智能研究院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出WalkVLM-LR模型，通过优化输出和时间冗余，提升视觉语言模型在行走助手中的实用性，实验表明其在输出简洁性和时间冗余方面表现优异。

Comments ICASSP 2026 Best Industry Paper

Toward Stable Value Alignment: Introducing Independent Modules for Consistent Value Guidance

迈向稳定的值对齐：引入独立模块以实现一致的价值引导

Wenhao Chen, Sirui Sun, Shengyuan Bai, Guojie Song

机构 * School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院） ； Yuanpei College, Peking University（北京大学元培学院） ； State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学通用人工智能国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出SVGT模型，通过独立的价值模块解决大语言模型与人类价值观对齐的问题，采用独立价值建模和显式行为引导，提升价值表达的稳定性，实验显示有效降低有害评分。

Comments Accepted to ICML 2026 (Spotlight). 32 pages

Few-Shot Truly Benign DPO Attack for Jailbreaking LLMs

少样本真正无害的DPO攻击用于对抗LLMs

Sangyeon Yoon, Wonje Jeung, Yoonjun Cho, Dongjae Jeon, Albert No

机构 * Yonsei University（延世大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；preference optimization(abstract)；分类 cs.AI

AI总结 研究提出一种利用10对无害偏好对的真正无害DPO攻击，通过优化模型偏好来减少拒绝行为，从而在对抗LLMs时取得高成功率。

Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training

信任批量，策略上或下策略：训练后强化学习的自适应策略优化

Rasool Fakoor, Murdock Aubry, Nicholas Stranges, Alexander J. Smola

机构 * Boson AI 纠错

专题命中 后训练与偏好优化 ：post-training(title)；分类 cs.AI、cs.LG

AI总结 本文提出一种自适应策略优化方法，通过动态调整策略更新的信任区域和下策略正则化强度，以提高强化学习在训练后对数据分布变化的鲁棒性。

Taming Extreme Tokens: Covariance-Aware GRPO with Gaussian-Kernel Advantage Reweighting

驯服极端令牌：具有高斯核优势重加权的协方差感知GRPO

Cheng Wang, Qin Liu, Wenxuan Zhou, Muhao Chen

机构 * National University of Singapore（新加坡国立大学） ； University of California, Davis（加州大学戴维斯分校） ； University of Southern California（美国南加州大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种协方差感知的GRPO方法，通过高斯核动态降低极端令牌更新权重，以平衡探索与利用，提升大语言模型推理性能并稳定熵。

Comments ACL 2026

AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward

AlphaGRPO：通过分解性可验证奖励解锁UMMs中的自反思多模态生成

Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 AlphaGRPO通过分解性可验证奖励提升多模态生成能力，实现文本到图像生成和自反思修正，验证了自反思强化方法在生成高质量输出中的有效性。

Comments ICML2026

BSO: Safety Alignment Is Density Ratio Matching

BSO：安全对齐是密度比匹配

Tien-Phat Nguyen, Truong Nguyen, Thin Nguyen, Duy Minh Ho Nguyen, Ngoc-Thanh Dinh, Trung Le

机构 * Hanoi University of Science and Technology（河内科学技术大学） ； Deakin University（德金大学） ； Max Planck Research School for Intelligent Systems（马克斯·普朗克智能系统研究学校） ； VinUniversity（文大学） ； Monash University（墨尔本大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出BSO方法，通过密度比匹配实现安全对齐，简化了安全对齐流程，无需辅助模型，且能提升安全与有用性之间的权衡。