大模型对齐与安全

PromptEcho: Annotation-Free Reward from Vision-Language Models for Text-to-Image Reinforcement Learning

PromptEcho：基于视觉语言模型的无标注奖励用于文本到图像强化学习

Jinlong Liu, Wanggui He, Peng Zhang, Mushui Liu, Hao Jiang, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 PromptEcho通过冻结的视觉语言模型计算token级交叉熵损失，无需标注或训练奖励模型，提升文本到图像模型的提示跟随能力，实验显示在多个基准上取得显著提升。

Where and What: Reasoning Dynamic and Implicit Preferences in Situated Conversational Recommendation

何处与何物：在情境对话推荐中推理动态和隐性偏好

Dongding Lin, Jian Wang, Yongqi Li, Wenjie Li

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； College of Computer Science, Sichuan University（四川大学计算机学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出SiPeR框架，通过场景转换估计和贝叶斯逆推推理，提升情境对话推荐的准确性和响应质量。

Comments Accpeted by ACL 2026

CentaurTA Studio: A Self-Improving Human-Agent Collaboration System for Thematic Analysis

CentaurTA Studio：一个自我改进的人机协作系统用于主题分析

Lei Wang, Min Huang, Eduard Dragut

机构 * Temple University（Temple大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出CentaurTA Studio，通过人机协作提升主题分析效率，实现高准确率和可靠评估，验证了反馈循环和持续优化的重要性。

QuantumQA: Enhancing Scientific Reasoning via Physics-Consistent Dataset and Verification-Aware Reinforcement Learning

量子QA：通过物理一致的数据集和验证意识强化学习增强科学推理

Songxin Qu, Tai-Ping Sun, Yun-Jie Wang, Huan-Yu Liu, Cheng Xue, Xiao-Fan Xu, Han Fang, Yang Yang, Yu-Chun Wu, Guo-Ping Guo, Zhao-Yun Chen

机构 * Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； School of Physics, University of Science and Technology of China（中国科学技术大学物理学院） ； School of Electronics and Information Engineering, Anhui University（安徽大学电子与信息工程学院） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出量子QA数据集和验证意识奖励模型，通过物理一致的数据集和强化学习提升科学推理能力，实验证明其在科学领域表现优异。

Comments 25 pages

Culture-Aware Humorous Captioning: Multimodal Humor Generation across Cultural Contexts

具有文化意识的幽默标题生成：跨文化多模态幽默生成

Run Xu, Lu Li, Rongzhao Zhang, Jie Xu

机构 * Nanyang Technological University（南洋理工大学） ； Tongji University（同济大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出一种多模态幽默生成任务，通过文化意识标题生成模型在不同文化背景下生成幽默标题，改进了文化背景下的图像相关性、语境适配性和幽默质量。

PoliLegalLM: A Technical Report on a Large Language Model for Political and Legal Affairs

PoliLegalLM：政治与法律领域大型语言模型的技术报告

Yuting Huang, Yinghao Hu, Qian Xiao, Wenlin Zhong, Yiquan Wu, Taishi Zhou, Moke Chen, Changlong Sun, Kun Kuang, Fei Wu

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； Zhejiang University（浙江大学） ； Zhejiang Zhengfa Xinxi Guanli Zhongxin（浙江正法信息警务中心） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出PoliLegalLM，通过统一训练框架提升法律知识和推理能力，针对法律领域挑战实现高性能表现。

More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage

超越表象：通过语义锚定测量视觉语言模型中的象征性差距

Wei He

机构 * IDSAI, University of Exeter（IDSAI研究所，埃克塞特大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 研究通过引入DIVA基准测试，探讨高视觉保真度是否干扰视觉抽象中的隐喻构成性，提出语义对齐差距和方向偏置指标，发现模型规模无法解决字面偏好，高保真度导致象征性对齐减弱。

Comments 16 pages, 4 figures. Accepted to the Main Conference of ACL 2026

WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback

WildFeedback: 对齐大语言模型与实时用户交互与反馈

Taiwei Shi, Zhuoer Wang, Longqi Yang, Ying-Chun Lin, Zexue He, Mengting Wan, Pei Zhou, Sujay Jauhar, Sihao Chen, Shan Xia, Hongfei Zhang, Jieyu Zhao, Xiaofeng Xu, Xia Song, Jennifer Neville

机构 * Microsoft Corporation（微软公司） ； Purdue University（普渡大学） ； Texas A&M University（德克萨斯农工大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of Southern California（南加州大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出WildFeedback框架，通过实时用户反馈自动创建偏好数据集，提升大语言模型对用户偏好的对齐能力，解决了现有方法的可扩展性、主观性和偏见问题。

Comments ACL 2026 Camera-ready. 25 pages, 6 figures, 9 tables

GroupDPO: Memory efficient Group-wise Direct Preference Optimization

GroupDPO：内存高效的组级直接偏好优化

Jixuan Leng, Si Si, Hsiang-Fu Yu, Vinod Raman, Inderjit S. Dhillon

机构 * CMU（卡内基梅隆大学） ； Google Deepmind（谷歌DeepMind） ； Google（谷歌） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出GroupDPO，通过解耦样本和保留梯度实现高效的组级偏好优化，减少内存使用，提升大规模训练效果，且在离线和在线对齐中均优于单对训练。

Mind DeepResearch Technical Report

Mind DeepResearch 技术报告

MindDR Team, Li Auto Inc

机构 * MindDR Team（MindDR团队） ； Li Auto Inc（Li Auto公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 MindDR通过高效多智能体深度研究框架，在仅30B参数模型下实现领先性能，采用精心设计的数据合成和多阶段训练流程，其核心创新为三智能体架构及四阶段智能体专用训练流程，展现竞争力。

Mirroring Users: Towards Building Preference-aligned User Simulator with User Feedback in Recommendation

镜像用户：构建基于用户反馈的偏好对齐用户模拟器

Tianjun Wei, Huizhong Guo, Yingpeng Du, Zhu Sun, Huang Chen, Dongxia Wang, Jie Zhang

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CY

AI总结 本文提出一种基于用户反馈的用户模拟器构建框架，通过生成高质量模拟数据提升推荐系统与用户偏好的对齐能力，并通过实验验证其有效性。

Comments ACL 2026 Main. Github: https://github.com/Joinn99/UserMirrorer

What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context

是什么让大语言模型（LLMs）成为有效的序列推荐者？对偏好强度和时间上下文的研究

Zhongyu Ouyang, Qianlong Wen, Chunhui Zhang, Yanfang Ye, Soroush Vosoughi

机构 * Department of Computer Science, Dartmouth College（达特茅斯大学计算机科学系） ； ByteDance, US（字节跳动（美国）） ； Department of Computer Science and Engineering, University of Notre Dame（诺丁汉大学计算机科学与工程系） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文研究了LLMs在序列推荐中有效性的关键因素，提出RecPO框架通过整合显式和隐式反馈，提升推荐性能，强调偏好强度和时间上下文的重要性。

Comments Accepted The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Robust Reward Modeling for Large Language Models via Causal Decomposition

通过因果分解实现大型语言模型的鲁棒奖励建模

Yunsheng Lu, Zijiang Yang, Licheng Pan, Zhixuan Chu

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Department of Statistics, University of Chicago（芝加哥大学统计系） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL

AI总结 本文提出通过因果分解学习解码器，以增强奖励模型对提示意图的建模，从而提升在数学、帮助性和安全性的基准测试中的表现。

Enhancing Reinforcement Learning for Radiology Report Generation with Evidence-aware Rewards and Self-correcting Preference Learning

通过证据感知奖励和自校正偏好学习增强放射科报告生成

Qin Zhou, Guoyan Liang, Qianyi Yang, Jingyuan Chen, Sai Wu, Chang Yao, Zhe Wang

机构 * Department of Computer Science and Engineering, ECUST（电子科技大学计算机科学与工程系） ； Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education, P. R. China（教育部能源化工过程智能制造重点实验室） ； Zhejiang University（浙江大学） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出ESC-RL方法，结合证据感知对齐奖励和自校正偏好学习，提升放射科报告生成的临床准确性与持续改进能力，实验表明其在胸部X光数据集上表现优异。

Comments 13 pages,4 figures, ACL2026-main

Incentivizing High-Quality Human Annotations with Golden Questions

通过黄金问题激励高质量的人工标注

Shang Liu, Zhongze Cai, Hanzhao Wang, Zhongyao Ma, Xiaocheng Li

机构 * Imperial College Business School（帝国理工学院商学院） ； Imperial College London（帝国理工学院伦敦分校） ； Meta 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文研究如何通过黄金问题激励标注者产生高质量数据，提出基于主代理模型的激励机制，并通过实验验证黄金问题在标注性能监控中的有效性。

Comments Corrected bugs in the proofs by specifying a further assumption. arXiv admin note: text overlap with arXiv:2502.06387

Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

基于轨迹诱导的偏好优化的移动GUI代理隐私个性化

Zhixin Lin, Jungang Li, Dongliang Xu, Shidong Pan, Yibo Shi, Yuchi Liu, Yuecong Min, Yue Yao

机构 * Shandong University（山东大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； New York University（纽约大学） ； Xi'an Jiaotong University（西安交通大学） ； Australian National University（澳大利亚国立大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文研究移动GUI代理的隐私个性化问题，提出轨迹诱导偏好优化方法，通过偏好强度加权和填充门机制提升隐私保护与任务执行效率。

Comments 10 pages, 6 figures, 3 tables

Enhancing Multilingual RAG Systems with Debiased Language Preference-Guided Query Fusion

通过去偏语言偏好引导查询融合增强多语言RAG系统

Jeonghyun Park, Byeongjeong Kim, Seojin Hwang, Hwanhee Lee

机构 * Chung-Ang University（中央大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出DeLP指标以消除评估基准中的结构偏见，发现多语言检索增强生成系统更倾向单语对齐，由此提出DELTA框架优化跨语言检索与生成，实验表明其在多种语言上优于英语枢纽和mRAG基线。

Comments ACL 2026 Findings

SHE: Stepwise Hybrid Examination Reinforcement Learning Framework for E-commerce Search Relevance

SHE：面向电商搜索相关性的分步混合检验强化学习框架

Pengkun Jiao, Yiming Jin, Jianhui Yang, Chenhe Dong, Zerui Huang, Shaowei Yao, Xiaojiang Zhou, Dan Ou, Haihong Tang

机构 * Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

AI总结 本文提出SHE框架，通过分步奖励策略优化提升电商搜索相关性预测的逻辑一致性与准确性，优于SFT、DPO等基线方法。

SmileyLlama: Modifying Large Language Models for Directed Chemical Space Exploration

SmileyLlama：通过监督微调改进大语言模型以定向探索化学空间

Joseph M. Cavanagh, Kunyang Sun, Andrew Gritsevskiy, Dorian Bagni, Yingze Wang, Thomas D. Bannister, Teresa Head-Gordon

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.LG

AI总结 SmileyLlama通过监督微调和直接偏好优化，改进大语言模型以生成具有特定性质的药物分子，展示了其在药物发现中的应用潜力。

ReRec: Reasoning-Augmented LLM-based Recommendation Assistant via Reinforcement Fine-tuning

ReRec：通过强化微调增强的LLM推荐助手

Jiani Huang, Shijie Wang, Liangbo Ning, Wenqi Fan, Qing Li

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 ReRec通过强化微调框架提升LLM在复杂推荐任务中的推理能力，引入双重图增强奖励塑造、推理感知优势估计和在线课程调度器，实验证明其优于现有基线模型。

Comments Accepted by ACL 2026

Limits of Difficulty Scaling: Hard Samples Yield Diminishing Returns in GRPO-Tuned SLMs

难度扩展的极限：在GRPO调优的SLMs中困难样本产生递减回报

Suraj Yadav, Siddharth Yadav, Parth Goyal

机构 * IIIT Delhi（德里印度理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文研究了在资源受限条件下，GRPO与LoRA应用于SLMs进行数学推理时，难度增加对准确率的影响，发现高难度样本的提升效果递减。

Comments Accepted at ICLR Workshop 2026 ICBINB

AttnDiff: Attention-based Differential Fingerprinting for Large Language Models

AttnDiff：基于注意力的差分指纹法用于大语言模型

Haobo Zhang, Zhenhua Xu, Junxian Li, Shangfeng Sheng, Dezhang Kong, Meng Han

机构 * Zhejiang University of Technology（浙江工业大学） ； Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.LG

AI总结 本文提出AttnDiff，一种高效白盒框架，通过内在信息路由行为提取模型指纹，用于验证大语言模型的衍生关系，实现高相似度区分相关衍生模型与无关模型家族。

Comments Accepted at ACL2026 Main

Pressure, What Pressure? Sycophancy Disentanglement in Language Models via Reward Decomposition

压力，何为压力？通过奖励分解实现语言模型中的奉承解缠

Muhammad Ahmed Mohsin, Ahsan Bilal, Muhammad Umer, Emily Fox

机构 * Stanford University（斯坦福大学） ； University of Oklahoma（俄克拉荷马大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出通过奖励分解方法减少语言模型的奉承行为，引入多组件组相对策略优化（GRPO）奖励，分解训练信号为五个维度，有效降低奉承倾向。

Comments Submitted to COLM 2026

Beauty in the Eye of AI: Aligning LLMs and Vision Models with Human Aesthetics in Network Visualization

人工智能之眼中的美感：通过LLMs和视觉模型对网络可视化的人类美学对齐

Peng Zhang, Xuefeng Li, Xiaoqi Wang, Han-Wei Shen, Yifan Hu

机构 * Northeastern University（东北大学） ； Bosch AI Research（博世人工智能研究院） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文探讨利用LLMs和视觉模型作为人类判断的代理，通过用户研究收集人类偏好标签，提升网络可视化的人类美学对齐效果。

PLOT: Enhancing Preference Learning via Optimal Transport

PLOT：通过最优传输增强偏好学习

Liang Zhu, Yuelin Bai, Xiankun Ren, Jiaxi Yang, Lei Zhang, Feiteng Fang, Hamid Alinejad-Rokny, Minghuan Tan, Min Yang

机构 * Southern University of Science and Technology（南方科技大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Chongqing University（重庆大学） ； University of New South Wales（新南威尔士大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 PLOT通过最优传输理论提升大语言模型的偏好学习，解决性能、计算成本和全局关系建模问题，实验显示其在人类价值观和逻辑问题解决方面均提升对齐性能。

When Agents Persuade: Rhetoric Generation and Mitigation in LLMs

当代理体说服：大语言模型中的修辞生成与缓解

Julia Jose, Ritik Roongta, Rachel Greenstadt

机构 * New York University（纽约大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

AI总结 研究探讨大语言模型在被提示生成宣传内容时的表现，通过专门模型分析其修辞手法，并发现通过监督微调等方法可有效减少此类内容生成。

Comments Accepted to the ICLR 2026 Workshop on Agents in the Wild (AgentWild). 20 pages including appendix, 3 figures

Are Large Vision-Language Models Ready to Guide Blind and Low-Vision Individuals?

大视觉-语言模型是否准备好指导盲人和低视力者？

Eunki Kim, Na Min An, Wan Ju Kang, Sangryul Kim, James Thorne, Hyunjung Shim

机构 * SKT ； KAIST AI（韩国科学技术院人工智能） ； NAVER ； Theia Insights 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出统一框架，通过用户研究和定制数据集，开发出更高效的评估器，提升大视觉-语言模型在盲人和低视力用户导航中的应用性能。

Comments 42 pages, 14 figures, 28 tables

Just as Humans Need Vaccines, So Do Models: Model Immunization to Combat Falsehoods

正如人类需要疫苗，模型也需要：模型免疫化以对抗虚假信息

Shaina Raza, Rizwan Qureshi, Azib Farooq, Marcelo Lotif, Aman Chadha, Deval Pandya, Christos Emmanouilidis

机构 * Vector Institute（向量研究所） ； University of Central Florida（中佛罗里达大学） ； University of Cincinnati（辛辛那提大学） ； Independent Researcher（独立研究员） ； University of Groningen（格罗宁根大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出模型免疫化方法，通过在训练中加入精心挑选的（错误陈述，纠正）对，以直接监督虚假信息，提升模型在TruthfulQA上的准确性并提高对抗虚假信息的能力。

Principal Prototype Analysis on Manifold for Interpretable Reinforcement Learning

流形上的主原型分析用于可解释的强化学习

Bodla Krishna Vamshi, Haizhao Yang

机构 * University of Maryland College park（马里兰大学帕克分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出一种自动选择最优原型的方法，用于增强强化学习的可解释性，无需人工定义原型，实验显示其性能与现有方法相当。

Self-Improving Code Generation via Semantic Entropy and Behavioral Consensus

通过语义熵和行为共识的自我改进代码生成

Huan Zhang, Wei Cheng, Wei Hu

机构 * Nanjing University（南京大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

AI总结 本文提出ConSelf方法，利用语义熵构建课程和共识驱动优化，无需外部监督提升代码生成能力。

Comments Accepted in the 34th IEEE/ACM International Conference on Program Comprehension (ICPC 2026)