大模型对齐与安全

Mitigating Cross-Lingual Cultural Inconsistencies in LLMs via Consensus-Driven Preference Optimisation

通过共识驱动的偏好优化缓解多语言大模型中的跨语言文化不一致性

Lucas Resck, Isabelle Augenstein, Anna Korhonen

机构 * Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出C-3PO框架，通过共识驱动的偏好优化，缓解多语言大模型在用户身份明确时因提示语言变化导致的跨语言文化不一致问题，显著提升一致性指标κ_S。

Comments 24 pages, 13 figures, 11 tables

KARMA: Karma-Aligned Reward Model Adaptation

KARMA：基于Karma对齐的奖励模型适应

Jared Scott, Jesse Roberts

机构 * Tennessee Tech University（田纳西科技大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 提出KARMA框架，利用Reddit对话数据训练奖励模型预测语境依赖的回应价值，并通过强化学习微调语言模型以提升语用能力，发现最佳奖励模型不一定带来最优对齐，且KARMA会降低事实性。

L2Rec: Towards Dual-View Understanding of LLMs for Personalized Recommendation

L2Rec：面向个性化推荐的LLM双视图理解

Pingjun Pan, Tingting Zhou, Peiyao Lu, Tingting Fei, Hongxiang Chen, Chuanjiang Luo

机构 * Netease Cloud Music（网易云音乐） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出L2Rec方法，通过双视图个性化混合专家机制在参数层面统一行为与语义理解，实现端到端个性化推荐，实验证明优于现有方法。

Comments Accepted at SIGIR 2026

Cultivating Machine Intelligence: The OMEGA Shift from Top-Down Optimization to Autopoietic Cognitive Ecologies

培养机器智能：从自上而下优化到自创生认知生态的OMEGA转变

Ata G. Zare

机构 * Nyenrode Business University（奈恩罗德商学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 针对当前深度学习优化范式导致的幻觉、谄媚、奖励破解和对齐脆弱等结构性缺陷，提出RECLAIM框架，通过计算生态学而非严格优化来培养智能，并引入OMEGA转变概念。

Comments Extended preprint. A shorter version of this work is currently under peer review

EPPC-OASIS: Ontology-Aware Adaptation and Structured Inference Refinement for Electronic Patient-Provider Communication Mining in Secure Messages

EPPC-OASIS：面向安全消息中电子患者-提供者通信挖掘的本体感知适应与结构化推理精炼

Samah Fodeh, Sreeraj Ramachandran, Elyas Irankhah, Muhammad Arif, Afshan Khan, Ganesh Puthiaraju, Linhai Ma, Srivani Talakokkul, Jordan Alpert, Sarah Schellhorn

机构 * Yale University（耶鲁大学） ； Cleveland Clinic Lerner College of Medicine of Case Western Reserve University, Cleveland Clinic（克利夫兰医学中心勒纳医学院，克利夫兰医学中心） ； Medical Oncology, Yale School of Medicine（耶鲁医学院医学肿瘤学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出EPPC-OASIS框架，通过本体感知的Wasserstein对齐目标增强微调，并结合推理精炼步骤，从安全消息中自动提取结构化EPPC编码，在多个语言模型上取得一致改进。

Beyond VLM-Based Rewards: Diffusion-Native Latent Reward Modeling

超越基于VLM的奖励：扩散原生潜在奖励建模

Gongye Liu, Bo Yang, Yida Zhi, Zhizhou Zhong, Lei Ke, Didan Deng, Han Gao, Yongxiang Huang, Kaihao Zhang, Hongbo Fu, Wenhan Luo

机构 * The Hong Kong University of Science ； Huawei Hong Kong AI Framework \& Data Technologies Lab ； Tsinghua University ； The Australian National University 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出扩散原生潜在奖励模型DiNa-LRM，直接在噪声扩散状态上进行偏好学习，通过噪声校准Thurstone似然和推理时噪声集成，实现高效且鲁棒的奖励建模。

Comments Accepted by ICML 2026. Code: https://github.com/HKUST-C4G/diffusion-rm

Human-in-the-Loop Multi-Agent Ventilator Decision Support with Contextual Bandit Preference Learning

人在回路的多智能体呼吸机决策支持与上下文赌博机偏好学习

Sijia Li, Xiaoyu Tan, Qixing Wang, Weiyi Zhao, Chen Zhan, Teqi Hao, Xuemin Wang, Lei Gu, Roland Eils, Xihe Qiu

机构 * Shanghai University of Engineering Science, Shanghai, China Tencent Youtu Lab, Tencent, China Department of Critical Care Medicine, Shanghai Tenth People's Hospital, Tongji University School of Medicine, Shanghai, China Department of Emergency ； Critical Disease, Songjiang Hospital Affiliated to Shanghai Jiao Tong University School of Medicine, Shanghai, China Max Planck Institute for Heart ； Lung Research, Bad Nauheim, Germany Fudan University, Shanghai, China BIH at Charit\'e -- Universit\"atsmedizin Berlin, Berlin, Germany 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI

AI总结 提出VDSS框架，通过人在回路的多智能体协作和上下文赌博机在线偏好适应，实现呼吸机决策支持的个性化与可审计性。

Comments miccai 2026

HeadRank: Decoding-Free Passage Reranking via Preference-Aligned Attention Heads

HeadRank: 通过偏好对齐的注意力头实现无需解码的段落重排序

Juyuan Wang, Chenxing Wang, Yuchen Fang, Huiyun Hu, Junwu Du, Aolin Li, Shunlin Rong, Haijun Wu, Jin Xu, Ligang Liu, Dongliang Liao

机构 * Weixin Group, Tencent, China（腾讯微信集团，中国） ； South China University of Technology, Guangzhou, China（华南理工大学，广州，中国） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出HeadRank框架，通过熵正则化的头部选择、硬相邻级偏好对和分布正则化，在连续注意力域中提升偏好优化，从而在无需解码的情况下实现高效的段落重排序，其在多个基准测试中均取得最佳的平均NDCG@10成绩。

Beyond Scaling: Agents Are Heading to the Edge

超越扩展：智能体正走向边缘

Chunlin Tian, Dongqi Cai, Wanru Zhao, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） ； University of Macau（澳门大学） ； Nanjing University（南京大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文探讨了智能体技术发展的瓶颈从单一模型压缩世界知识转向协调系统执行，提出个人智能体架构必须转向边缘计算，以适应高保真局部环境的结构耦合和零延迟执行循环需求。

PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments

PERMA：通过事件驱动的偏好和现实任务环境评估个性化记忆代理

Shuochen Liu, Junyi Zhu, Long Shu, Junda Lin, Yuhao Chen, Haotian Zhang, Chao Zhang, Derong Xu, Jia Li, Bo Tang, Zhiyu Li, Feiyu Xiong, Enhong Chen, Tong Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； City University of Hong Kong（香港城市大学） ； Northeastern University（东北大学） ； MemTensor (Shanghai) Technology Co., Ltd.（MemTensor（上海）科技有限公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出PERMA基准，通过事件驱动的偏好和现实任务环境评估个性化记忆代理的长期一致性，引入文本变异和语言对齐以模拟真实数据中的不规则用户输入和个体语言风格，实验表明先进记忆系统能精准提取偏好并减少token消耗，但仍需更稳健的个性化记忆管理。

SSL4RL: Revisiting Self-supervised Learning as Intrinsic Reward for Visual-Language Reasoning

SSL4RL：重新审视自监督学习作为视觉语言推理的内在奖励

Xiaojun Guo, Runyu Zhou, Yifei Wang, Qi Zhang, Chenheng Zhang, Stefanie Jegelka, Xiaohan Wang, Jiajun Chai, Guojun Yin, Wei Lin, Yisen Wang

机构 * Peking University（北京大学） ； MIT（麻省理工学院） ； TUM（技术大学（TUM）） ； Meituan（美团） ； Peking University School of CIT, MCML, MDSIEECS and CSAIL（北京大学计算机学院、MCML、MDSIEECS以及CSAIL） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出SSL4RL框架，利用自监督学习任务作为强化学习的可验证奖励，提升视觉语言推理性能，并通过实验验证其在多模态模型对齐中的有效性。

Preference Instability in Reward Models: Detection and Mitigation via Sparse Autoencoders

奖励模型中的偏好不稳定性：通过稀疏自编码器进行检测与缓解

Shunchang Liu, Xin Chen, Belen Martin Urcelay, Francesco Croce

机构 * ETH Zürich（苏黎世联邦理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； Aalto University（阿alto大学） 纠错

专题命中 偏好对齐 ：harmlessness(abstract)；分类 cs.LG

AI总结 本文研究了大型语言模型中奖励模型的偏好不稳定性问题，提出通过稀疏自编码器检测并缓解这种不稳定性，通过隔离不稳定特征来提升模型的偏好准确性。

Beyond Compliance: How AI Could Help Creative Writers by Refusing Them

超越合规：AI如何通过拒绝帮助创意作家

Hua Xuan Qin, Guangzhi Zhu, Mingming Fan, Pan Hui

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Computational Media and Arts (Guangzhou)（计算媒体与艺术（广州）） ； Hong Kong, China（香港，中国） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文探讨AI通过拒绝请求引入反思的可能性，通过22名创意作家的质性研究，发现不同情境、认知和关系维度下的偏好差异影响反思效果，提出摩擦性AI设计的策略。

Comments conditionally accepted to Creativity & Cognition 2026

Not All Anquan Is the Same: A Terminological Proposal for Chinese Computer Science and Engineering

并非所有安全都是相同的：对中国计算机科学与工程术语的提案

Xingyu Zhao

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CY

AI总结 本文提出将安全与安保区分，以提升术语准确性，应对安全与安保在标准、协作和学术写作中的概念混淆。

The End Justifies the Mean: A Linear Ranking Rule for Proportional Sequential Decisions

目的 justify 平均：一种线性排名规则用于比例序列决策

Carmel Baharav, Niclas Boehmer, Bailey Flanigan, Maximilian T. Wittmann

机构 * MIT, USA（美国麻省理工学院） ； Hasso Plattner Institute, University of Potsdam, Germany（德国波茨坦大学哈索·普拉特纳研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文研究了如何通过线性排名规则在多次决策中实现比例性，提出角平均作为满足长期比例性的简单规则，并展示了其在高分歧情况下的优势。

CROP: Expert-Aligned Image Cropping via Compositional Reasoning and Optimizing Preference

CROP：通过组合推理和优化偏好实现专家对齐的图像裁剪

Zhitong Dong, Chao Li, Jie Yu, Hao Chen

机构 * Southeast University（东南大学） ； Key Laboratory of New Generation Artificial Intelligence Technology（新一代人工智能技术重点实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出CROP方法，通过组合推理和优化偏好，解决传统图像裁剪方法在复杂场景中难以做出组合权衡和缺乏适应性推理的问题，提升裁剪结果与专家审美的一致性。

DGPO: Beyond Pairwise Preferences with Directional Consistent Groupwise Optimization

DGPO: 超越成对偏好与方向一致的组级优化

Mengyi Deng, Zhiwei Li, Xin Li, Tingyu Zhu, Yulan Yuan, Zhijiang Guo, Wei Wang

机构 * Information Hub, The Hong Kong University of Science and Technology (Guangzhou), China（香港科学与技术大学（广州）信息中心，中国） ； The Hong Kong University of Science and Technology, Hong Kong SAR（香港科学与技术大学，香港特别行政区） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出DGPO框架，通过组级监督信号和多候选比较建模方向一致性，提升偏好优化的准确性和多样性，实验显示在多个数据集上平均提升3.6%。

The Realignment Problem: When Right becomes Wrong in LLMs

重排问题：当正确变为错误时在大语言模型中

Aakash Sen Sharma, Debdeep Sanyal, Manodeep Ray, Vivek Srivastava, Shirish Karande, Murari Mandal

机构 * Birla AI Labs（比拉人工智能实验室） ； TCS Research（塔塔咨询服务研究） ； Kalinga Institute of Industrial Technology, Bhubaneswar（比拉工业技术学院，巴布尔萨瓦尔） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出TRACE框架，通过结构化优化解决LLM在动态标注政策下的重排问题，无需新标注即可提升对齐效果。

Comments ICML 2026

Exploration-Driven Optimization for Test-Time Large Language Model Reasoning

基于探索的优化用于测试时大语言模型推理

Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出EDO框架，通过扩展奖励偏差探索目标到迭代后训练，提升大语言模型推理中的探索与利用平衡，实验表明ED-iDPO和ED-GRPO在推理能力和多样性上优于基线模型。

Comments Accepted by TMLR 2026

Dual-Agent Co-Training for Health Coaching via Implicit Adversarial Preference Optimization

双代理协同训练用于健康教练的隐式对抗偏好优化

Da Long, Lingyi Fu, Diya Michelle Rao, Jasmine Ruales Carrera, Yang Bai, Shandian Zhe

机构 * Kahlert School of Computing University of Utah（Utah大学计算学院Kahlert学院） ； Department of Health and Kinesiology University of Utah（健康与运动科学系Utah大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.LG

AI总结 本文提出双代理框架，通过隐式对抗偏好优化提升健康教练质量，改进对话和模拟器训练。

Q-Probe: Scaling Image Quality Assessment to High Resolution via Context-Aware Agentic Probing

Q-Probe：通过上下文感知代理探测扩展图像质量评估至高分辨率

Xiang Li, Xueheng Li, Yu Wang, Xuanhua He, Zhangchi Hu, Weiwei Yu, Chengjun Xie

机构 * University of Science and Technology of China（中国科学技术大学） ； Hefei University of Technology（合肥工业大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Institute of Intelligent Machines, Chinese Academy of Sciences（中国科学院智能 Machines 研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 Q-Probe通过上下文感知探测方法解决高分辨率图像质量评估中的局部退化捕捉问题，提出Vista-Bench基准和三阶段训练框架，实现高分辨率下的最优性能。

Beyond Factual Correctness: Mitigating Preference-Inconsistent Explanations in Explainable Recommendation

超越事实正确性：缓解可解释推荐中的偏好不一致解释

Chengkai Wang, Baisong Liu

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出PURE框架，通过选择-生成范式缓解推荐中因偏好不一致导致的解释问题，提升解释可信度与推荐准确性。

Comments The authors have identified an issue in the evaluation protocol in Section 5.1.3. Feature extraction and semantic matching used to compute P-EHR require correction and re-validation, as they may not have been applied consistently across all generated explanations and baselines. This may affect part of the reported quantitative results and analysis, so the authors withdraw this version

Reinforced Informativeness Optimization for Long-Form Retrieval-Augmented Generation

强化信息量优化用于长文本检索增强生成

Yuhao Wang, Ruiyang Ren, Yucheng Wang, Wayne Xin Zhao, Jing Liu, Hua Wu, Haifeng Wang

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学公安学院人工智能学院） ； Baidu Inc.（百度公司） 纠错

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.CL

AI总结 本文提出RioRAG框架，通过 nugget-centric 验证实现可验证的信息量优化，提升长文本检索增强生成的准确性和稳定性。

HeteroRAG: A Heterogeneous Retrieval-Augmented Generation Framework for Medical Vision Language Tasks

HeteroRAG：一种用于医疗视觉语言任务的异构检索增强生成框架

Zhe Chen, Yusheng Liao, Zhiyuan Zhu, Haolin Li, Hongcheng Liu, Yanfeng Wang, Yu Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出HeteroRAG框架，通过异构知识源增强医疗大视觉语言模型，解决异构数据检索问题，提升事实准确性与可靠性。

Comments ACL 2026 Findings

In-context Learning vs. Instruction Tuning: The Case of Small and Multilingual Language Models

上下文学习与指令微调：小语言模型和多语言情况的案例

David Ponce, Thierry Etchegoyhen

机构 * Fundación Vicomtech, Basque Research and Technology Alliance (BRTA)（维克森科技基金会，巴斯克研究与技术联盟（BRTA）） ； University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 研究评估了上下文学习在非英语语言和不同模型大小下的指令遵循有效性，发现其表现下降，但通过直接偏好优化可部分提升性能。

Bridging Values and Behavior: A Hierarchical Framework for Proactive Embodied Agents

连接价值与行为：一种面向主动具身代理的分层框架

Chunhui Zhang, Yuxuan Wang, Aoyang Qin, Yi-Long Lu, Kunlun Wu, Yizhou Wang, Wei Wang

机构 * State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； School of Computer Science, Peking University（北京大学计算机学院） ； Tsinghua University（清华大学） ； Nat’l Eng. Research Center of Visual Technology, Peking University（北京大学视觉技术国家工程研究中心） ； Institute for AI, Peking University（北京大学人工智能研究院） ； State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出ValuePlanner框架，通过分层认知架构分离高阶价值调度与低阶行动执行，结合LLM生成符号子目标并用PDDL规划器转化为行动计划，通过反馈机制提升自主性，实验表明其能生成连贯的长期自主行为。

Beyond Text-Dominance: Understanding Modality Preference of Omni-modal Large Language Models

超越文本主导：理解多模态大语言模型的模态偏好

Xinru Yan, Boxi Cao, Yaojie Lu, Hongyu Lin, Weixiang Zhou, Le Sun, Xianpei Han

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Chinese Information Processing Laboratory（中文信息处理实验室） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文研究多模态大语言模型的模态偏好现象，通过新基准和模态选择率指标量化发现，大多数模型表现出显著的视觉偏好，并通过层间探测揭示偏好在中后期层逐步出现，进而用于诊断跨模态幻觉，提升模型可信度。

Sparse Personalized Text Generation with Multi-Trajectory Reasoning

稀疏个性化文本生成与多轨迹推理

Bo Ni, Haowei Fu, Qinwen Ge, Franck Dernoncourt, Samyadeep Basu, Nedim Lipka, Seunghyun Yoon, Yu Wang, Nesreen K. Ahmed, Subhojyoti Mukherjee, Puneet Mathur, Ryan A. Rossi, Tyler Derr

机构 * Department of Computer Science, Vanderbilt University, Nashville, Tennessee（范德比尔特大学计算机科学系） ； Adobe Research, San Jose, California（Adobe研究） ； University of Orgeon, Eugene, Oregon（奥尔戈恩大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出PAT框架，通过双轨迹检索和强化学习机制提升冷启动场景下个性化文本生成的质量和对齐度。

Generating Place-Based Compromises Between Two Points of View

在两种观点之间生成基于地点的妥协

Sumanta Bhattacharyya, Francine Chen, Scott Carter, Yan-Ying Chen, Tatiana Lau, Nayeli Suseth Bravo, Monica P. Van, Kate Sieck, Charlene C. Wu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出通过外部共情相似性生成基于地点的妥协方法，提升妥协的可接受性，并通过人偏好对齐训练更高效的模型。

The Tool-Overuse Illusion: Why Does LLM Prefer External Tools over Internal Knowledge?

工具过度使用错觉：为什么大语言模型更倾向于使用外部工具而非内部知识？

Yirong Zeng, Shen You, Yufei Liu, Qunyao Du, Xiao Ding, Yutai Hou, Yuxian Wang, Wu Ning, Haonan Song, Dandan Tu, Bibo Cai, Ting Liu

机构 * Harbin Institute of Technology, SCIR（哈尔滨理工大学SCIR研究所） ； Peking University（北京大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文揭示大语言模型在推理中普遍存在工具过度使用现象，通过分析内部知识可用性区域，提出知识感知边界对齐策略，减少工具使用82.8%，并发现仅以结果奖励会鼓励工具过度使用，通过平衡奖励信号可减少66.7%的无用工具调用。

Comments 17 pages, 9 figures