大模型对齐与安全

A Persona-Based Evaluation Framework for Pluralistic Alignment in Generative AI

基于人格的生成式AI多元对齐评估框架

Atahan Karagoz

机构 * Atahan Karagöz（阿塔汗·卡拉戈兹） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种状态空间约束仿真框架，通过合成认知轮廓替代单一评估函数，实现反映真实世界共识变异性的多元、视角依赖的基准测试，并分析仿真评估者的稳定性问题，论证动态调节机制的必要性。

dashi: A Python library for Dataset Shift Characterization to Support Trustworthy AI Development and Deployment

dashi: 一个用于数据集偏移表征以支持可信AI开发和部署的Python库

David Fernández-Narro, Pablo Ferri, Ángel Sánchez-García, Juan M. García-Gómez, Carlos Sáez

机构 * Biomedical Data Science Lab, Instituto Universitario de Tecnologías de la Información y Comunicaciones, Universitat Politècnica de Valéncia（生物医学数据科学实验室，信息与通信技术大学，巴塞罗那理工大学） 纠错

专题命中 安全评测 ：trustworthy(title)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文介绍dashi，一个开源Python库，通过无监督（基于信息几何和非参数统计流形）和有监督方法，对数据集偏移进行探索、量化和表征，以支持AI生命周期中的可信度评估。

Towards a Humanized Social-Media Ecosystem: AI-Augmented HCI Design Patterns for Safety, Agency & Well-Being

迈向人性化的社交媒体生态系统：面向安全、自主与福祉的AI增强人机交互设计模式

Mohd Ruhul Ameen, Akif Islam

机构 * College of Engineering（工程学院） ； Computer Sciences Marshall University Huntington, WV, USA（计算机科学马歇尔大学亨廷顿州威斯康星州） ； Department of Computer Science（计算机科学系） ； Engineering University of Rajshahi Rajshahi 6205, Bangladesh（工程 Rajshahi 大学 Rajshahi 6205 巴基斯坦） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 提出Human-Layer AI（HL-AI）框架，通过浏览器端用户拥有的可解释中介，在不依赖平台合作的情况下赋予用户实时控制权，实现内容重写、完整性检测、信息流定制、行为中断和恢复模式等五种设计模式，以提升社交媒体安全性与用户福祉。

Comments 6 pages, 5 tables, 7 figures, and 2 algorithm tables. Accepted at International Conference on Signal Processing, Information, Communication and Systems (SPICSCON 2025)

Journal ref 2025 IEEE International Conference on Signal Processing, Information, Communication and Systems (SPICSCON)

When AI Meets Wall Street: A Survey on Trustworthy AI in Fintech

当AI遇见华尔街：金融科技中可信AI综述

Qingwen Zeng, Zhenghao Zhao, Yitian Yang, Yiqi Zhu, Fangchen Liu, Zhaoge Bi, Moe Thandar Kyaw Wynn, Kim-Kwang Raymond Choo, Huaming Chen

专题命中 安全评测 ：trustworthy(title)；prompt injection(abstract)

AI总结 本文提出一个以生命周期为中心、机制驱动的统一框架，将金融AI分为训练更新、部署推理、运营监控三个阶段，并构建金融AI安全与鲁棒性分类法，涵盖17种攻击子类型，分析其算法策略、可行性约束、隐蔽性与持久性及下游金融后果，最后指出开放挑战并规划研究议程。

EUDAIMONIA: Evaluating Undesirable Dynamics in AI

EUDAIMONIA: 评估AI中的不良动态

Jun Rui Huang, Wang Bill Zhu, Ziyi Liu, Nathanael Fast, Ravi Iyer, Robin Jia

机构 * University of Southern California（南加州大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 提出Social AI Design Code框架，并通过EUDAIMONIA基准测试评估22个最新LLM在社交互动中对用户福祉的符合程度，发现即使最强模型也违反约30%的设计要求。

Latent Performance Profiling of Large Language Models

大型语言模型的潜在性能剖析

Tanmoy Chakraborty, Ayan Sengupta, Suparna Bhattacharya, Partha Pratim Chakrabarti, Amlan Chakrabarti, Supratik Chakraborty, Partha Pratim Das, Lipika Dey, Richa Singh, Mayank Vatsa

机构 * Department of Electrical Engineering, Indian Institute of Technology Delhi（印度理工学院德里分校电子工程系） ； Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（印度理工学院德里分校人工智能学院） ； Hewlett Packard Enterprise, India（印度惠普企业公司） ； Department of Computer Science & Engineering, Indian Institute of Technology Kharagpur（印度理工学院Khargapur分校计算机科学与工程系） ； A.K.Choudhury School of Information Technology, University of Calcutta, India（印度加尔各答大学信息科技学院） ； Department of Computer Science & Engineering, Indian Institute of Technology Bombay（印度理工学院孟买分校计算机科学与工程系） ； Department of Computer Science, Ashoka University, India（阿什oka大学计算机科学系） ； Department of Computer Science & Engineering, Indian Institute of Technology Jodhpur（印度理工学院朱罗普分校计算机科学与工程系） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.LG

AI总结 提出潜在性能剖析（LPP）框架，通过隐藏激活和输出分布提取任务无关的诊断指标，揭示模型内在特性，补充传统基准评估。

Seeing Before Agreeing: Aligning Multi-Agent Consensus with Visual Evidence

先见后议：用视觉证据对齐多智能体共识

Yuhan Wang, Shuochen Chang, Yalin Feng, Dongsheng Ma, Yuanzi Li, Zhengren Wang, Yinglong Yang, Yufei Chen, Yikang Wang, Shaoxu Sun, Wentao Zhang

机构 * Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Renmin University of China（中国人民大学） ； Shandong University（山东大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 提出EAGLE框架，通过显式暴露各智能体的视觉证据区域并相互验证，实现无需训练的多智能体视觉问答协作，提升共识可靠性。

Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents

反事实评估揭示临床LLM和智能体的隐藏能力画像

Matt Turk

机构 * Protege Data Lab（Protege数据实验室） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出因果敏感性评分（CSS），通过沿五个临床维度变异肿瘤病例来评估模型是否按预期方向更新推荐，发现与覆盖度指标排名相反，并揭示所有前沿模型在手术状态干预上的安全盲点。

Comments Accepted to RLEval @ ACM CAIS 2026 (Workshop on Methods and RL Environments for Evaluating AI Agents) and selected for an invited talk based on reviewer ratings. 4-page short paper + appendix

Same Patient, Different Words, Different Diagnosis? Evaluating Semantic Stability in Clinical LLMs

同一患者，不同措辞，不同诊断？评估临床大语言模型中的语义稳定性

Mahdi Alkaeed, Adnan Qayyum, Nabeel Abo Kashreef, Muhammad Bilal, Junaid Qadir

机构 * Department of Computer Science and Engineering, College of Engineering, Qatar University（卡塔尔大学计算机科学与工程系） ； College of Science and Engineering, Hamad Bin Khalifa University (HBKU)（哈马德·本·卡伊夫大学（HBKU）理学院） ； Primary Health Care Corporation (PHCC)（初级卫生保健公司） ； Birmingham City University（伯明翰城市大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对临床大语言模型对语义等价但措辞不同的提示敏感的问题，提出基于自然语言推理的语义验证框架和三个量化指标，评估16个开源通用与医学模型，发现领域专业化并不一致地提升或降低鲁棒性。

Comments 14 pages, 5 figures

A Unified Framework for Gradient Aggregation in Multi-Objective Optimization

多目标优化中梯度聚合的统一框架

Zeou Hu, Kelvin Ho, Yaoliang Yu

机构 * Cheriton School of Computer Science（切尔顿计算机科学学院） ； University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个统一框架，通过充分对齐条件建立梯度聚合方法的收敛率，并引入基于CVaR的capped MGDA算法，在对抗联邦学习中验证鲁棒性。

MedFact: Benchmarking the Fact-Checking Capabilities of Large Language Models on Chinese Medical Texts

MedFact：大型语言模型在中文医学文本上的事实核查能力基准测试

Jiayi He, Yangmin Huang, Qianyun Du, Xiangying Zhou, Zhiyang He, Jiaxue Hu, Xiaodong Tao, Lixian Lai

机构 * Xunfei Healthcare Technology Co., Ltd.（讯飞医疗科技有限公司） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 为评估LLM在中文医学文本中的事实核查能力，构建了包含2116个专家标注实例的MedFact基准，涵盖13个专科、8种错误类型等，并发现模型在错误定位上表现不足，存在“过度批评”现象。

Comments Accepted to The Fifth Workshop on Generation, Evaluation, and Metrics (GEM) at ACL 2026

Mellum2 Technical Report

Mellum2 技术报告

Marko Kojic, Ivan Bondyrev, Aral de Moor, Joseph Shtok, Petr Borovlev, Kseniia Lysaniuk, Madeeswaran Kannan, Ivan Dolgov, Nikita Pavlichenko

机构 * JetBrains ； Constructor University（Constructor大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 本文介绍 Mellum 2，一个12B参数（每token激活2.5B）的混合专家语言模型，专攻软件工程，通过架构创新和训练优化在代码生成、数学推理等基准上达到4B-14B开源模型的竞争力。

Welfare, Improvability, and Variance: A Principal-Agent Approach to Optimal Benchmark Item Aggregation

福利、可改进性与方差：最优基准测试项聚合的主-代理方法

Andreas Haupt, Justin Hartenstein, Anka Reuel, Mykel Kochenderfer, Sanmi Koyejo

机构 * Department of Economics & Computer Science（经济与计算机科学系） ； Institute for Computational and Mathematical Engineering（计算与数学工程研究所） ； Department of Computer Science（计算机科学系） ； Department of Aeronautics & Astronautics（航空与航天系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 提出将基准测试建模为多任务主-代理博弈，通过福利、可改进性和方差三个维度评估项目，并应用于OLMES数据集识别帕累托劣势项目。

Triaging Threats to Specialized Guardrails

针对专用护栏的威胁分类

Wenjie Jacky Mo, Xiaofei Wen, Rui Cai, Boyu Zhu, Sicong Jiang, Zihan Wang, Minglai Yang, Zhe Zhao, Muhao Chen

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 提出GuardZoo统一基准和RouteGuard路由专家框架，通过将对话分流至专用护栏，解决单一护栏在多种威胁域上的任务干扰问题，提升细粒度检测和泛化能力。

DEBATE: A Large-Scale Benchmark for Evaluating Opinion Dynamics in Role-Playing LLM Agents

DEBATE：用于评估角色扮演LLM代理中观点动态的大规模基准

Yun-Shiuan Chuang, Ruixuan Tu, Chengtao Dai, You Li, Smit Vasani, Binwei Yao, Michael Henry Tessler, Sijia Yang, Dhavan Shah, Robert Hawkins, Junjie Hu, Timothy T. Rogers

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Google DeepMind（谷歌DeepMind） ； Stanford University（斯坦福大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出DEBATE基准，通过多轮公共消息和Likert量表信念数据，评估多代理角色扮演LLM模拟中观点动态的真实性，发现零样本设置下代理组过度收敛，而监督微调可改善立场对齐并减少组级收敛误差。

*-PLUIE: Personalisable metric with Llm Used for Improved Evaluation

*-PLUIE：使用大语言模型改进评估的可个性化度量

Quentin Lemesle, Léane Jourdan, Daisy Munson, Pierre Alain, Jonathan Chevelu, Arnaud Delhay, Damien Lolive

机构 * Univ Rennes, CNRS, IRISA, EXPRESSION（里尔大学、法国国家科学研究中心、IRISA、EXPRESSION） ； Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR 6004（南特大学、南特中央理工学院、法国国家科学研究中心、LS2N、UMR 6004） ； Univ Rennes, CNRS, IRISA, SOTERN（里尔大学、法国国家科学研究中心、IRISA、SOTERN） ； Univ of South Brittany, CNRS, IRISA, ARCHIMEDIA（布列塔尼南部大学、法国国家科学研究中心、IRISA、ARCHIMEDIA） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出*-PLUIE，一种基于困惑度的可个性化LLM评判度量，通过任务特定提示变体实现与人类判断的更强相关性，同时保持低计算成本。

Comments Accepted at *SEM 2026

Multi-Agent Teams Hold Experts Back

多智能体团队阻碍专家发挥

Aneesh Pappu, Batu El, Hancheng Cao, Carmelo di Nolfo, Yanchao Sun, Meng Cao, James Zou

机构 * stanford（斯坦福大学） ； apple（苹果公司） ； goizueta business school, emory（埃默里大学戈izueta商学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究自组织多智能体LLM团队在无约束协调下无法匹配专家性能，发现整合妥协行为是主要瓶颈，导致性能损失高达41.1%。

Comments Accepted at the International Conference on Machine Learning (ICML 2026)

Diagnosing the Reliability of LLM-as-a-Judge via Item Response Theory

通过项目反应理论诊断LLM作为评判者的可靠性

Junhyuk Choi, Sohhyung Park, Chanhee Cho, Hyeonchu Park, Bugeun Kim

机构 * Department of Artificial Intelligence, Chung-Ang University, Seoul, Republic of Korea（Chung-Ang 大学人工智能系） ； Department of Industrial Engineering, Seoul National University, Seoul, Republic of Korea（首尔国立大学工业工程系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出基于项目反应理论（IRT）的两阶段诊断框架，通过内在一致性和人类对齐两个维度评估LLM作为评判者的可靠性，并提供可解释的诊断信号。

Comments Accepted ICML 2026

From Internal Diagnosis to External Auditing: A VLM-Driven Paradigm for Data-Free Online Backdoor Defense

从内部诊断到外部审计：一种VLM驱动的数据自由在线后门防御范式

Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

机构 * The Chinese University of Hong Kong, Hong Kong（香港中文大学） ； Sun Yat-sen University, China（中山大学） ； Zhejiang University, China（浙江大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 提出一种从内部诊断到外部语义审计的范式转变，利用通用视觉语言模型（VLM）作为外部语义门控，通过PRISM框架（原型精炼与统计监控检查）实现数据自由的在线后门防御，在17个数据集和11种攻击类型上达到最先进性能。

Comments 25 pages, 10 figures, 19 tables. To appear in the Proceedings of the 43 rd International Conference on Machine Learning (ICML '26)

Distilling Counterfactual Reasoning from Language to Vision: Causal Graph Guided Post-Training for Video Understanding

从语言到视觉的反事实推理蒸馏：因果图引导的视频理解后训练

Yuefei Chen, Jiang Liu, Xiaodong Lin, Ruixiang Tang

机构 * Rutgers University（新泽西罗格斯大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 针对视觉语言模型在反事实推理上的不足，提出CounterVQA基准和CFGPT后训练方法，通过从语言模态蒸馏反事实推理能力提升视频理解。

The Regularizing Power of Language-Training Deepfake Detectors

语言训练深度伪造检测器的正则化能力

Benedikt Hopf, Zongwei Wu, Radu Timofte

机构 * Computer Vision Lab, CAIDAS, University of Würzburg（计算机视觉实验室，CAIDAS，乌尔姆大学） 纠错

专题命中 安全评测 ：alignment(abstract)

AI总结 提出利用多模态大语言模型的双编码器架构和两阶段训练，通过语言正则化缓解过拟合，提升深度伪造检测的泛化性和可解释性。

SpatialBench: Is Your Spatial Foundation Model an All-Round Player?

SpatialBench: 你的空间基础模型是全能选手吗？

Haosong Peng, Hao Li, Jiaqi Chen, Yuhao Pan, Runmao Yao, Yalun Dai, Fushuo Huo, Fangzhou Hong, Zhaoxi Chen, Haozhao Wang, Dingwen Zhang, Ziwei Liu, Wenchao Xu

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Nanyang Technological University（南洋理工大学） ； Northwestern Polytechnical University（西北工业大学） ； Southeast University（东南大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 安全评测 ：alignment(abstract)

AI总结 提出SpatialBench基准，通过跨范式、多域、确定性采样的评估，揭示当前空间基础模型在多样化下游任务中的泛化能力不足，并引入DA-Next-5M数据集和DA-Next模型推动空间表示学习。

Comments Project Page: https://ropedia.github.io/SpatialBench/

Decoding the Surgical Scene: A Scoping Review of Scene Graphs in Surgery

解码手术场景：手术中场景图的范围综述

Angelo Henriques, Korab Hoxha, Daniel Zapp, Peter C. Issa, Nassir Navab, M. Ali Nasseri

机构 * School of Computation, Information and Technology, Technical University of Munich（计算信息学院，慕尼黑技术大学） ； Klinik und Poliklinik für Augenheilkunde, TUM University Hospital（眼科诊所，TUM大学医院） ； Computer Aided Medical Procedures, Technical University of Munich（医学辅助程序，慕尼黑技术大学） ； Department of Biomedical Engineering, University of Alberta（生物医学工程系，阿尔伯塔大学） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 本文通过PRISMA-ScR指导的范围综述，系统梳理了手术中场景图（SG）的研究现状，分析了52项研究，揭示了从图神经网络向基础模型和生成式AI的方法论转变，并提出了“验证三位一体”评估框架以弥合临床转化差距。

Comments Submitted and accepted to Medical Image Analysis (DOI: 10.1016/j.media.2026.104083). An interactive version of the summary tables is available at: osf.io/fruq8

Journal ref Medical Image Analysis (2026)