大模型对齐与安全

Efficient LLM Safety Evaluation through Multi-Agent Debate

通过多智能体辩论实现高效的LLM安全评估

Dachuan Lin, Guobin Shen, Zihao Yang, Tianrong Liu, Dongcheng Zhao, Yi Zeng

机构 * Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院） ； Beijing Key Laboratory of Safe AI and Super Alignment（北京安全人工智能与超对齐重点实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； CSE, The Chinese University of Hong Kong（香港中文大学电子工程系） ； University of Chinese Academy of Sciences（中国科学院大学） ； Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系） ； Long-term AI（长期人工智能） 纠错

专题命中 安全评测 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出多智能体辩论框架，利用HAJailBench基准测试，提升LLM安全评估的可靠性与经济性，验证了少量辩论轮次即可获得显著效果。

Comments 15 pages, 5 figures, 10 tables. Updated abstract to fix an incconsistency issue with the main paper: HAJailBench size (12,000 -> 11,100)

SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems

SafeTutors: 评估AI辅导系统中的教学安全性

Rima Hazra, Bikram Ghuku, Ilona Marchenko, Yaroslava Tokarieva, Sayan Layek, Somnath Banerjee, Julia Stoyanovich, Mykola Pechenizkiy

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； Indian Institute of Technology Kharagpur（印度理工学院Khargpur分校） ； Cisco Research（思科研究） ； Taras Shevchenko National University of Kyiv（塔拉斯·谢甫琴科基辅国立大学） ； National Technical University of Ukraine（乌克兰国家技术大学） ； New York University（纽约大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 本文提出SafeTutors基准，评估AI辅导系统在数学、物理和化学中的教学有效性与安全性，发现模型在多轮对话中教学失败率显著上升，且学科差异影响安全措施效果。

Part-Aware Open-Vocabulary 3D Affordance Grounding via Prototypical Semantic and Geometric Alignment

面向部分的开放词汇3D功能接地 via 语义和几何对齐

Dongqiang Gou, Xuming He

机构 * ShanghaiTech University（上海科技大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)

AI总结 本文提出一种双阶段跨模态框架，通过增强语义和几何表示，解决开放词汇3D功能接地中的语义一致性、几何对齐和开放词汇泛化问题。

FoMo X: Modular Explainability Signals for Outlier Detection Foundation Models

FoMo X：用于异常检测基础模型的模块化可解释性信号

Simon Klüttermann, Tim Katzke, Phuong Huong Nguyen, Emmanuel Müller

机构 * TU Dortmund University, Dortmund, Germany（图卢兹大学（德累斯顿）） ； Research Center Trustworthy Data Science and Security, University Alliance Ruhr, Dortmund, Germany（可信数据科学与安全研究中心，鲁尔大学联盟，德累斯顿，德国） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 FoMo-X通过模块化框架为异常检测基础模型提供内在轻量级诊断能力，利用预训练PFN背骨的冻结嵌入编码丰富关系信息，通过附加诊断头实现高效可解释性，实验证明其在合成和真实世界基准上具有高保真度和低推理开销。

Comments 24 pages, 9 figures

Silenced Biases: The Dark Side LLMs Learned to Refuse

沉默的偏见：LLMs所学习到的拒绝的黑暗面

Rom Himelstein, Amit LeVi, Brit Youngmann, Yaniv Nemcovsky, Avi Mendelson

专题命中 安全评测 ：alignment(abstract,comments)；safety(abstract)；分类 cs.CL

AI总结 本文提出Silenced Bias Benchmark，通过激活引导减少问答中的拒绝，揭示模型潜在的公平性问题，挑战传统公平评估方法。

Comments Accepted to The 40th Annual AAAI Conference on Artificial Intelligence - AI Alignment Track (Oral)

The Comprehension-Gated Agent Economy: A Robustness-First Architecture for AI Economic Agency

基于理解的智能体经济：面向AI经济代理的鲁棒性优先架构

Rahul Baxi

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出Comprehension-Gated Agent Economy架构，通过对抗鲁棒性审计生成验证函数，实现经济权限的鲁棒性约束，确保经济安全与竞争力。

Comments v2: updated correspondence email

Text-to-Stage: Spatial Layouts from Long-form Narratives

文本到舞台：从长篇叙述中生成空间布局

Jefferson Hernandez, Swarnadeep Saha, Chenxi Whitehouse, Sanjeel Parekh, Calvin Murdock, Yuliang Li, W. Owen Brimijoin, Vamsi Krishna Ithapu, Ishwarya Ananthabhotla

机构 * Rice University（里士大学） ； Meta FAIR ； Meta Reality Labs Research（Meta现实实验室） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究如何通过语言模型从无结构文本推断戏剧舞台布局，提出确定性评估体系和结合拒绝SFT与RL的训练方法，在多个指标上优于基线模型。

ProofWright: Towards Agentic Formal Verification of CUDA

ProofWright: 向 CUDA 的代理形式验证迈进

Bodhisatwa Chatterjee, Drew Zagieboylo, Sana Damani, Siva Hari, Christos Kozyrakis

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)

AI总结 ProofWright 通过整合自动形式验证与 LLM 代码生成，为 CUDA 核心提供内存安全、线程安全和语义正确性保证，验证了 74% 的生成内核，发现传统测试遗漏的细微错误。

The Moral Foundations Reddit Corpus

道德基础Reddit语料库

Jackson Trager, Alireza S. Ziabari, Elnaz Rahmati, Aida Mostafazadeh Davani, Preni Golazizian, Farzan Karimi-Malekabadi, Ali Omrani, Zhihe Li, Brendan Kennedy, Georgios Chochlakis, Nils Karl Reimer, Melissa Reyes, Kelsey Cheng, Mellow Wei, Christina Merrifield, Arta Khosravi, Evans Alvarez, Morteza Dehghani

机构 * University of Southern California（南加州大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.CY、cs.LG

AI总结 该研究提出一个包含16123条Reddit评论的语料库，用于标注道德情感，通过评估不同模型表现，强调了人工标注数据在AI对齐评估中的重要性。

Can Blindfolded LLMs Still Trade? An Anonymization-First Framework for Portfolio Optimization

盲folded LLMs仍能进行交易吗？一个以匿名化优先的资产组合优化框架

Joohyoung Jeon, Hongchul Lee

机构 * Korea University（韩国大学） ； Mirae Asset Securities（美亚证券） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种以匿名化为核心的资产组合优化框架，通过盲fold LLMs来验证市场信号的合法性，实验显示在2025年期间实现了1.40的夏普比率，并通过负控实验验证信号的有效性。

Comments Accepted at the ICLR 2026 Workshop on Advances in Financial AI (FinAI). 18 pages, 7 figures

HarmMetric Eval: Benchmarking Metrics and Judges for LLM Harmfulness Assessment

HarmMetric Eval: 对LLM有害性评估的度量和裁判进行基准测试

Langqi Yang, Tianhang Zheng, Yixuan Chen, Kedong Xiu, Hao Zhou, Wangze Ni, Lei Chen, Zhan Qin, Kui Ren

机构 * The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Zhejiang University（浙江大学） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） ； Pretraining Team, xAI（预训练团队，xAI） ； Hong Kong University of Science and Technology (GuangZhou)（香港科技大学（广州）） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出HarmMetric Eval，用于评估有害性度量和裁判的质量，发现传统参考型指标在细粒度评估中表现优于LLM裁判，改进的裁判通过结合细粒度标准和参考型指标提升了效果。

Den-TP: A Density-Balanced Data Curation and Evaluation Framework for Trajectory Prediction

Den-TP：一种基于密度平衡的数据整理与评估框架用于轨迹预测

Ruining Yang, Yi Xu, Yun Fu, Lili Su

机构 * Northeastern University, USA（东北大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Den-TP框架，通过密度感知的数据整理和评估方法，平衡轨迹预测数据集的密度分布，提升模型鲁棒性。

Comments Accepted by CVPR2026

OMNIFLOW: A Physics-Grounded Multimodal Agent for Generalized Scientific Reasoning

OMNIFLOW：一种基于物理的多模态代理用于通用科学推理

Hao Wu, Yongheng Zhang, Yuan Gao, Fan Xu, Fan Zhang, Ruobing Xie, Ruijian Gou, Yuxuan Liang, Xiaomeng Huang, Xian Wu

机构 * Tsinghua University（清华大学） ； Tencent（腾讯） ； Shenzhen Loop Area Institute（深圳河套学院） ； Ocean University of China（海洋大学） ； HKUST (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 OMNIFLOW通过引入语义-符号对齐机制和物理引导的推理流程，实现了多模态模型在物理定律下的科学推理，显著提升了零样本泛化和少样本适应能力，提供透明且物理一致的推理报告。

Federated Distributional Reinforcement Learning with Distributional Critic Regularization

联邦分布式强化学习与分布批评正则化

David Millard, Cecilia Alm, Rashid Ali, Pengcheng Shi, Ali Baheri

机构 * Dept. of Mechanical Engineering, Rochester Institute of Technology（机械工程系，罗切斯特理工学院） ； Dept. of Psychology and School of Information, Rochester Institute of Technology（心理学系和信息学院，罗切斯特理工学院） ； Department of Engineering Science, University West（工程科学系，西大学） ； Golisano College of Computing and Information Sciences, Rochester Institute of Technology（计算与信息科学学院，罗切斯特理工学院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 本文提出FedDistRL和TR-FedDistRL，通过分布批评正则化提升安全性和稳定性，在多任务环境中表现出更低的均值模糊和更高的安全指标。

Comments 9 pages, 4 Figures, conference

AgriChat: A Multimodal Large Language Model for Agriculture Image Understanding

AgriChat：一种用于农业图像理解的多模态大语言模型

Abderrahmene Boudiaf, Irfan Hussain, Sajid Javed

机构 * Department of Computer Science, Khalifa University of Science and Technology（卡利法科技大学计算机科学系） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出AgriChat，一种基于多模态大语言模型的农业图像理解系统，通过整合视觉描述与网络增强的科学检索，生成农业基准数据集，提升农业领域的模型鲁棒性和可信度。

TheraMind: A Strategic and Adaptive Agent for Longitudinal Psychological Counseling

TheraMind：一种用于长期心理辅导的战略和自适应代理

He Hu, Chiyuan Ma, Qianning Wang, Lin Liu, Yucheng Zhou, Laizhong Cui, Fei Ma, Qi Tian

机构 * Shenzhen University（深圳大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Auckland University of Technology（奥克兰理工大学） ； University of Science and Technology of China（中国科学技术大学） ； SKL-IOTSC, CIS, University of Macau（澳门科技研究所、CIS、澳门大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出TheraMind，一种用于可信在线长期心理辅导的战略和自适应代理，通过双循环架构提升对话管理和治疗规划能力，实验证明其在多会话指标上优于其他方法。

SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models

SCAM：多模态基础模型的现实世界字形鲁棒性评估

Justus Westerhoff, Erblina Purelku, Jakob Hackstein, Jonas Loos, Leo Pinetzki, Erik Rodner, Lorenz Hufe

机构 * BLISS e.V.（BLISS协会） ； Berliner Hochschule für Technik (BHT)（柏林技术大学） ； Technische Universität Berlin（柏林技术大学） ； KI Werkstatt, Hochschule für Technik und Wirtschaft Berlin (HTW)（柏林技术经济学院） ； Merantix Momentum（Merantix Momentum公司） ； Fraunhofer Heinrich-Hertz-Institut, Berlin, Germany（柏林弗劳恩霍夫 Heinrich-Hertz 研究所） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出SCAM数据集，用于评估多模态基础模型对字形攻击的鲁棒性，发现训练数据和模型架构影响攻击敏感性，且大语言模型基座可降低攻击影响。

Comments Accepted at CVPR 2025 Workshop EVAL-FoMo-2

Journal ref Journal of Data-centric Machine Learning Research (2026)

LLMs-Powered Real-Time Fault Injection: An Approach Toward Intelligent Fault Test Cases Generation

基于大语言模型的实时故障注入：一种智能故障测试用例生成方法

Mohammad Abboush, Ahmad Hatahet, Andreas Rausch

专题命中 安全评测 ：safety(abstract)

AI总结 本文提出一种利用大语言模型生成实时故障测试用例的方法，通过分析功能安全需求提高测试效率和安全性。

Journal ref 2025 IEEE 28th International Conference on Intelligent Transportation Systems (ITSC)

TALO: Pushing 3D Vision Foundation Models Towards Globally Consistent Online Reconstruction

TALO：推动3D视觉基础模型向全球一致的在线重建迈进

Fengyi Zhang, Tianjun Zhang, Kasra Khosoussi, Zheng Zhang, Zi Huang, Yadan Luo

机构 * UQMM Lab, The University of Queensland（昆士兰大学UQMM实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 安全评测 ：alignment(abstract)

AI总结 本文提出基于薄板样条的高自由度长期对齐框架，通过全局传播控制点纠正空间变化不一致，并采用点无关子图注册设计提升鲁棒性，实验表明其在多数据集和相机配置下均能获得更一致的几何和更低的轨迹误差。

Comments CVPR 2026