大模型对齐与安全

Trustworthy AI in the Agentic Lakehouse: from Concurrency to Governance

可信AI在代理湖仓中的实现：从并发到治理

Jacopo Tagliabue, Federico Bianchi, Ciro Greco

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 本文提出Bauplan设计，通过事务机制实现湖仓中的数据和计算隔离，解决代理工作流的可信性问题，并提供自修复管道的实现。

Comments AAAI26, pre-print of paper accepted at the Trustworthy Agentic AI Workshop

Targeted Lexical Injection: Unlocking Latent Cross-Lingual Alignment in Lugha-Llama via Early-Layer LoRA Fine-Tuning

Stanley Ngugi

机构 * Stanley Ngugi（独立研究者） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

Comments 11 pages, 3 figures, 2 tables. Research on parameter-efficient fine-tuning (PEFT) for low-resource languages (Swahili). Investigates cross-lingual lexical alignment in Lugha-Llama using LoRA and contrastive learning

Establishing and Evaluating Trustworthy AI: Overview and Research Challenges

Dominik Kowald, Sebastian Scher, Viktoria Pammer-Schindler, Peter Müllner, Kerstin Waxnegger, Lea Demelius, Angela Fessl, Maximilian Toller, Inti Gabriel Mendoza Estrada, Ilija Simic, Vedran Sabol, Andreas Truegler, Eduardo Veas, Roman Kern, Tomislav Nad, Simone Kopeinik

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.LG

Comments Accepted in Frontiers in Big Data and AI, Research Topic: Towards Fair AI for Trustworthy Artificial Intelligence

Relational Action Bases: Formalization, Effective Safety Verification, and Invariants (Extended Version)

Silvio Ghilardi, Alessandro Gianola, Marco Montali, Andrey Rivkin

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

Comments Extended version of the conference paper 'Safety Verification and Universal Invariants for Relational Action Bases' by the same authors, accepted at the 32nd International Joint Conference on Artificial Intelligence (IJCAI 2023)

Safety Assessment of Chinese Large Language Models

Hao Sun, Zhexin Zhang, Jiawen Deng, Jiale Cheng, Minlie Huang

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

Comments Benchmark website: http://coai.cs.tsinghua.edu.cn/leaderboard/ ; SafetyPrompts repo: https://github.com/thu-coai/Safety-Prompts

Trustworthy AI in the Age of Pervasive Computing and Big Data

Abhishek Kumar, Tristan Braud, Sasu Tarkoma, Pan Hui

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CY

Comments To be published in Percrowd 2020 (PerCom Adjunct). Please cite as: Abhishek Kumar, Tristan Braud, Sasu Tarkoma, Pan Hui. Trustworthy AI in the Age of Pervasive Computing and Big Data. In Proceedings of the 3rd International Workshop on Context-awareness for Multi-device Pervasive and Mobile Computing (Percrowd), Austin USA, March 2020 (Percom 2020 Workshop)

Why Do AI Agents Break Rules? How Framing, Context, and Social Signals Shape Compliance

AI智能体为何违反规则？框架、情境与社会信号如何影响合规性

Mika Okamoto, Ansel Kaplan Erol, Kutluhan Erol

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 该研究运用法律与经济学的合规理论，发现安全微调AI模型大体合规，任务优化与智能体模型会在低惩罚等条件下违规，且引入经济激励等会导致大规模合规失败，指出模型选择与合规性评估需改进。

Open Problems in Frontier AI Risk Management

前沿人工智能风险管理中的开放问题

Marta Ziosi, Miro Plueckebaum, Stephen Casper, Henry Papadatos, Ze Shen Chin, Peter Slattery, James Gealy, Tim G. J. Rudner, Brian Tse, Ariel Gil, Patricia Paskov, Maximilian Negele, Rokas Gipiškis, Nada Madkour, Vera Lummis, Rupal Jain, Luise Eder, Kristina Fort, Malou C. van Draanen Glismann, Inès Belhadj, Amin Oueslati, Anna K. Wisakanto, Richard Mallah, Koen Holtman, Ranj Zuhdi, Daniel S. Schiff, Jessica Newman, Malcolm Murray, Robert Trager

机构 * Oxford Martin AI Governance Initiative, University of Oxford（牛津大学人工智能治理倡议） ； MIT Computer Science and Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室） ； MIT Future Tech（麻省理工学院未来技术） ； Stanford University（斯坦福大学） ； Governance and Responsible AI Lab, Purdue University（普渡大学治理与负责任的人工智能实验室） ； University of Toronto（多伦多大学） ； Mercatus Center, George Mason University（乔治·马歇尔大学麦卡锡中心） ； Vilnius University（维尔纽斯大学） ； Vijil ； SaferAI ； AI Standards Lab（人工智能标准实验室） ； The Future Society（未来社会） ； Concordia AI（康科德人工智能） ； Pivotal Research ； Center for AI Risk Management & Alignment（人工智能风险管理和对齐中心） ； UC Berkeley Center for Long-Term Cybersecurity（伯克利大学长期网络安全中心） ； Independent（独立） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文探讨前沿人工智能风险管理中的核心问题，通过文献综述识别未解决的挑战，并分类问题类型以指导未来研究与治理。

Comments 81 pages, 3 figures

Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents

你的代理可能误进化：自我进化大语言模型代理中的新兴风险

Shuai Shao, Qihan Ren, Chen Qian, Boyi Wei, Dadi Guo, Jingyi Yang, Xinhao Song, Linfeng Zhang, Weinan Zhang, Dongrui Liu, Jing Shao

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了自我进化代理中因自我进化偏离导致的误进化风险，揭示了其广泛存在及对安全对齐的影响，并提出缓解策略。

Comments Published in ICLR 2026

Smoothed Embeddings for Robust Language Models

Ryo Hase, Md Rafi Ur Rashid, Ashley Lewis, Jing Liu, Toshiaki Koike-Akino, Kieran Parsons, Ye Wang

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Presented in the Safe Generative AI Workshop at NeurIPS 2024

Can Models Learn Skill Composition from Examples?

Haoyu Zhao, Simran Kaur, Dingli Yu, Anirudh Goyal, Sanjeev Arora

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to NeurIPS 2024

Aurora-M: Open Source Continual Pre-training for Multilingual Language and Code

Taishi Nakamura, Mayank Mishra, Simone Tedeschi, Yekun Chai, Jason T Stillerman, Felix Friedrich, Prateek Yadav, Tanmay Laud, Vu Minh Chien, Terry Yue Zhuo, Diganta Misra, Ben Bogin, Xuan-Son Vu, Marzena Karpinska, Arnav Varma Dantuluri, Wojciech Kusa, Tommaso Furlanello, Rio Yokota, Niklas Muennighoff, Suhas Pai, Tosin Adewumi, Veronika Laippala, Xiaozhe Yao, Adalberto Junior, Alpay Ariyak, Aleksandr Drozd, Jordan Clive, Kshitij Gupta, Liangyu Chen, Qi Sun, Ken Tsui, Noah Persaud, Nour Fahmy, Tianlong Chen, Mohit Bansal, Nicolo Monti, Tai Dang, Ziyang Luo, Tien-Tung Bui, Roberto Navigli, Virendra Mehta, Matthew Blumberg, Victor May, Huu Nguyen, Sampo Pyysalo

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Preprint

Debate Helps Weak-to-Strong Generalization

Hao Lang, Fei Huang, Yongbin Li

专题命中 安全评测 ：alignment(abstract,comments)；safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

Comments AAAI2025 Special Track on AI Alignment (Oral presentation)

Can Large Language Models Explain Flight Safety Events? A Prior-Guided Semantic LLM-based Approach

大语言模型能否解释飞行安全事件？一种先验引导的基于语义大语言模型的方法

Lu Xu, Xu Li, Linjiang Zheng, Fan Li, Riquan Zhang, Jiaxing Shang

机构 * College of Computer Science, Chongqing University（重庆大学计算机学院） ； Sichuan Flight Engineering Technology Research Center, Civil Aviation Flight University of China（中国民航飞行学院四川飞行工程技术研究中心） ； School of Statistics and Data Science, Shanghai University of International Business and Economics（上海对外经贸大学统计与数据科学学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 本研究针对飞行安全事件解释难题，提出FlightLLM方法，结合特征工程、语义离散化、CatBoost先验引导及对比小样本学习等技术，在704个A320飞行样本上实现了良好分类与合理事件原因解释。

Comments 14 pages, 6 figures, submitted to IEEE Transactions on Intelligent Transportation Systems

HarnessRisk: A Lifecycle-Oriented Benchmark for Agent Harness Safety

HarnessRisk：面向生命周期的智能体管控安全基准

Yajing Bai, Jinhao Duan, Jie Peng, Xianfeng Wu, Sijia Liu, Song Wang, Tianlong Chen

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 研究提出面向生命周期的智能体管控安全基准HarnessRisk，含128个沙箱案例，评估多模型与管控配置的安全表现，发现管控配置阶段最易受攻击，明确风险识别未必带来安全行动，凸显多维度评估智能体安全的必要性。

Comments Project Page: this https URL (https://baiyajing.github.io/harness-risk/)

Orphan risks at the frontier of artificial intelligence: What diverging safety and compliance frameworks reveal about how AI companies choose the risks they prioritize

人工智能前沿的孤儿风险：不同的安全与合规框架揭示了AI公司如何选择其优先处理的风险

Andrew D. Maynard

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CY

AI总结 本文对比四家前沿AI公司2023-2026年的安全合规文件，识别出其风险选择的四个筛选标准，提出“安全差异”概念，揭示了孤儿风险的成因及轻量应对工具。

Comments 21 pages, 40 references

Representation Signatures and Risk-Feedback Alignment in LLM Trading Agents

表示签名与LLM交易智能体中的风险反馈对齐

Weicheng Xue

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

AI总结 通过TradeArena测试平台研究LLM交易智能体在金融决策中的行为对齐与表示动态，发现故障前表示签名（规划嵌入漂移、流形有效秩收缩）并验证风险反馈作为外部对齐信号的有效性。

The "Knowledge-Behavior Gap" in Cultural Taboo Safety of Large Language Models

大语言模型在文化禁忌安全方面的“知识-行为差距”

Ying He, Sihang Jiang, Xingzhou Chen, Zhouhong Gu, Yiwei Gu, Minggui He, Shimin Tao, Hongxia Ma, Yanghua Xiao

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机与人工智能学院） ； Huawei（华为） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 针对大语言模型文化禁忌安全评估的现有基准存在不足，本文推出首个公开基准CulShield，发现先进LLMs存在“知识-行为差距”，且语言语境变化会影响其文化禁忌安全。

From Safety Documentation to Safety Knowledge Support: An Evidence-Grounded LLM Framework for Medical Devices

从安全文档到安全知识支持：面向医疗器械的基于证据的大语言模型框架

Tuhinangshu Gangopadhyay, Rasmus Adler, Peter Liggesmeyer, Jan Reich

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 针对现有LLM在医疗器械安全工程中源链接等支持不足的问题，本文提出基于证据的LLM框架，用于安全知识支持，不做安全判定，还给出对应评估策略。

Comments ISSRE 2026, AISQ, 8 pages

ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents

ActBench：协作智能体行为安全的自演进基准

Hongwei Yao, Yiming Liu, Meihui Chen, Jieling Chen, Zikun Chen, Yiling He, Wangze Ni, Cong Wang, Kui Ren

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出自演进行为安全基准ActBench，结合奖励引导束搜索与双证据验证机制，评估协作智能体风险，在24000条轨迹上测试15个LLM和6个开源智能体，发现模型间攻击成功率差异更大。

Comments Benchmark and Code is available https://github.com/zjuicsr/ActBench

Illusion of Alignment: Detecting Hidden Disagreement in Collaborative Dialogue

对齐的错觉：检测协同对话中的隐藏分歧

Kaiming Liu, Fuwen Luo, Ziyue Wang, Jinrui Ju, Yuxuan Liu, Xuanyu Lei, Yunghwei Lai, Peng Li, Yang Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； Institute for AI, Tsinghua University（清华大学人工智能研究院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 本研究针对协同对话中存在的对齐的错觉（IoA）问题，构建IoA-Suite数据集，训练IoA-Prober-8B模型检测隐藏分歧，该模型可揭示真人会议中未表达的分歧，还能提升多智能体协作的下游任务性能。

InfoOps Bench: A live information operations safety benchmark

InfoOps Bench：实时信息行动安全基准

Dorian Quelle, Lisa-Maria Neudert, Jonathan Bright, John Gallacher

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出实时信息行动安全基准InfoOps Bench，测试17个前沿语言模型抵御国家支持信息行动的能力，发现多数模型可被利用，中国开发模型对涉华事实主张合规性显著下降，凸显模型可用性与安全性的平衡挑战。

Representation-driven Endoscopic Visual Embedding Alignment for Latent Generation

面向隐空间生成的表征驱动型内窥镜视觉嵌入对齐

Francisco Caetano, Tim J. M. Jaspers, Haiko Middeljans, Martijn R. Jong, Rixta A. H. van Eijck van Heslinga, Floor Slooter, Albert J. de Groof, Jacques J. Bergman, Peter H. N. De With, Fons van der Sommen

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； Amsterdam University Medical Centers（阿姆斯特丹大学医学中心） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 本研究针对内窥镜生成模型的领域差距与计算成本问题，提出REVEAL模型，基于500万帧内窥镜数据训练，在多任务中性能优于同类模型，为临床智能工具开发提供基础。

Comments Accepted at the DCA-MI Workshop (ECCV 2026)

HarnessSafe: Evaluating Safety Across Persistent Carriers in Agent Harnesses

HarnessSafe：评估智能体框架中持久载体的安全性

Xiao Zhang, Yusheng Wang, Yuhao Fei, Dongyuan Li, Zian Liang, Liuyu Xiang, Hongxun Gu, Zhaofeng He

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 HarnessSafe基准含7类持久载体的328个可执行案例，通过追踪攻击链的多阶段评估，揭示智能体框架中安全遏制效果的载体特异性及框架-模型配置的重要性。

Comments 21 pages, 3 figures. Preprint

ForesightSafety-SAGE:A Fully Automated Scenario Generation and Safety Evaluation Framework for LLM Agents

VESTA: 一种全自动的LLM智能体场景生成与安全评估框架

Lu Jia, Haibo Tong, Feifei Zhao, Jindong Li, Dongqi Liang, Ping Wu, Qian Zhang, Yi Zeng

机构 * BrainCog AI Lab, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所类脑人工智能实验室） ； Beijing Institute of AI Safety and Governance (Beijing-AISI)（北京人工智能安全与治理研究院） ； Beijing Key Laboratory of Safe AI and Superalignment（北京市安全人工智能与超级对齐重点实验室） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Long-term AI（长期人工智能） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 提出VESTA框架，基于五个风险维度自动生成1072个可执行场景，评估12个LLM智能体在任务执行中的行为安全风险，平均攻击成功率达47.1%。

Trustworthy Agent Network: Trust in Agent Networks Must Be Baked In, Not Bolted On

可信代理网络：在代理网络中，信任必须被内置，而非事后添加

Yixiang Yao, Yuhang Yao, Xinyi Fan, Jiechao Gao, Jie Wang, Minjia Zhang, Srivatsan Ravi, Carlee Joe-Wong

机构 * University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） 纠错

专题命中 安全评测 ：trustworthy(title)；alignment(abstract)；分类 cs.AI

AI总结 本文探讨了在代理网络中信任必须被内置而非事后添加的问题，提出了一个综合的概念框架，通过四个设计支柱来建立代理网络中的信任。

Comments Accepted at SIGKDD 2026 Blue Sky Ideas Track

Align-RAG: Alignment Is All You Need for TSFM In-Context Learning

Align-RAG：TSFM上下文学习的全部需求在于对齐

Mohammad Asadi, Soheil Hor, Bardiya Akhbari, Jack W. O'Sullivan, Tahoura Nedaee, Layne C. Price, Raviteja Anantha, Euan Ashley, Ehsan Adeli

机构 * Stanford University（斯坦福大学） ； Amazon（亚马逊公司） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

AI总结 提出无需训练的Align-RAG方法，通过闭式对齐检索窗口，在冻结TSFM上提升检索增强预测性能，证明冻结TSFM可动态整合检索结果，闭式对齐可作为默认基线。

From Sports to Safety: Benchmarking Proactive Risk Inference in MLLMs

从运动到安全：多模态大语言模型（MLLM）主动风险推理基准测试

Jiawei Qiu, Yichen Xu, Jianzhe Ma, Mingyang Yu, Wenbin Zhu, Yang Han, Pinzheng Lv, Wenxuan Wang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

AI总结 该研究构建了运动主动风险推理基准SPRINT，评估发现当前MLLM危险感知率高但原因识别率低，仅具备表层主动安全能力，缺乏稳定的基于原因的早期预警。

Comments Preprints

CoPlan: A Trustworthy Co-Intelligence Interface for Care Planning through Role-Based Contestable Argument Graphs

CoPlan：一种基于角色可争议论证图的可信协同智能照护规划界面

Hung Truong Thanh Nguyen, Hélène Fournier, Piper Jackson, Makoto Itoh, Shannon Freeman, Rene Richard, Hung Cao

机构 * University of New Brunswick（新不伦瑞克大学） ； National Research Council Canada（加拿大国家研究委员会） ； Thompson Rivers University（汤普森河大学） ； ISB Corporation（ISB公司） ； University of Northern British Columbia（北英属哥伦比亚大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 本研究提出CoPlan界面，通过多智能体工作流结合协同智能与可争议性，实现人机协同照护规划，保留人类自主性与临床问责制，已在就地养老场景中验证其有效性。

Comments Accepted at the 2026 International Conference on Next Generation AI Systems (NGEN-AI 2026)

NSF-HRPT: Neural Semantic Field meets Hierarchical Risk Perception Tree for Safety-Critical Scenario Assessment

NSF-HRPT：神经语义场结合分层风险感知树的安全关键场景评估方法

Yu Zhao, Jiangyu Pan, Tao Hu, Ming Yin, Fan Yang, Jiangfan Liu, Xiubo Liang

机构 * Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究提出NSF-HRPT框架，结合神经语义场与分层风险感知树，引入Sim2Real策略，实现单目视觉输入下安全关键场景的高效风险评估，在合成与现实数据集上均取得优异性能。

Comments 13 pages, 5 figures