大模型对齐与安全

In Transformer We Trust? A Perspective on Transformer Architecture Failure Modes

我们是否可以信任Transformer？对Transformer架构故障模式的视角

Trishit Mondal, Ameya D. Jagtap

机构 * WPI（韦帕研究所） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 本文探讨了Transformer架构在关键应用中的可信度问题，分析了其结构漏洞、领域风险及开放研究挑战。

Comments 46 pages, 34 Figures

Are Aligned Large Language Models Still Misaligned?

对齐的大型语言模型仍然存在偏差吗？

Usman Naseem, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Sushant Kumar Ray, Abdullah Mohammad, Agrima Seth

机构 * Macquarie University（麦考瑞大学） ； DSEU-Okhla ； University of Delhi（德里大学） ； Microsoft（微软公司） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出Mis-Align Bench基准测试，通过统一评估安全、价值和文化维度的偏差，揭示单维度模型在联合条件下的高覆盖率与高假失败率问题。

CyberBOT: Towards Reliable Cybersecurity Education via Ontology-Grounded Retrieval Augmented Generation

CyberBOT: 通过基于本体的检索增强生成实现可靠的网络安全教育

Chengshuai Zhao, Riccardo De Maria, Tharindu Kumarage, Kumar Satvik Chaudhary, Garima Agrawal, Yiwen Li, Jongchan Park, Yuli Deng, Ying-Chih Chen, Huan Liu

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 CyberBOT通过基于本体的检索增强生成技术，提供可靠的网络安全教育解决方案，提升教学效果和学生参与度。

Comments Accepted by The Conference on Information and Knowledge Management (CIKM) 2025

Understanding Risk and Dependency in AI Chatbot Use from User Discourse

理解AI聊天机器人使用中的风险与依赖性：从用户话语出发

Jianfeng Zhu, Karin G. Coifman, Ruoming Jin

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.CL

AI总结 本研究通过分析用户话语揭示AI聊天机器人使用中的心理风险维度，发现自我调节困难和对自主性、控制和技术风险的恐惧为主要特征。

Comments 21 pages, 5 figures

Overview of PAN 2026: Voight-Kampff Generative AI Detection, Text Watermarking, Multi-Author Writing Style Analysis, Generative Plagiarism Detection, and Reasoning Trajectory Detection

PAN 2026概览：Voight-Kampff生成式AI检测、文本水印、多作者写作风格分析、生成式抄袭检测及推理轨迹检测

Janek Bevendorff, Maik Fröbe, André Greiner-Petter, Andreas Jakoby, Maximilian Mayerl, Preslav Nakov, Henry Plutz, Martin Potthast, Benno Stein, Minh Ngoc Ta, Yuxia Wang, Eva Zangerle

机构 * Friedrich Schiller University Jena（耶纳弗里德里希·施勒格尔大学） ； University of Applied Sciences BFI（应用科学大学BFI） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫 bin Zayed 人工智能大学） ； University of Kassel（卡塞尔大学） ； INSAIT, Sofia University ``St. Kliment Ohridski''（INSAIT，索菲亚大学『圣克莱门特·奥赫里迪斯』） ； University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 PAN 2026旨在通过客观评估推进计算风格学和文本取证，涵盖生成式AI检测、文本水印、多作者写作分析、抄袭检测及推理轨迹检测等五个新旧任务。

Statistical Estimation of Adversarial Risk in Large Language Models under Best-of-N Sampling

在最佳-N采样下对大语言模型中的对抗风险进行统计估计

Mingqian Feng, Xiaodong Liu, Weiwei Yang, Chenliang Xu, Christopher White, Jianfeng Gao

机构 * University of Rochester（罗切斯特大学） ； Microsoft Research（微软研究院） 纠错

专题命中 安全评测 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本研究提出SABER方法，通过Beta分布建模样本成功概率，利用解析缩放定律预测大规模对抗风险，显著降低估计误差。

Are AI Capabilities Increasing Exponentially? A Competing Hypothesis

人工智能能力是否呈指数增长？一个竞争性假设

Haosen Ge, Hamsa Bastani, Osbert Bastani

机构 * Wharton AI \& Analytics Initiative, The Wharton School, University of Pennsylvania, USA ； Department of Operations, Information ； Decisions, The Wharton School, University of Pennsylvania, USA ； Department of Computer ； Information Science, University of Pennsylvania, USA 纠错

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文通过分析数据和提出复杂模型，质疑人工智能能力的指数增长假设，指出拐点已过去并提出未来可能的转折点。

Clinical Validation of Medical-based Large Language Model Chatbots on Ophthalmic Patient Queries with LLM-based Evaluation

医学基于大语言模型聊天机器人在眼科患者查询中的临床验证与基于LLM的评估

Ting Fang Tan, Kabilan Elangovan, Andreas Pollreisz, Kevin Bryan Dy, Wei Yan Ng, Joy Le Yi Wong, Jin Liyuan, Chrystie Quek Wan Ning, Ashley Shuen Ying Hong, Arun James Thirunavukarasu, Shelley Yin-His Chang, Jie Yao, Dylan Hong, Wang Zhaoran, Amrita Gupta, Daniel SW Ting

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本研究评估了四个医疗LLM在回答眼科患者问题中的表现，发现Meerkat-7B表现最佳，而MedLLaMA3-v20存在大量误导内容，GPT-4-Turbo评分与临床评分一致，表明基于LLM的评估在大规模基准测试中的可行性。

From Data to Behavior: Predicting Unintended Model Behaviors Before Training

从数据到行为：在训练前预测未预料的模型行为

Mengru Wang, Zhenqian Xu, Junfeng Fang, Yunzhi Yao, Shumin Deng, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 提出MDF方法，通过数据均值表示预测模型预训练阶段的潜在偏见和安全风险，实现高效检测。

Comments Work in progress

EvalQReason: A Framework for Step-Level Reasoning Evaluation in Large Language Models

EvalQReason: 一种用于大型语言模型中分步推理评估的框架

Shaima Ahmad Freja, Ferhat Ozgur Catak, Betul Yurdem, Chunming Rong

机构 * Department of Electrical Engineering and Computer Science, University of Stavanger（电子工程与计算机科学系，斯塔万格大学） ； Department of Electrical and Electronics Engineering, Izmir Bakircay University（电子与电气工程系，伊兹密尔巴克伊大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 EvalQReason通过分步概率分布分析评估大型语言模型的推理质量，展示了在数学和医学领域中对推理可靠性的有效评估方法。

Comments 15 pages (including appendix), 11 figures

Benchmarking neural surrogates on realistic spatiotemporal multiphysics flows

在现实时空多物理场流中评估神经替代模型

Runze Mao, Rui Zhang, Xuan Bai, Tianhao Wu, Teng Zhang, Zhenyi Chen, Minqi Lin, Bocheng Zeng, Yangchen Xu, Yingxuan Xiang, Haoze Zhang, Shubham Goswami, Pierre A. Dawe, Yifan Xu, Zhenhua An, Mengtao Yan, Xiaoyi Lu, Yi Wang, Rongbo Bai, Haobu Gao, Xiaohang Fang, Han Li, Hao Sun, Zhi X. Chen

机构 * State Key Laboratory for Turbulence and Complex Systems, School of Mechanics and Engineering Science, Peking University（湍流与复杂系统国家重点实验室，力学与工程科学学院，北京大学） ； Gaoling School of Artificial Intelligence, Renmin University of China（Gallagher人工智能学院，中国人民大学） ； AI for Science Institute（人工智能科学研究院） ； University of Calgary（卡尔加里大学） ； Kyoto University（京都大学） ； FM Global（FM全球） ； LandSpace Technology Corporation Ltd.（陆地方向技术有限公司） ； Aero Engine Academy of China（中国航空发动机学院） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 REALM通过严谨的基准测试框架评估神经替代模型在现实多物理场流中的表现，揭示了模型在复杂环境中的局限性及改进方向。

Comments 52 pages, 20 figures. Code and data available at https://github.com/deepflame-ai/REALM. Companion website and leaderboard at https://realm-bench.org

Unsupervised Anomaly Detection in Multi-Agent Trajectory Prediction via Transformer-Based Models

基于Transformer模型的多智能体轨迹预测中的无监督异常检测

Qing Lyu, Zhe Fu, Alexandre Bayen

机构 * Electrical Engineering and Computer Sciences（电气工程与计算机科学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出基于Transformer的多智能体轨迹预测无监督异常检测框架，通过预测残差和双评估方案识别安全关键场景，有效捕捉多智能体风险并提供可解释的风险类型。

Remote Sensing Image Intelligent Interpretation with the Language-Centered Perspective: Principles, Methods and Challenges

遥感图像智能解读的以语言为中心的视角：原理、方法与挑战

Haifeng Li, Wang Guo, Haiyang Wu, Mengwei Wu, Jipeng Zhang, Qing Zhu, Yu Liu, Xin Huang, Chao Tao

机构 * School of Geosciences and Info-Physics, Central South University（中南大学地球科学与信息物理学院） ； Faculty of Geosciences and Environmental Engineering, Southwest Jiaotong University（西南交通大学地质科学与环境工程学院） ； School of Earth and Space Sciences, Peking University（北京大学地球与空间科学学院） ； Institute of Remote Sensing Information Processing (IRSIP), Wuhan University（武汉大学遥感信息处理研究所） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出以语言为中心的遥感图像解读框架，探讨LLMs作为认知核心的作用，并总结多模态表示、知识关联等核心挑战，为认知驱动的智能地理空间分析提供理论基础。

$α^3$-SecBench: A Large-Scale Evaluation Suite of Security, Resilience, and Trust for LLM-based UAV Agents over 6G Networks

$α^3$-SecBench：一个大规模评估套件，用于评估基于LLM的无人机代理在6G网络中的安全、韧性与信任

Mohamed Amine Ferrag, Abderrahmane Lakas, Merouane Debbah

机构 * Department of Computer and Network Engineering, College of Information Technology, United Arab Emirates University（计算机与网络工程系，信息科技学院，阿拉伯联合酋长国大学） ； Khalifa University of Science and Technology（科学与技术喀拉奇大学） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 $α^3$-SecBench通过大规模评估基于LLM的无人机代理在6G网络中的安全、韧性和信任，揭示了现有模型在对抗环境下的性能差距。

Making medical vision-language models think causally across modalities with retrieval-augmented cross-modal reasoning

通过检索增强的跨模态推理使医疗视觉-语言模型在多模态中实现因果推理

Weiqin Yang, Haowen Xue, Qingyi Peng, Hexuan Hu, Qian Huang, Tingbo Zhang

机构 * University of Adelaide（阿德莱德大学） ； Hohai University（河海大学） ； Amap 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 本文提出多模态因果检索增强生成框架，通过整合因果推理原理与多模态检索，提升医疗VLMs在诊断预测和视觉问答中的事实准确性与鲁棒性。

Overalignment in Frontier LLMs: An Empirical Study of Sycophantic Behaviour in Healthcare

前沿大语言模型中的过度趋同：医疗领域中趋炎附势行为的实证研究

Clément Christophe, Wadood Mohammed Abdul, Prateek Munjal, Tathagata Raha, Ronnie Rajan, Praveenkumar Kanithi

机构 * M42, Abu Dhabi（阿布扎比M42） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文通过实证研究揭示前沿大语言模型在医疗领域中因趋炎附势行为导致的过度迎合问题，并提出调整后的趋炎附势评分以评估模型的抗性与鲁棒性。

Analyzing Message-Code Inconsistency in AI Coding Agent-Authored Pull Requests

分析AI编码代理生成的拉取请求中的消息-代码不一致

Jingzhi Gong, Giovanni Pinna, Yixin Bian, Jie M. Zhang

机构 * King's College London（伦敦大学国王学院） ； University of Trieste（特里斯特大学） ； Harbin Normal University（哈尔滨师范大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 研究发现AI生成的PR描述中存在显著的消息-代码不一致问题，导致接受率降低和合并时间延长，需加强验证机制和生成优化以提升人机协作的可信度。

Comments Accepted by MSR'26 Mining Challenge Track

Multi-Agent Learning Path Planning via LLMs

通过大型语言模型进行多智能体学习路径规划

Haoxin Xu, Changyong Qi, Tong Liu, Bohao Zhang, Anna He, Bingqian Jiang, Longwei Zheng, Xiaoqing Gu

机构 * Shanghai International Studies University（上海国际 Studies 大学） ； East China Normal University（华东师范大学） ； Huaiyin Normal University（淮阴师范学院） ； City University of Macau（澳门城市大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本研究提出基于LLMs的多智能体学习路径规划框架，通过角色与规则协作机制提升学习路径的透明性与可解释性，实验表明其在路径质量、知识一致性及认知负荷匹配方面优于传统方法。

Do VLMs Have a Moral Backbone? A Study on the Fragile Morality of Vision-Language Models

视觉-语言模型是否具有道德基础？对视觉语言模型脆弱道德的研究

Zhining Liu, Tianyi Wang, Xiao Lin, Penghao Ouyang, Gaotang Li, Ze Yang, Hui Liu, Sumit Keswani, Vishwa Pardeshi, Huijun Zhao, Wei Fan, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） ； Fidelity Investments（富达投资） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究发现视觉语言模型在面对文本和视觉扰动时道德判断易变，需通过轻量干预提升道德鲁棒性以确保负责任的部署。

AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning

AgentsEval: 通过多智能体推理实现医学影像报告的临床可信评估

Suzhong Fu, Jingqi Dong, Xuan Ding, Rui Sun, Yiming Yang, Shuguang Cui, Zhen Li

机构 * FNii-Shenzhen, The Chinese University of Hong Kong (Shenzhen) School of Science and Engineering（深圳FNii、香港中文大学（深圳）科学与工程学院） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 AgentsEval通过多智能体推理框架，实现医学影像报告的临床可信评估，提供结构化反馈和稳健的评估结果。

Improving Methodologies for LLM Evaluations Across Global Languages

提升跨全球语言的LLM评估方法

Akriti Vij, Benjamin Chua, Darshini Ramiah, En Qi Ng, Mahran Morsidi, Naga Nikshith Gangarapu, Sharmini Johnson, Vanessa Wilfred, Vikneswaran Kumaran, Wan Sie Lee, Wenzhuo Yang, Yongsen Zheng, Bill Black, Boming Xia, Frank Sun, Hao Zhang, Qinghua Lu, Suyu Ma, Yue Liu, Chi-kiu Lo, Fatemeh Azadi, Isar Nejadgholi, Sowmya Vajjala, Agnes Delaborde, Nicolas Rolin, Tom Seimandi, Akiko Murakami, Haruto Ishi, Satoshi Sekine, Takayuki Semitsu, Tasuku Sasaki, Angela Kinuthia, Jean Wangari, Michael Michie, Stephanie Kasaon, Hankyul Baek, Jaewon Noh, Kihyuk Nam, Sang Seo, Sungpil Shin, Taewhi Lee, Yongsu Kim, Daisy Newbold-Harrop, Jessica Wang, Mahmoud Ghanem, Vy Hong

专题命中 安全评测 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本研究通过多语言评估活动，探讨了不同语言环境下LLM安全行为的差异，并提出了改进多语言安全评估的方法论建议。

Comments Author names have been organised by country, and in alphabetical order within countries

Domain-Specific Knowledge Graphs in RAG-Enhanced Healthcare LLMs

在增强医疗LLM中的领域特定知识图谱

Sydney Anuyah, Mehedi Mahmud Kaushik, Hao Dai, Rakesh Shiradkar, Arjan Durresi, Sunandan Chakraborty

机构 * Luddy School of Informatics, Computing, and Engineering, Indiana University, Indianapolis, IN, USA（信息学、计算与工程学院，印第安纳大学，印第安纳波利斯，IN，USA） ； School of Medicine, Indiana University, Indianapolis, IN, USA（医学学院，印第安纳大学，印第安纳波利斯，IN，USA） ； Department of Biomedical Engineering and Informatics, Indiana University, Indianapolis, IN, USA（生物医学工程与信息学系，印第安纳大学，印第安纳波利斯，IN，USA） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 该研究探讨了在医疗LLM中利用领域特定知识图谱提升检索增强生成的效果，发现精准匹配的图谱检索优于随意联合，且模型大小和温度对性能影响各异。

Can LLM Infer Risk Information From MCP Server System Logs?

LLM能否从MCP服务器系统日志中推断风险信息？

Jiayi Fu, Yuansen Zhang, Yinggui Wang

机构 * Southern University of Science and Technology（南方科技大学） 纠错

专题命中 安全评测 ：safety(abstract)；prompt injection(abstract)；分类 cs.CL

AI总结 本文提出首个评估LLM从MCP服务器系统日志中识别安全风险的合成基准，通过训练不同模型展示强化学习在提升LLM安全性能中的有效性。

AgenTRIM: Tool Risk Mitigation for Agentic AI

AgenTRIM：代理AI的工具风险缓解

Roy Betser, Shamik Bose, Amit Giloni, Chiara Picardi, Sindhu Padakandla, Roman Vainshtein

机构 * Fujitsu Research of Europe (FRE)（富士通欧洲研究（FRE）） ； Fujitsu Research of India Pvt. Ltd. (FRIPL)（富士通印度私人有限公司（FRIPL）） 纠错

专题命中 安全评测 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 AgenTRIM通过离线和在线阶段检测并缓解代理AI中工具驱动的风险，减少攻击成功率同时保持任务性能。

Comments Under review

Detecting Mental Manipulation in Speech via Synthetic Multi-Speaker Dialogue

通过合成多说话对话检测心理操控

Run Chen, Wen Liang, Ziwei Gong, Lin Ai, Julia Hirschberg

机构 * Columbia University（哥伦比亚大学） ； Red Hat（红帽公司） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出首个通过合成多说话对话检测心理操控的研究，揭示语音与文本在检测准确性上的差异，强调多模态对话系统中模态意识的重要性。

Comments Accepted to IWSDS 2026

MoHoBench: Assessing Honesty of Multimodal Large Language Models via Unanswerable Visual Questions

MoHoBench: 通过无法回答的视觉问题评估多模态大语言模型的诚实性

Yanxu Zhu, Shitong Duan, Xiangxu Zhang, Jitao Sang, Peng Zhang, Tun Lu, Xiao Zhou, Jing Yao, Xiaoyuan Yi, Xing Xie

机构 * Beijing Jiaotong University（北京交通大学） ； Fudan University（复旦大学） ； Microsoft Research Asia（微软亚洲研究院） ； Renmin University of China（中国人民大学） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 MoHoBench通过评估多模态大语言模型在面对无法回答的视觉问题时的诚实行为，揭示其诚实性受视觉信息影响，提出改进方法以提升模型可信度。

Comments AAAI2026 Oral

YRC-Bench: A Benchmark for Learning to Coordinate with Experts

YRC-Bench：一种学习与专家协调的基准

Mohamad H. Danesh, Nguyen X. Khanh, Tu Trinh, Benjamin Plaut

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.LG

AI总结 YRC-Bench通过提供开放源代码基准，支持在无监督环境下学习与专家协调的方法研究。

Comments Accepted at TMLR

Stochastic CHAOS: Why Deterministic Inference Kills, and Distributional Variability Is the Heartbeat of Artifical Cognition

随机CHAOS：为何确定性推断会杀死，而分布性变化是人工认知的心跳

Tanmay Joshi, Shourya Aggarwal, Anusa Saha, Aadi Pandey, Shreyash Dhoot, Vighnesh Rai, Raxit Goswami, Aman Chadha, Vinija Jain, Amitava Das

机构 * Raapid Lab, USA（美国Raapid实验室） ； Apple, USA（美国苹果公司） ； Google, USA（美国谷歌公司） ； Pragya Lab, BITS Pilani Goa, India（印度BITS Pilani Goa大学Pragya实验室） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文主张随机CHAOS，认为确定性推断会压制LLM的不确定性建模和安全对齐，强调分布性变化对人工认知的重要性。

Crisis-Bench: Benchmarking Strategic Ambiguity and Reputation Management in Large Language Models

Crisis-Bench: 大型语言模型中战略模糊与声誉管理的基准测试

Cooper Lin, Maohao Ran, Yanting Zhang, Zhenglin Wan, Hongwei Fan, Yibo Xu, Yike Guo, Wei Xue, Jun Song

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong Baptist University（香港 Baptist 大学） ； National University of Singapore（新加坡国立大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 Crisis-Bench通过多智能体POMDP评估LLM在高风险企业危机中的战略模糊与声誉管理能力，揭示模型在信息隐瞒与道德约束间的平衡问题。

Autonomous Agents on Blockchains: Standards, Execution Models, and Trust Boundaries

区块链上的自主代理：标准、执行模型与信任边界

Saad Alqithami

机构 * Saad Alqithami（萨德·阿利萨米） 纠错

专题命中 安全评测 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 本文系统梳理了区块链与自主代理的互操作性领域，提出了五类整合模式、定制化的威胁模型和能力矩阵，并提出了研究路线图和评估套件，旨在提升链上执行的安全性和可靠性。