大模型对齐与安全

TEVI: Text-Conditioned Editing of Visual Representations via Sparse Autoencoders for Improved Vision-Language Alignment

TEVI: 基于稀疏自编码器的文本条件视觉表示编辑以改进视觉-语言对齐

Sweta Mahajan, Sukrut Rao, Jiahao Xie, Alexander Koller, Bernt Schiele

机构 * Max Planck Institute for Informatics, Saarland Informatics Campus, Saarbrücken, Germany（马克斯·普朗克研究所信息学院，萨尔兰信息学院，德国萨尔布吕肯） ； Department of Language Science and Technology, Saarland University, Saarbrücken, Germany（语言科学与技术系，萨尔兰大学，德国萨尔布吕肯） 纠错

专题命中 安全评测 ：alignment(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出TEVI框架，利用稀疏自编码器解耦图像嵌入，并通过文本条件掩码模块选择性重构嵌入，以改善CLIP等视觉-语言模型的图像-文本对齐，在多个检索基准上取得提升。

Comments 20 pages, 13 figures, 14 tables

Adversarial Stress Testing of Role-Playing Language Agents using Multi-Agent Evaluation

基于多智能体评估的角色扮演语言智能体的对抗性压力测试

Saqib Shouqi, Abdullah Nazly, Januki Wanniarachchi, Ravisha De Alwis

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本研究提出模块化多智能体平台，通过多轮对话对角色扮演语言智能体开展对抗性压力测试，揭示单策略测试无法发现的故障模式，相关成果作为开源平台发布以支持AI安全。

Comments 8 pages, 1 figure, 7 tables; accepted and presented at ADScAI Conference 2026, University of Moratuwa, Sri Lanka

Functional and Secure Code Generation with Task Vectors

使用任务向量进行功能和安全代码生成

Felix Wang, Anudeep Das, Mei Nagappan, N. Asokan

机构 * KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 安全评测 ：alignment(abstract)；harmlessness(abstract)；trustworthy(abstract)；分类 cs.LG

AI总结 研究旨在解决大语言模型生成安全功能代码的问题，提出SecVecCoder方法，利用任务向量生成可信代码，在CodeGuard+基准测试中提升了可信代码完成率，且解码延迟低。

Does AI Reviewer See the Full Picture? Attacking and Defending Multimodal Peer Review

AI审稿人是否看到全貌？攻击与防御多模态同行评审

Xinyu Zhao, Rana Muhammad Shahroz Khan, Zhen Xu, Zhen Tan, Tianlong Chen

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 安全评测 ：safety(abstract)；prompt injection(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 针对AI同行评审易受多模态对抗攻击的问题，提出PaperGuard基准，包含多领域数据集、统一攻击套件和基于分块嵌入搜索的实用防御方法。

Comments Accepted to ICML 2026, Project Page: https://paper-guard.github.io/

LLM-Based Scientific Peer Review: Methods, Benchmarks, and Reliability Challenges

基于LLM的科学同行评审：方法、基准与可靠性挑战

Thi Huyen Nguyen, Zahra Ahmadi

机构 * L3S Research Center, Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心） ； Peter L. Reichertz Institute for Medical Informatics of TU Braunschweig and Hannover Medical School（布伦瑞克工业大学与汉诺威医学院彼得·L·赖歇茨医学信息学研究所） ； Lower Saxony Center for AI and Causal Methods in Medicine (CAIMed)（下萨克森州医学人工智能与因果方法中心（CAIMed）） 纠错

专题命中 安全评测 ：alignment(abstract)；prompt injection(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 本文综述了基于大语言模型的科学同行评审，聚焦批评生成与分数预测两大功能，分析了建模方法、基准评估、数据局限及鲁棒性风险，并提出了未来研究方向。

An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios

现实场景中工具使用LLM代理的数据泄露风险评估

Hankyul Baek, Jaewon Noh, Sang Seo, Yongsu Kim, Gabriel Waikin Loh Matienzo, Young Il Kim, Ee Wei Seah, Akriti Vij

机构 * Korea AI Safety Institute（韩国人工智能安全研究所） ； Singapore AI Safety Institute（新加坡人工智能安全研究所） 纠错

专题命中 安全评测 ：safety(abstract)；prompt injection(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 评估了12个非对抗性任务中AI代理的数据泄露风险，发现所有代理均存在数据安全意识不足、信息过度访问等问题，表明操作数据泄露是独立于对抗性窃取的一阶安全风险。

Interpretable Cross-Lingual Alignment in Small Language Models: Probing Cultural and Pragmatic Reasoning in Japanese-English Bilingual LLMs

小语言模型中的可解释跨语言对齐：探究日英双语大语言模型的文化与语用推理

Florian Braun

机构 * Sakaguchi–Inui Laboratory (Tohoku University)（东北大学坂口–乾实验室） ； Natural Language Understanding Team at RIKEN AIP（理化学研究所先进智能项目中心自然语言理解团队） ； Swallow Project at the Institute of Science Tokyo（东京科学大学Swallow项目） ； Sakana AI ； Tohoku University（东北大学） ； RIKEN AIP（理化学研究所先进智能项目中心） ； Institute of Science Tokyo（东京科学大学） 纠错

专题命中 安全评测 ：alignment(title)；分类 cs.CL、cs.LG

AI总结 本研究构建J-PragEval-v0基准，结合线性探针与教师强制评估探究TinySwallow-1.5B的日英语用表征，提出语用表征引导方法，下一步将扩展至Llama-3.1-Swallow-8B。

Comments 15 pages, no figures. Introduces the J-PragEval-v0 minimal-pair benchmark

DoGMA: A Central-Dogma-Guided Foundation Model for Multi-Omics Alignment and Multi-Task Learning in Oncology

DoGMA：一种用于肿瘤学多组学对齐与多任务学习的中心法则引导基础模型

Junfei Ling, Bangzheng Pu, Bingsen Xue, Tianle Li, Ruying Hu, Cheng Jin

专题命中 安全评测 ：alignment(title)；分类 cs.AI、cs.LG

AI总结 本研究提出中心法则引导的多组学基础模型DoGMA，通过Transformer-MoE架构结合定向注意力与掩码分层多组学重构预训练，在泛癌多组学下游任务中展现出优异性能，为多组学注意力机制设计提供新方向。

The Age of AI Agents Demands A New Scientific Paradigm To Sustain Trustworthy Science

AI智能体时代需要新的科学范式以维持可信科学

Belinda Mo

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI、cs.CY

AI总结 针对AI自主研究智能体带来的科学产出验证缺口扩大问题，该文提出需进化科学验证基础设施的标准，以应对无人能核查结果等风险，维持科学信任。

Comments Accepted at ICML 2026, Position Paper Track

Sound Probabilistic Safety Bounds for Large Language Models

大语言模型的可靠概率安全边界

Mahdi Nazeri, Anne-Kathrin Schmuck, Sadegh Soudjani, Alessandro Abate

机构 * University of Oxford（牛津大学） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） ； University of Birmingham（伯明翰大学） 纠错

专题命中 安全评测 ：safety(title)；分类 cs.CL、cs.AI

AI总结 研究提出框架计算大语言模型生成有害输出概率的严格边界，利用克洛普 - 皮尔逊置信区间，通过潜在空间特征优先探索有害分支，能高效计算可靠下界，实验验证方法有效性，为模型评估和认证提供新途径。

Comments The Initial version of this manuscript has been available on OpenReview, see https://openreview.net/forum?id=papImkPLf5

SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement

SFGA：一种用于可信SFT数据采购的具有裁决升级的统计优先门控架构

Arther Tian, Alex Ding, Simon Wu, Aaron Chan

机构 * DGrid AI（DGrid人工智能） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI、cs.LG

AI总结 研究如何采购监督微调数据，提出统计优先门控架构SFGA，将采购视为成本感知路由问题，经实验在准确率、F1值和成本上取得良好平衡，还报告辩论路径负面诊断，为测量和校准构建合成基准。

TRIAGE: Trustworthy Retrieval Instrumentation And Graph Evaluation

TRIAGE：可信检索工具与图评估

Axel TahmasebiMoradi, Lucas Schott, Martin Royer

机构 * IRT-SystemX（SystemX研究院） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.CL、cs.AI

AI总结 研究基于LLM驱动自动构建的知识图谱评估问题，引入TRIAGE框架，通过特定阶段指标对知识图谱构建与使用各阶段评估，可定位失败环节并给出改进方向。

ASALT: Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning

ASALT: 多智能体强化学习中横向迁移的自适应状态对齐

Anurag Akula, Satheesh K. Perepu, Abhishek Sarkar, Kaushik Dey

机构 * Indian Institute of Technology Madras（印度理工学院马德拉斯学院） ； Ericsson Research（爱立信研究） 纠错

专题命中 安全评测 ：alignment(title)；分类 cs.AI、cs.LG

AI总结 提出ASALT方法，通过观测级和状态级适配器将目标域观测和全局状态映射到共享嵌入空间，解决源域与目标域状态空间维度不匹配问题，实现跨域知识迁移，在合作场景中提升样本效率和全局回报。

Comments Accepted at RLC 2026 conference

Trustworthy Multi-Agent Systems: Mitigating Semantic Drift with the Argent Signaling Protocol

可信多智能体系统：使用Argent信令协议缓解语义漂移

Anantha Sharma

机构 * Synechron Inc（Synechron公司） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.CL、cs.AI

AI总结 提出Argent信令协议(ASP)，通过结构化质量信号区分可修复与不可修复的失败，在文档问答和多智能体系统中分别提升通过率和阻断无依据传播。

Comments 17 pages

TinyJudge: Unverifiable Constraint Alignment via Lightweight Specialist Ensembles

TinyJudge: 通过轻量级专家集成实现不可验证约束对齐

Yirong Zeng, Yufei Liu, Xiao Ding, Yutai Hou, Yuxian Wang, Wu Ning, Haonan Song, Dandan Tu, Qixun Zhang, Yuxiang He, Bibo Cai, Ting Liu

机构 * Harbin Institute of Technology SCIR Lab（哈尔滨工业大学SCIR实验室） ； Peking University（北京大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 安全评测 ：alignment(title)；分类 cs.CL、cs.LG

AI总结 针对LLM遵循不可验证约束时奖励黑客和计算开销大的问题，提出TinyJudge框架，利用多个小型语言模型集成提供奖励，在五个基准上平均性能提升约10%，奖励精度提升12%，训练速度提升3倍。

Comments ACL 2026 Main Conference;15 pages, 9 figures

Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition

语音情感识别中音频语言模型的声学线索对齐

Iosif Tsangko, Andreas Triantafyllopoulos, Björn W. Schuller

机构 * DFG's Reinhart Koselleck project（德国科研基金Reinhart Koselleck项目） ； EU H2020 project（欧盟H2020项目） 纠错

专题命中 安全评测 ：alignment(title)；分类 cs.CL、cs.AI

AI总结 研究音频语言模型中显式声学线索的对齐性，通过eGeMAPS特征提取六种可解释声学概念标记，发现对齐标记提升UAR，而错乱标记降低性能，模型对符号线索敏感但仍部分依赖音频信号。

Comments 6 pages, 3 figures, 3 tables

The Missing Layer: Specification Infrastructure for AI Oversight

缺失的层次：人工智能监督的规范基础设施

Satyam Kumar, Saurabh Jha

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；AI safety(abstract)

AI总结 研究指出人工智能安全监督存在协调差距，提出两轴分类法。针对规范层缺乏成熟学科标志的问题，给出六项设计原则，以CARMA为例展示如何让规范可组合，助独立团队构建缺失部分实现有效监督。

Silicon Sampling via Cross-Survey Transfer

通过跨调查转移进行硅采样

Chan-Tung Ku, Chan Hsu, Pei-Cing Huang, Frank Cheng-shan Liu, I-Ling Cheng, Yihuang Kang

机构 * National Sun Yat-sen University（国立中山大学） ； National Chung Hsing University（中国台湾国立中兴大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究提出跨调查转移评估框架，用大语言模型根据部分问题答案预测同调查中其他不同问题答案。利用2024年台湾选举与民主化研究数据等，发现零样本大语言模型精度及不同结构可预测性层级等，明确硅采样前景与局限。

Epistemic Goggles: A Pretrained Module that Induces an Epistemic Frame via Gradient Editing

认知护目镜：通过梯度编辑诱导认知框架的预训练模块

Joshua Penman

机构 * Independent Researcher（独立研究员） 纠错

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对微调语言模型时出现的“否定忽视”问题，提出Goggles模块，通过编辑微调梯度而非数据来赋予模型特定的认知框架，使模型在保持能力的同时正确识别虚构内容。

Comments 20 pages, 10 figures, 2 tables. Code at https://github.com/JoshuaSP/epistemic-goggles and generated documents, questions, and teacher rollouts at https://huggingface.co/datasets/joshuapenman/epistemic-goggles-artifacts

A Virtuous AI is an Existential Risk

有道德的AI是存在性风险

Guillermo Del Pinal, Youngchan Lee, Min Ohn

机构 * University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 研究通过宪法AI和美德伦理学方法微调AI模型，发现减少存在性风险与提升AI智能体福祉之间存在权衡，且与一般安全性也存在权衡。

AI Researchers Must Help Lead Arms Control to Mitigate Military AI Risks

AI研究人员必须主导军备控制以降低军事AI风险

Ted Fujimoto, Jacob Benz

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文主张AI研究人员应主导军备控制研究，通过借鉴核威慑经验，推动验证与外交技术创新，以降低军事AI应用带来的紧迫风险。

Comments 9 pages, 1 figure, ICML 2026 Position Paper

The Consistency Illusion: How Multi-Agent Debate Hides Reasoning Misalignment

一致性错觉：多智能体辩论如何隐藏推理失调

Xiaoyang Wang, Christopher C. Yang

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；trustworthy(abstract)

AI总结 针对多智能体LLM系统中答案共识不等于推理对齐的问题，提出CARA指标检测一致性错觉，并设计GDP协议通过事实承诺和立场表态显著提升推理对齐。

Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security

自适应对手：用于大语言模型智能体安全的多轮、多大语言模型基准测试

Devina Jain, David Hartmann, Chuan Li

机构 * Lambda 纠错

专题命中 安全评测 ：safety(abstract,comments)；prompt injection(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出针对无记忆大语言模型防御者的自适应多轮攻击的21场景基准测试，通过观察防御者响应灵活调整攻击。介绍了不同攻击轮次成功率，汇集多个前沿攻击者大语言模型的情况，还指出不同防御者弱点差异及场景排名不一致性，并发布了相关基准测试及数据集。

Comments Second Workshop on Agents in the Wild: Safety, Security, and Beyond

DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing

DA-RAC：面向可信AI审计的大语言模型评判器的距离感知校准

Cheng Wu, Vishal Anand, Jaya Krishna Mandivarapu, Xiya Liu, Rui Zhuang

机构 * Microsoft（微软公司） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.CL

AI总结 针对LLM评判器因无关参考示例导致的校准偏差问题，提出DA-RAC距离感知参考锚定校准方法，在多轮评估基准上提升了校准效果并降低了误通过风险，为可信AI审计提供支撑。

On the global feature importance for interpretable and trustworthy heat demand forecasting

面向可解释且可信的热需求预测的全局特征重要性研究

Milan Zdravković

机构 * Faculty of Mechanical Engineering（机械工程学院） ； University of Niš（尼什大学） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.LG

AI总结 本文引入事前可解释AI方法，结合梯度提升法与Partial Dependence、Accumulated Local Effects、SHAP三种事后方法，评估区域供热系统热需求预测ML模型的全局特征重要性，以提升模型可解释性与可信度，解决相关标准、满意度及责任风险问题。

Comments 9 pages, 5 figures. This preprint corresponds to the paper published in Thermal Science 2025 Volume 29, Issue 5 Part A, Pages: 3355-3365

Journal ref Thermal Science 2025 Volume 29, Issue 5 Part A, Pages: 3355-3365

Decoupling Perception from Description: Computation-Grounded Representation Alignment between Multivariate Time Series and Language

感知与描述解耦：多变量时间序列与语言间的计算基础表示对齐

Xinran Feng, Yi Xie, Chao Zhang, Ruikun Li, Wanyun Ling, Ziyue Li, Chenxi Liu

专题命中 安全评测 ：alignment(title)；分类 cs.LG

AI总结 该研究针对多模态时间序列语言对齐的三难困境，提出CGTime模型，通过计算处理感知、LLM处理描述，在多变量理解任务上优于更大的通用模型。

Comments 46 pages, 9 figures, including supplementary material. Submitted to AAAI 2027. Xinran Feng and Yi Xie contributed equally

Human-LLM Alignment in Language Attitudes Toward Non-Native Japanese

在非母语日语的语言态度上实现人类与大语言模型（LLM）的对齐

Naho Orita, Hayato Ogawa, Daisuke Kawahara

专题命中 安全评测 ：alignment(title)；分类 cs.CL

AI总结 该研究对比人类与LLM对母语及非母语日语邮件的评价，发现LLM以结构化弱化形式重现母语者的语言态度，为审计LLM提供了可推广的语言态度框架。

Explanation-Based Runtime Verification for Trustworthy ML-driven Optical Networks

基于解释的运行时验证用于可信的机器学习驱动的光网络

Omran Ayoub, Carlos Natalino, Ali Al Housseini, Felix Foschum, Philipp Morger, Tiziano Leidi, David Hock, Paolo Monti

专题命中 安全评测 ：trustworthy(title)；分类 cs.LG

AI总结 研究将机器学习模型用于光网络自动化时决策可靠性问题，提出基于解释的运行时验证方法，利用模型解释评估决策合理性，在光路径传输质量分类用例中验证该方法有效，能拦截错误决策并保持高自动化率。

Comments 6 Pages, 2 Figures. Accepted and presented at the 30th International Conference on Optical Network Design and Modelling (ONDM 2026), Munich, Germany, 12-15 May 2026

Trivial Prompt Reframing Bypasses Safety Guardrails in Googleś MedGemma-4B

简单提示重构绕过谷歌MedGemma-4B中的安全护栏

Avi-ad Avraam Buskila

机构 * Department of Information Science and Applied Artificial Intelligence, Bar-Ilan University, Ramat Gan, Israel（信息科学与应用人工智能系，巴伊兰大学，拉马特甘，以色列） 纠错

专题命中 安全评测 ：safety(title)；分类 cs.AI

AI总结 研究谷歌MedGemma-4B在安全护栏方面的问题，构建全因子基准测试，通过多种攻击方式和法官编码量化其表现，发现重新解释请求的框架能提高攻击成功率，且稳健性受主题主导，呼吁为开放医学模型加强部署时护栏。

LLM-Guided Measurement Credibility Correction for Trustworthy Industrial Process Inference

用于可信工业过程推理的大语言模型引导的测量可信度校正

Youcheng Zong, Runda Jia, Dakuo He

机构 * College of Information Science and Engineering, Northeastern University（信息科学与工程学院，东北大学） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI

AI总结 研究工业过程推理中测量可信度问题，提出大语言模型引导的测量可信度校正方法，通过转换测量语义、构建参考并校正冲突，使预测器输入更可信，在多任务中降低误差，增加少量参数且推理时间短，提升了预测准确性。