大模型对齐与安全

Adversarial Pragmatics for AI Safety Evaluation: A Diagnostic Framework and Seed Benchmark for Language-Mediated Control

面向AI安全评估的对抗语用学：指令冲突、嵌入命令与策略模糊性基准

Brett Reynolds

机构 * Humber Polytechnic（汉博理工学院） ； University of Toronto（多伦多大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；AI safety(title)；分类 cs.CL、cs.AI

AI总结 提出对抗语用学基准和标注协议，通过语言学控制的分类法评估模型在指令冲突、嵌入命令等场景下的行为，为安全评估提供实证和方法论工具。

Comments 32-page main paper plus 13-page supplement; 6 figures and 17 tables total; code and data artifact available at the linked repository

Towards Trustworthy Embodied Intelligence: A Systems Framework and Graded Trustworthiness Levels

面向可信赖的具身智能：一个系统框架与分级可信赖性水平

Xinyu Yang, Tianxing Chen, Honghao Su, Minxuan Wang, Chenze Yu, Zhangzheng Tu, Yue Chen, Yuxiao Huo, Lingfeng Zhang, Yan Huang, Yan Qin, Shaolong Zhu, Qiwei Liang, Hekun Tian, Shujia Liu, Guangyu Chen, Junhao Gong, Zixuan Li, Wenwei Lin, Zijian Lin, Wenxuan Zhu, Eric J Chen, Yue Yuan, Qize Yu, Jiaqi Liang, Haowen Yan, Hengfei Zhao, Weijie Wan, Zikun Xiao, Junyuan Tang, Baijun Chen, Kai-Chong Lei, Kaixuan Wang, Kailun Su, Zanxin Chen, Yao Mu, Renjing Xu, Chuqiao Lyu, Qi Xiong, Ping Luo, Wenbo Ding

机构 * THU（清华大学） ； PKU（北京大学） ； HKUST (GZ)（香港科技大学（广州）） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI、cs.CY

AI总结 该研究提出具身智能可信赖性的四层系统框架，构建涵盖多维度的可信赖性水平层级，为具身智能的可信赖部署、评估等提供依据。

Comments Website: https://xsparkai.com/sparklab/towards-trustworthy-eai

The Alignment Target Problem: Divergent Moral Judgments of Humans, AI Systems, and Their Designers

对齐目标问题：人类、人工智能系统及其设计者的道德判断分歧

Benjamin Minhao Chen, Xinyu Xie

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.CY

AI总结 研究探讨了人类、AI系统及其设计者在道德判断上的差异，通过实验发现人类设计的AI行为会引发更强烈的道德约束，揭示了价值对齐的挑战。

Comments ACM FAccT 2026

MEDIC: Comprehensive Evaluation of Leading Indicators for LLM Safety and Utility in Clinical Applications

MEDIC：对LLM在临床应用中的安全性和实用性领先指标的综合评估

Praveenkumar Kanithi, Clément Christophe, Marco AF Pimentel, Tathagata Raha, Prateek Munjal, Nada Saadi, Hamza A Javed, Svetlana Maslenkova, Nasir Hayat, Ronnie Rajan, Shadab Khan

机构 * M42 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 MEDIC通过综合评估框架揭示LLM在临床应用中的安全性和实用性差异，强调需采用组合方法以应对多维度性能权衡。

Comments Published in Transactions on Machine Learning Research (06/2026)

SciFigAlign: Scoring Scientific Figures by Fine-tuned Alignment of Visuals with Manuscript Evidence

SciFigAlign：通过微调视觉内容与稿件证据的对齐来对科学图表进行评分

Chuanzhi Xu, Zihan Deng, Huiqi Liang, Chengkun Yue, Zhanlin Cui, Pengfei Ye, Weidong Cai

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 本文构建了含3857张科学图表的标注数据集，提出基于稿件证据的多模态评分器SciFigAlign，其在测试集上的MAE为0.3524，相对最佳LLM基准降低59%误差，证实需视觉与稿件证据的学习对齐。

Can We Trust AI in 6G? Verifiable and Auditable AI-Driven Trustworthy Wireless Networks

我们能信任6G中的AI吗？可验证且可审计的AI驱动可信无线网络

Genze Jiang, Yizhou Huang, Kezhi Wang

专题命中 安全评测 ：trustworthy(title)；safety(abstract)

AI总结 针对6G中AI在无线网络应用的信任问题，提出基于3GPP规范的机械审计方法与原生审计网络架构，支持AI功能的部署前认证和运行时审计，为AI驱动的可信无线网络提供解决方案。

Comments Submitted for possible journal publication

The Age of AI Agents Demands A New Scientific Paradigm To Sustain Trustworthy Science

AI智能体时代需要新的科学范式以维持可信科学

Belinda Mo

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI、cs.CY

AI总结 针对AI自主研究智能体带来的科学产出验证缺口扩大问题，该文提出需进化科学验证基础设施的标准，以应对无人能核查结果等风险，维持科学信任。

Comments Accepted at ICML 2026, Position Paper Track

Prosody-driven Jailbreaks in Audio LLMs: A Controlled Study and Mechanistic Analysis

音频大语言模型中基于韵律的越狱：一项对照研究与机制分析

Jiachen Qian, Junyu Li

机构 * City University of Hong Kong（香港城市大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） 纠错

专题命中 安全评测 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 该研究通过控制文本内容改变语音传递预设构建评估协议与基准，发现特定韵律特征的语音能提升音频大语言模型的越狱成功率，表明语音传递是音频大语言模型安全评估的重要因素。

Comments Accepted at ACM Multimedia 2026 (ACM MM '26). 9 pages, 3 figures. Supplementary material included

Journal ref Proceedings of the 34th ACM International Conference on Multimedia (MM '26), November 10-14, 2026, Rio de Janeiro, Brazil

Hearsay: Vision-Language Medical Diagnoses Without an Image

Hearsay：无需图像的视觉-语言医学诊断

Siddharth Vohra

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Amazon Web Services AI Native（亚马逊网络服务AI原生部门） 纠错

专题命中 安全评测 ：trustworthy(abstract,comments)；分类 cs.CL、cs.AI、cs.CY

AI总结 该研究发现前沿视觉-语言模型在无图像时会基于人口统计学特征编造医学诊断，存在不同失败模式，提出需直接审计其结构化输出通道并将探针词敏感性作为核心评估维度。

Comments Peer-reviewed and presented at the 1st Workshop on Toward Trustworthy Vision-Language Models in the Wild (TrustVLM), co-located with ACM ICMR 2026, Amsterdam. Non-archival workshop. Reviews public on OpenReview. 5 pages, 2 figures

Do Methods Support the Claims? Intra-Paper Verification for Peer Review

方法是否支持其主张？用于同行评审的论文内部验证

Ranjitha Shivaprasad Ballakuraya, Arash Mahyari, Ashok Srinivasan

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对现有 LLM 评审系统忽视论文内部主张与方法学证据不匹配的问题，提出 intra-paper claim verification 框架，经实验验证其生成的评审意见与人类评审关注点高度契合。

Comments 9 pages, 8 figures. Source code, prompts, evaluation materials, and supporting data available at https://github.com/Ranjitha2493/intra-paper-claim-method-verification

Where Is the Cost of Third-Party API Routers in Agentic Software Development?

代理软件开发中第三方 API 路由器的成本在哪里？

Donghao Fu, Jingxin Li, Xue Jiang, Yihong Dong

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究第三方 API 路由器在代理软件开发中的影响，通过实证研究编码代理中路由器端注入的四个干预级别，开发 SIDEL 框架评估代理，发现路由器端干预难测，客户端缓解措施未完全恢复控制，强调需提供商端输出完整性保证。

REAP: Automatic Curation of Coding Agent Benchmarks from Interactive Production Usage

REAP：从交互生产使用自动整理编码代理基准

Smriti Jha, Matteo Paltenghi, Chandra Maddila, Vijayaraghavan Murali, Shubham Ugare, Satish Chandra

机构 * Meta, USA（Meta公司） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 REAP通过自动化流程从真实开发者与代理交互中构建生产基准，解决评估信号不可靠问题，通过LLM分类和多轮稳定性检查确保基准可信。

Comments Accepted at ASE 2026 Industry Showcase

Rethinking Clinical Relevance in Chest X-ray Machine Learning: How Evaluation References Define Performance

重新思考胸部X射线机器学习中的临床相关性：评估参考如何定义性能

Panagiotis Fytas, Ian Selby, Clemens Karner, Judith Babar, Simon Baker, Jake Beckford, Timothy J. Sadler, Shahab Shahipasand, Arthikkaa Thavakumar, John Li Chen, Alex Sawer, Michael Roberts, Jonathan Weir-McCall, J. H. F. Rudd, Carola-Bibiane Schönlieb, Anna Korhonen, Anna Breger

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 该研究针对胸部X射线机器学习，探究评估参考选择对模型性能与排名的影响，发现常用指标与临床判断一致性差，强调需将评估参考选择作为临床有效性的核心部分。

Comments 67 pages, including supplementary material

SciFigQual-Bench: A Benchmark for Scientific Figure Quality Assessment with Full-Manuscript Context

SciFigQual-Bench：面向全文本上下文的科学图片质量评估基准

Zihan Deng, Chuanzhi Xu, Huiqi Liang, Haoyang Li, Xiaozhen Zhong, Lequan Yu

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文针对现有科学图片质量评估方法的不足，构建了SciFigQual-Bench基准，设计SFQ-Agent框架实现自动化评估，实验显示其在eval1200子集上表现优于主流方案。

Comments † Equal contribution. Affiliations: 1: The University of Hong Kong 2: The University of Sydney 3: University of Electronic Science and Technology of China Corresponding authors: Zihan Deng (zhdeng@hku.hk), Chuanzhi Xu (chuanzhi.xu@sydney.edu.au) Project page: https://frankdengai.github.io/SciFigQual-Bench Source code & dataset: https://github.com/FrankDengAI/SciFigQual-Bench

Explanation-Bound Tool Execution for AI Agents: Server-Verified Action Claims Without Trusting Model Rationales

人工智能代理的解释约束工具执行：无需信任模型原理的服务器验证动作声明

Genliang Zhu, Chu Wang

机构 * Accentrust（Accentrust公司） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究针对人工智能代理工具执行问题，提出EBTE中介层，将原理内容转换为动作声明并经服务器检查。通过形式化和实现参考配置文件，经多场景验证其可行性与诊断价值，支持服务器检查动作声明而非其他相关特性。

Comments 25 pages, 1 figure, 15 tables. Revised presentation and synchronized evaluation details

FilmBench: A Film-Grade Benchmark for Cinematic Video Generation

FilmBench：用于电影视频生成的电影级基准测试

Shengyi Wang, Niantong Li, Guangzheng Hu, Hong Qi, Fei Ding, Weixu Qiao, Jinlin Wang, Xiaotong Lv, Peng Han, Zimeng Li, Fanshu Ding, Yushu Wang, Han Wu, Jingjing Chen, Chongxiao Wang, Yanhao Wu, Chenglong Huang, Xiaoqian Zhu, Jie Tian, Hua Li, Jingjing Fan, Mingshuang Tang, Zhong Li, Hengxia Qiang, Weibin Chen, Jinyang Zhen, Bing Zhao, Lin Qu, Jing Li, Hu Wei

机构 * Alibaba Group（阿里巴巴集团） ； Moku Lab, Hujing Digital Media & Entertainment Group（魔氪实验室，虎鲸数字媒体与娱乐集团） ； Beijing Film Academy（北京电影学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 FilmBench是基于电影学院传统专业电影语言开发的文本到视频和参考到视频基准测试。它从获奖影片反向设计提示，依电影分类法评估，开发自动评估代理并开源核心套件，能再现人类模型排名，指出当前模型在动态美学等方面不足。

G2VD: Generalizable AI-Generated Video Detection via Counterfactual Intervention and Causal Disentanglement

G2VD：通过反事实干预和因果解缠实现可泛化的人工智能生成视频检测

Meng Du, Hongchang Chen, Ran Li, Junjie Zhang, Qi Ouyang, Shibo Zhang, Shuxin Liu

机构 * Information Engineering University（信息工程大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 针对AI生成视频检测中因捷径学习导致跨域性能差的问题，提出G2VD框架，用反事实干预管道生成样本并对齐，设计因果解缠分类器，提升了跨域性能。

CustomerSim: Benchmarking and Aligning Multimodal Language Models as Retail User Simulators

SalesSim：多模态语言模型作为零售用户模拟器的基准测试与对齐

Yada Pruksachatkun, Yixin Wan, Xingrun Chen, Kai-Wei Chang, Chien-Sheng Wu

机构 * Salesforce Research（Salesforce研究院） ； University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 SalesSim通过多轮多模态对话评估多模态大语言模型在模拟真实用户行为中的能力，发现模型在词汇多样性及决策一致性方面存在不足，并提出UserGRPO方法提升对话流畅度与决策对齐度。

Deep Expert Injection for Anchoring Retinal VLMs with Domain-Specific Knowledge

深度专家注入用于带有领域特定知识的视网膜视觉语言模型的锚定

Shuai Lu, Meng Wang, Jia Guo, Jiawei Du, Bo Liu, Shengzhu Yang, Weihang Zhang, Huazhu Fu, Huiqi Li

机构 * Beijing Institute of Technology, Beijing, China（北京理工大学） ； National University of Singapore, Singapore（新加坡国立大学） ； Tsinghua University, Beijing, China（清华大学） ； The Hong Kong Polytechnic University, Hong Kong（香港理工大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出EyExIn框架，通过深度专家注入机制提升视网膜VLMs的领域知识嵌入能力，解决感知与推理间隙问题，实现高精度眼科视觉问答。

GraphQAG: A Knowledge-Graph-Guided Visual Analytics Framework for Question-Answer Pairs Generation

GraphQAG：一种用于问答对生成的知识图谱引导型可视分析框架

Yize Li, Ruiqi Yu, Tianya Pan, Ningxin Li, Songyue Li, Xiangyang Wu, Jinchang Li, Zhiguang Zhou

专题命中 安全评测 ：trustworthy(abstract)

AI总结 该研究针对长文档知识碎片化的问题，提出GraphQAG知识图谱引导型可视分析框架，经评估可帮助用户优化问答对集合，提升问答对的全面性与可信度。

ExplainBench: Evaluating Code Explanations from Agents

ExplainBench：评估智能体生成的代码解释

Zhiyuan Pan, Sungmin Kang, Imam Nur Bani Yusuf, Abhik Roychoudhury

专题命中 安全评测 ：trustworthy(abstract)

AI总结 该研究针对智能体代码解释缺乏评估基准的问题，提出ExplainBench基准，实验发现其对智能体的排名与SWE-bench Verified不同，还实现了解释审核智能体，可提升智能体解释的可信度。

Comments ASE 2026

Agentic Relationship Harm: Benchmarking and Gating Relational Manipulation in AI Agents

代理关系伤害：AI代理中关系操纵的基准测试与门控

Pei-Sze Tan, Tasuku Igarashi, Isao Echizen

专题命中 安全评测 ：safety(abstract)

AI总结 针对AI代理可能造成的关系操纵风险，提出了一个110提示的基准测试、关系特定标注框架和轻量级后生成策略门控，以评估和缓解代理关系伤害。

Comments 13 pages, 3 figures