大模型对齐与安全

Necessary but Not Sufficient: Temperature Control and Reproducibility in LLM-as-Judge Safety Evaluations

必要但不充分：LLM作为评判者的安全评估中的温度控制与可重复性

Hiroki Tamba

机构 * Tamba Research Academy（Tamba研究学院） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.LG

AI总结 研究LLM评判者在安全评估中温度设置对结果可重复性的影响，发现温度未设置或设为0仍无法完全消除判决翻转，建议将评判者分歧作为首要健康指标。

Comments 7 pages, 2 tables

CORTEX: A Structured Reasoning Benchmark for Trustworthy 3D Chest CT MLLMs

CORTEX：用于可信3D胸部CT多模态大语言模型的结构化推理基准

Hashmat Shadab Malik, Anees Ur Rehman Hashmi, Numan Saeed, Muzammal Naseer, Salman Khan, Christoph Lippert

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Hasso Plattner Institute（哈索·普拉特纳研究所） ； Khalifa University（哈利法大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)

AI总结 提出CORTEX基准，通过四阶段诊断推理轨迹和阶段级评估协议，为3D胸部CT多模态大语言模型提供结构化监督与验证，包含76,177个验证推理轨迹。

Does AI Reviewer See the Full Picture? Attacking and Defending Multimodal Peer Review

AI审稿人是否看到全貌？攻击与防御多模态同行评审

Xinyu Zhao, Rana Muhammad Shahroz Khan, Zhen Xu, Zhen Tan, Tianlong Chen

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 安全评测 ：safety(abstract)；prompt injection(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 针对AI同行评审易受多模态对抗攻击的问题，提出PaperGuard基准，包含多领域数据集、统一攻击套件和基于分块嵌入搜索的实用防御方法。

Comments Accepted to ICML 2026, Project Page: https://paper-guard.github.io/

Qwen-Image-Bench: From Generation to Creation in Text-to-Image Evaluation

Qwen-Image-Bench：从生成到创造——文本到图像评估

Niantong Li, Guangzheng Hu, Weixu Qiao, Ying Ba, Qichen Hong, Shijun Shen, Jinlin Wang, Fan Zhou, Jianye Kang, Xin Shang, Ziyi He, Wei Wang, Dalin Li, Jiahao Li, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiao Xu, Xiaoyue Chen, Yuxiang Chen, Yan Shu, Yanran Zhang, Yilei Chen, Yixian Xu, Zekai Zhang, Zhendong Wang, Zihao Liu, Zikai Zhou, Hongzhu Shi, Yi Wang, Bing Zhao, Hu Wei, Lin Qu, Chenfei Wu

机构 * Alibaba（阿里巴巴） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)

AI总结 针对现有文本到图像评估基准缺乏对真实世界保真度和创造性生成能力的考量，本文提出Qwen-Image-Bench，一个与专业艺术家共同设计的创作者中心基准，通过分层分类体系、1000个分层提示和基于Qwen3.6-27B的统一评判模型Q-Judger，实现细粒度、可归因的诊断，有效区分领先的T2I模型。

Simulating Students with Large Language Models: A Review of Architecture, Mechanisms, and Role Modelling in Education with Generative AI

用大型语言模型模拟学生：生成式AI在教育中的架构、机制与角色建模综述

Luis Marquez-Carpintero, Alberto Lopez-Sellers, Miguel Cazorla

机构 * Institute for Computer Research University of Alicante（计算机研究所阿利坎特大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文综述了利用大型语言模型模拟学生行为在教育中的应用，探讨了其在学习者建模、教学评估和教师培训中的潜力与挑战。

Journal ref Computer Science Review 62 (2026) 101008

Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions

审计心理健康交互中大语言模型的框架敏感行为不稳定性

Abla Bedoui, Ashley L. Greene, Mohammed Cherkaoui

机构 * a School of computer science, digital engineering and AI, Long Island University, Brooklyn, NY, USA（a 计算科学与数字工程及人工智能学院，罗格斯大学，布鲁克林，纽约，美国） ； b Department of Psychology, Long Island University, Brooklyn, NY, USA（b 心理学系，罗格斯大学，布鲁克林，纽约，美国） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过控制匹配提示，调查大语言模型在不同上下文框架下的行为变异性，发现框架系统性改变解释响应倾向，且内部表征可解码，激活操控可部分调节行为。

Can Large Language Models Reliably Code Qualitative Humanitarian Data? A Benchmark Study Against Human Expert Adjudication

大型语言模型能否可靠地编码定性人道主义数据？一项针对人类专家裁决的基准研究

Jerome Marston, Tino Kreutzer, Salomé Garnier, Ella Boone, Phuong N Pham, Patrick Vinck

专题命中 安全评测 ：safety(abstract)；分类 cs.CY、cs.LG

AI总结 本研究通过对比46个大型语言模型与人类专家在150份高保真合成人道主义转录本上的编码表现，发现多个LLM在结构化提示和推理配置下能达到与经验丰富人类编码员相当的可靠性，但聚合可靠性指标不足以指导部署，模型在识别间接表达的需求、类别外需求及保护相关问题方面存在差异。

Comments 34 pages, 4 tables, 3 Annexes

Retrieval-Warmed Energy-Based Reasoning: A Five-Arm Ablation Methodology for Diffusion-as-Inference on Structured Reasoning Tasks

检索预热能量基推理：结构化推理任务上扩散即推断的五臂消融方法

Libo Sun, Po-Wei Harn, Zewei Zhang, Peixiong He, Xiao Qin

机构 * Department of Computer Science and Software Engineering, Auburn University（奥本大学计算机科学与软件工程系） ； Department of Information Management, National Central University（国立中央大学信息管理系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出五臂消融方法（oracle、best-constant、per-query-random、shuffled、aligned）分离检索预热能量基推理中的三种混淆效应，在连通性-2任务上发现逐图对齐主导性能提升，而在数独任务上关键质量成为瓶颈。

Comments 8 Pages, 6 Figures

RecallRisk-BERT: A Multi-Task Framework for Post-Report Medical Device Recall Triage

RecallRisk-BERT：用于报告后医疗器械召回分类的多任务框架

Ali Semih Atalay, Sevgi Yigit-Sert

机构 * Department of Computer Engineering, Faculty of Engineering, Ankara University（安卡拉大学工程学院计算机工程系） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 提出RecallRisk-BERT多任务模型，联合预测召回严重等级和根因类别，在FDA数据集上优于单任务基线，支持可扩展的召回分类。

Risk-Aware Selective Multimodal Driver Monitoring with Driver-State World Modeling

风险感知的选择性多模态驾驶员监控与驾驶员状态世界建模

Daosheng Qiu, Haozhuang Chi, Hao Su, Shu Long, Xinyue Miao, Yongle Dong, Wei Zhang

机构 * Hubei University（湖北大学） ； Nanyang Technological University（南洋理工大学） ； Osaka University（大阪大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 提出成本感知的选择性推理框架，结合轻量级RGB-生理学生网络和门控机制，在低延迟下减少不安全决策，实现可部署的多模态驾驶员监控。

ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP

ReasonCLIP-58M: CLIP的视觉基础常识推理监督

Sicheng Zhang, Muzammal Naseer, Binzhu Xie, Naufal Suryanto, Shi Qiu, Jamal Bentahar, Naveed Akhtar, Mubarak Shah

机构 * Khalifa University（卡利法大学） ； University of Western Australia（西澳大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Melbourne（墨尔本大学） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出ReasonCLIP-58M框架，通过两阶段策略将大规模推理监督集成到CLIP模型中，构建ReasonLite-42M和ReasonPro-16M数据集及RCLIP-Bench基准，提升视觉基础常识推理和零样本检索性能。

Comments Accepted to ECCV2026

Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models

跨模态对抗扩散：文本、视觉与视觉-语言模型的攻击、防御与评估融合综述

Abrar Alotaibi, Moataz Ahmed

机构 * Information and Computer Science Department, King Fahd University of Petroleum & Minerals（国王法赫德石油矿物大学信息与计算机科学系） ； College of Computer Science and Information Technology, Imam Abdulrahman Bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·法伊塞尔大学计算机科学与信息科技学院） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence, King Fahd University of Petroleum & Minerals（SDAIA-KFUPM人工智能联合研究中心，国王法赫德石油矿物大学） 纠错

专题命中 安全评测 ：jailbreak(abstract)；分类 cs.CL

AI总结 本文整合了文本、图像分类器和视觉-语言模型上的对抗攻击与防御研究，提出统一分类法和评估框架，并识别了当前文献中的五个常见弱点。

How Do Tool-Augmented LLM Agents Perform on Real-World Energy Analytics Tasks?

工具增强的LLM智能体在真实世界能源分析任务中的表现如何？

David Akinpelu, Akintonde Abbas, Rereloluwa Alimi, Ayodeji Lana

机构 * Independent Researcher（独立研究员） ； Tume AI 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 针对能源领域缺乏智能体评估基准的问题，构建了包含243个专家策划问题的测试环境，评估工具增强的LLM智能体在数据检索、知识解释和定量建模三类任务上的表现。

Sign Language Recognition in the Age of LLMs

在大语言模型时代的手语识别

Vaclav Javorek, Jakub Honzik, Ivan Gruber, Tomas Zelezny, Marek Hruz

机构 * University of West Bohemia（西波西米亚大学） ； Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 研究探讨现代VLMs在零样本条件下进行孤立手语识别的能力，发现开源模型表现欠佳，而大模型在精度上表现突出，强调模型规模和训练数据多样性的重要性。

Comments Accepted at the CVPR 2026 Workshop on Multimodal Sign Language Research (MSLR), 8 pages, 3 figures

Journal ref Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2026, pp. 10511-10519

OI-Bench: An Option Injection Benchmark for Evaluating LLM Susceptibility to Directive Interference

OI-Bench：用于评估大语言模型对指令干扰敏感性的选项注入基准

Yow-Fu Liou, Yu-Chien Tang, Yu-Hsiang Liu, An-Zi Yen

机构 * Department of Computer Science, National Yang Ming Chiao Tung University（国家阳明交通大学计算机科学系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出选项注入基准OI-Bench，通过在多选题界面中嵌入误导性指令，系统评估12个LLM对16种指令干扰的脆弱性，揭示模型存在显著漏洞。

Vis-CoT: A Human-in-the-Loop Framework for Interactive Visualization and Intervention in LLM Chain-of-Thought Reasoning

Vis-CoT：一种用于LLM思维链推理中交互式可视化和干预的人机协同框架

Kaviraj Pather, Elena Hadjigeorgiou, Arben Krasniqi, Claire Schmit, Irina Rusu, Marc Pons, Kabir Khan

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

AI总结 提出Vis-CoT框架，将线性思维链文本转换为交互式推理图，允许用户可视化逻辑流程、识别错误步骤并通过剪枝和嫁接进行干预，显著提升推理准确性和用户信任。

Comments arXiv admin note: This paper has been withdrawn by arXiv due to unverifiable authorship and affiliation

HELIOT: LLM-Based CDSS for Adverse Drug Reaction Management

HELIOT：基于LLM的临床决策支持系统用于不良药物反应管理

Gabriele De Vito, Filomena Ferrucci, Athanasios Angelakis

机构 * Software Engineering (SeSa) Lab University of Salerno（软件工程（SeSa）实验室，萨勒诺大学） ； Amsterdam UMC Locatie AMC Amsterdam, The Netherlands（阿姆斯特丹大学医学中心（AMC）阿姆斯特丹，荷兰） ； Digital Health（数字健康；方法学；阿姆斯特丹公共卫生研究所阿姆斯特丹，荷兰） ； Methodology（阿姆斯特丹大学数据科学中心阿姆斯特丹，荷兰） ； Amsterdam Public Health Research Institute Amsterdam, The Netherlands ； University of Amsterdam Data Science Center Amsterdam, The Netherlands 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 HELIOT利用大语言模型处理非结构化临床数据，通过提取药物反应信息和学习患者用药耐受性，减少误报并提升不良药物事件预警的准确性与实用性。

FlameVQA: A Physically-Grounded UAV Wildfire VQA Benchmark with Radiometric Thermal Supervision

FlameVQA: 一个基于辐射热监督的物理基础无人机野火VQA基准

Mobin Habibpour, John Spodnik, Niloufar Alipour Talemi, Fatemeh Afghah

机构 * National Science Foundation（国家科学基金会） ； NASA（美国国家航空航天局） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 提出FlameVQA，一个基于FLAME 3数据集的无人机野火多选视觉问答基准，利用配对的RGB和辐射热TIFF图像实现温度基础的推理，评估了多种MLLM在检测、定位、覆盖估计等任务上的表现。

Soroll-IA: A Weakly Labeled Audio Dataset for Real-World Industrial Port Monitoring

Soroll-IA：用于真实工业港口监测的弱标注音频数据集

Javier Naranjo-Alcazar, Jordi Grau-Haro, Ruben Ribes-Serrano, Marta Garcia-Ballesteros, Pedro Zuccarello

机构 * Instituto Tecnologico de Informatica (ITI)（信息技术学院） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 提出一个在西班牙瓦伦西亚真实工业港口环境中录制的弱标注音频数据集，包含22小时音频和26种声音事件类别，用于支持音频标注、弱监督声音事件检测及机器学习研究。

Comments Paper being under review at Journal on Audio, Speech, and Music Processing

NegAS: Negative Label Guided Attention and Scoring for Out-of-Distribution Object Detection with Vision-Language Models

NegAS: 基于负标签引导的注意力与评分用于视觉语言模型的分布外目标检测

Yingjie Zhang, Shuai Li, Peng Wang

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 提出NegAS框架，利用负标签引导注意力（NegA）和基于sigmoid的OOD评分函数（NegS），解决VLM检测器中OOD区域利用不足和评分不兼容问题，显著提升OOD检测性能。

Comments Accept to ECCV 2026

CheXanatomy: Anatomy-Aware Vision-Language Modeling for Chest Radiographs

CheXanatomy: 面向胸部X光片的解剖感知视觉-语言建模

Sergios Gatidis, Curtis Langlotz, Christian Bluethgen

机构 * Stanford Center for Artificial Intelligence in Medicine and Imaging, Stanford University（斯坦福大学医学与影像人工智能中心） ； Department of Radiology, Stanford University（斯坦福大学放射学系） 纠错

专题命中 安全评测 ：alignment(abstract)

AI总结 提出CheXanatomy框架，通过自回归令牌空间监督将解剖知识融入预训练视觉-语言模型，实现解剖分割，在合成和真实X光片上性能媲美U-Net，并提升域迁移鲁棒性和样本效率。

Deep Learning-Enhanced Robotic Subretinal Injection with Real-Time Retinal Motion Compensation

深度学习增强的机器人视网膜注射与实时视网膜运动补偿

Tianle Wu, Mojtaba Esfandiari, Peiyao Zhang, Russell H. Taylor, Peter Gehlbach, Iulian Iordachita

机构 * Laboratory for Computational Sensing and Robotics（计算感知与机器人实验室） ； Johns Hopkins University（约翰霍普金斯大学） ； Wilmer Eye Institute（威尔默眼科研究所） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 本文提出了一种全自动机器人视网膜注射系统，结合术中光学相干断层扫描和深度学习运动预测，实现针头运动与视网膜位移同步，实验验证了其在视网膜微手术中的安全性和准确性。