大模型对齐与安全

StatEval: A Comprehensive Benchmark for Large Language Models in Statistics

StatEval：大型语言模型在统计学中的综合基准

Yuchen Lu, Run Yang, Yichen Zhang, Shuguang Yu, Ziwei Wang, Jiayi Xiang, Wenxin E, Changyu Zhu, Fan Zhou

机构 * Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出StatEval基准，包含10万+问题，覆盖本科到研究级统计推理，并开发TRACE管道和自适应评分方法，揭示LLM在基础任务上表现尚可但研究级推理薄弱。

Rule-VLN: Bridging Perception and Compliance via Semantic Reasoning and Geometric Rectification

规则导向的视觉语言导航：通过语义推理和几何校正弥合感知与合规性

Jiawen Wen, Penglei Sun, Wenjie Zhang, Suixuan Qiu, Weisheng Xu, Xiaofei Yang, Xiaowen Chu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Beijing Normal University（北京师范大学） ； Guangzhou University（广州大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出Rule-VLN，首个大规模城市规则合规导航基准，通过语义推理和几何校正模块提升导航安全性，实验表明该模块显著提升导航能力。

ActivityNarrated: An Open-Ended Narrative Paradigm for Wearable Human Activity Understanding

ActivityNarrated: 一种面向可穿戴人类活动理解的开放性叙事范式

Lala Shakti Swarup Ray, Mengxi Liu, Alcina Pinto, Deepika Gurung, Daniel Geissler, Paul Lukowoicz, Bo Zhou

机构 * DFKI Kaiserslautern（德国人工智能研究中心凯泽斯劳滕） ； RPTU（莱茵兰-普法尔茨州凯泽斯劳滕-兰道工业大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出一种开放性叙事范式，通过将可穿戴传感器数据与自然语言描述对齐，实现开放词汇环境下的人类活动理解，实验表明其在跨参与者评估中表现优于传统闭合集方法。

How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

LLM如何看待创造力：具有可解释推理的视觉创造力零样本评分

William Orwig, Roger E. Beaty

机构 * Harvard University（哈佛大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 研究多模态大模型能否零样本评估视觉创造力，并分析其推理过程的可解释性。实验表明模型评分与人类高度一致，但推理并未提升评分准确性。

Comments 21 pages, 9 figures

DMind Benchmark: Toward a Holistic Assessment of LLM Capabilities across the Web3 Domain

DMind Benchmark：面向Web3领域LLM能力的全面评估

Enhao Huang, Pengyu Sun, Shuxun Wang, Zixin Lin, Alex Chen, Kaichun Hu, Joey Ouyang, Frank Li, Zhiyu Zhang, Haobo Wang, Yiming Li, Zhan Qin, James Yi, Gang Zhao, Ziang Ling, Lowes Yang

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 提出DMind Benchmark，覆盖Web3九个子领域，结合客观知识与开放推理任务，评估31个LLM，发现模型在安全审计等高推理任务中存在显著弱点。

Agentic Episodic Control

智能体情节控制

Xidong Yang, Wenhao Li, Junjie Sheng, Yun Hua, Haosheng Chen, Chuyun Shen, Xiangfeng Wang

机构 * East China Normal University（华东师范大学） ； Tongji University（同济大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai University of International Business and Economics（上海对外经贸大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出智能体情节控制（AEC），利用大语言模型增强情节强化学习，通过语义增强器和关键状态识别器提升数据效率和泛化能力，在BabyAI-Text环境中实现2-6倍数据效率提升。

Comments Accepted to Findings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

OI-Bench: An Option Injection Benchmark for Evaluating LLM Susceptibility to Directive Interference

OI-Bench：用于评估大语言模型对指令干扰敏感性的选项注入基准

Yow-Fu Liou, Yu-Chien Tang, Yu-Hsiang Liu, An-Zi Yen

机构 * Department of Computer Science, National Yang Ming Chiao Tung University（国家阳明交通大学计算机科学系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出选项注入基准OI-Bench，通过在多选题界面中嵌入误导性指令，系统评估12个LLM对16种指令干扰的脆弱性，揭示模型存在显著漏洞。

Vis-CoT: A Human-in-the-Loop Framework for Interactive Visualization and Intervention in LLM Chain-of-Thought Reasoning

Vis-CoT：一种用于LLM思维链推理中交互式可视化和干预的人机协同框架

Kaviraj Pather, Elena Hadjigeorgiou, Arben Krasniqi, Claire Schmit, Irina Rusu, Marc Pons, Kabir Khan

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

AI总结 提出Vis-CoT框架，将线性思维链文本转换为交互式推理图，允许用户可视化逻辑流程、识别错误步骤并通过剪枝和嫁接进行干预，显著提升推理准确性和用户信任。

Comments arXiv admin note: This paper has been withdrawn by arXiv due to unverifiable authorship and affiliation

Agentic Software Engineering: Foundational Pillars and a Research Roadmap

代理软件工程：基础支柱与研究路线图

Ahmed E. Hassan, Hao Li, Dayi Lin, Bram Adams, Tse-Hsun Chen, Yutaro Kashiwa, Dong Qiu

机构 * Queen's University（女王大学） ； Concordia University（Concordia大学） ； Nara Institute of Science and Technology（奈ara科学和技术研究院） ； Huawei Canada（华为加拿大） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 提出代理软件工程（SE 3.0）时代，以“面向人类的SE”和“面向代理的SE”双重模式为基础，重新定义软件工程支柱，并设计代理命令环境（ACE）和代理执行环境（AEE）两种工作台，实现双向人机协作，推动从代理编码到真正代理软件工程的演进。

VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents

VISTA：面向视觉规格到网页应用编码智能体的端到端基准

JunJia Guo, Yuhang Yao, Jiawei, Zhou, Jingdi Chen

机构 * University of Arizona（亚利桑那大学） ； Zoom ； Stony Brook University（石溪大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出VISTA基准，通过多维度输入条件和评估指标，衡量基于LLM的智能体从视觉规格生成功能完整、视觉一致的网页应用的能力。

Comments Project page: https://kaboider.github.io/VIS_APP/

Business as Rulesual: A Benchmark and Framework for Business Rule Flow Modeling with LLMs

业务即规则：面向LLM的业务规则流建模基准与框架

Chen Yang, Ruping Xu, Ruizhe Li, Bin Cao, Jing Fan

机构 * Zhejiang University of Technology（浙江工业大学） ； Zhejiang Key Laboratory of Visual Information Intelligent Processing（浙江省视觉信息智能处理重点实验室） ； University of Aberdeen（阿伯丁大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出BREX基准（409份真实业务文档与2855条专家标注规则）和ExIde框架，通过可执行伪代码生成显式建模规则依赖，在13个LLM上验证了可执行接地作为归纳偏置的有效性。

CHUCKLE -- When Humans Teach AI To Learn Emotions The Easy Way

CHUCKLE -- 当人类教AI学习情感的简便方式

Ankush Pratap Singh, Houwei Cao, Yong Liu

机构 * New York Institute of Technology, Department of Computer Science（纽约理工学院计算机科学系） ； New York University, Electrical and Computer Engineering Department（纽约大学电气与计算机工程系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 CHUCKLE提出一种基于人类感知的课程学习框架，通过众包数据集中的标注者一致性和共识定义样本难度，提升LSTM和Transformer的性能，同时减少梯度更新次数，提高训练效率和模型鲁棒性。

Journal ref Proc. Interspeech 2026, Sydney, Australia, Aug. 2026

"I Said Things I Needed to Hear Myself": Peer Support as an Emotional, Organisational, and Sociotechnical Practice in Singapore

“我说了那些我自己需要听到的话”：新加坡的同伴支持作为情感、组织和社会技术实践

Kellie Yu Hui Sim, Kenny Tsu Wei Choo

机构 * Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 通过访谈20名新加坡同伴支持者，揭示其动机、情感劳动和社会文化维度，提出文化响应式数字工具设计方向，并探讨AI如何负责任地增强同伴支持。

Comments 20 pages, 3 tables

CareTransition-Audit: A Benchmark to Audit Discharge Summaries for Efficient Care Transitions

CareTransition-Audit：用于高效护理过渡的出院总结审计基准

Akshat Dasula, Prasanna Desikan, Jaideep Srivastava, Shivali Dalmia, Abhishek Mukherji

机构 * Department of Computer Science \& Engineering, University of Minnesota-Twin Cities, Minneapolis, USA ； Centific AI Research, Redmond, USA 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 提出基于大语言模型的自动化框架，通过46项检查清单审计出院总结完整性，在MIMIC-IV数据集上基准测试11个模型，最佳模型与临床医生标签的Cohen's kappa约0.5，所有模型难以识别模糊文档。

Comments Accepted as a poster at IEEE-ICHI 2026; Accepted at SD4H@ICML

Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech

Omnilingual SONAR：跨语言与跨模态句子嵌入，连接大规模多语言文本与语音

Omnilingual SONAR Team, João Maria Janeiro, Pere-Lluís Huguet Cabot, Ioannis Tsiamas, Yen Meng, Vivek Iyer, Guillem Ramírez, Loic Barrault, Belen Alastruey, Xiang "Tony" Cao, Yu-An Chung, Marta R. Costa-Jussa, David Dale, Kevin Heffernan, Jaehyeong Jo, Artyom Kozhevnikov, Alexandre Mourachko, Christophe Ropers, Holger Schwenk, Paul-Ambroise Duquenne

机构 * FAIR at Meta（Meta的FAIR） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出OmniSONAR模型，通过渐进式训练和教师-学生蒸馏，在数千种语言上实现文本、语音、代码和数学表达式的统一语义嵌入，在跨语言检索和翻译任务上显著降低错误率，并支持零样本语音翻译。

TransLaw: A Large-Scale Dataset and Multi-Agent Benchmark Simulating Professional Translation of Hong Kong Case Law

TransLaw：模拟香港判例法专业翻译的大规模数据集与多智能体基准

Xi Xuan, Chunyu Kit

机构 * City University of Hong Kong, Hong Kong SAR, China（香港城市大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 针对香港判例法英译中资源匮乏、法律术语和格式要求严格的问题，构建了首个大规模句对齐平行语料库HKCFA Judgment 97-22，并提出多智能体框架TransLaw，通过分解翻译任务、集成法律词汇库和检索增强生成，显著提升翻译质量，但仍未达到人类专家的风格自然度。

Comments Accepted at ICML 2026 - AI for Law

DeMaVLA: A Vision-Language-Action Foundation Model for Generalizable Deformable Manipulation

DeMaVLA：面向可泛化可变形物体操作的视觉-语言-动作基础模型

Taiyi Su, Jian Zhu, Tianjian Wang, Youzhang He, Zitai Huang, Jianjun Zhang, Chong Ma, Hanyang Wang, Tianjiao Zhang, Munan Yin, Weihao Ding, Yi Xu

机构 * Tongji University（同济大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出DeMaVLA模型，采用VLM骨干与动作专家结合流匹配生成连续动作，通过剪枝Transformer层提升效率，并利用大规模真实世界数据和人类反馈数据聚合训练，实现可变形物体折叠操作的多类别泛化。

Comments 14 pages, 2 figures

Like a Hammer, It Can Build, It Can Break: Large Language Model Uses, Perceptions, and Adoption in Cybersecurity Operations on Reddit

像锤子一样，它能建造，也能破坏：Reddit上网络安全运营中大语言模型的使用、认知与采纳

Souradip Nath, Chih-Yi Huang, Aditi Ganapathi, Kashyap Thimmaraju, Jaron Mink, Gail-Joon Ahn

机构 * Arizona State University（亚利桑那州立大学） ； Technische Universität Berlin（柏林技术大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 通过对Reddit网络安全论坛892篇帖子进行混合方法分析，研究安全从业者使用LLM工具的模式、认知和采纳情况，发现LLM主要用于低风险、生产力导向任务，企业级安全平台受关注，但可靠性、验证开销和安全问题限制了其自主性。

Comments This paper appears in the Proceedings of the Twenty-Second Symposium on Usable Privacy and Security (SOUPS) 2026

DiffAttn: Diffusion-Based Drivers' Visual Attention Prediction with LLM-Enhanced Semantic Reasoning

DiffAttn: 基于扩散的驾驶员视觉注意力预测与LLM增强语义推理

Weimin Liu, Qingkun Li, Jiyuan Qiu, Wenjun Wang, Joshua H. Meng

机构 * School of vehicle and Mobility, Tsinghua University（清华大学车辆与移动性学院） ； Beijing Key Laboratory of Human-Computer Interaction, Institute of Software, Chinese Academy of Sciences（北京人机交互重点实验室，中国科学院软件研究所） ； Remote Sensing and Earth Observation Laboratory, University of Copenhagen（远程感知与地球观测实验室，哥本哈根大学） ； California PATH, University of California, Berkeley（加州PATH，加州大学伯克利分校） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 提出DiffAttn框架，将驾驶员视觉注意力预测建模为条件扩散去噪过程，结合Swin Transformer、特征融合金字塔和LLM增强语义推理，在四个数据集上达到最先进性能。

Tacit Coordination of Large Language Models

大型语言模型的隐性协调

Ido Aharon, Emanuele La Malfa, Michael Wooldridge, Sarit Kraus

机构 * Department of Computer Science, Bar-Ilan University（巴伊兰大学计算机科学系） ； Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Institute for Decentralized AI (IDAI)（去中心化人工智能研究所） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 研究大型语言模型在多智能体无通信协调中的焦点涌现能力，通过博弈和搜救任务评估，发现模型在多数场景匹配或超越人类，但在数值常识和文化显著性任务中失败，并提出无学习策略改善协调。

Comments Code: https://github.com/EmanueleLM/focal-points

m2sv: A Scalable Benchmark for Map-to-Street-View Spatial Reasoning

m2sv: 地图到街景空间推理的可扩展基准

Yosub Shin, Michael Buriek, Igor Molybog

机构 * University of Hawai'i at M\=anoa, Honolulu, HI, USA 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出m2sv基准，通过匹配朝北俯视图与街景图像推断相机方向，评估VLM空间推理能力；最佳模型准确率65.2%，低于人类72.0%，揭示几何对齐与推理一致性的差距。

BRITE: A Benchmark for Reliable and Interpretable T2V Evaluation on Implausible Scenarios

BRITE：面向不可信场景的可靠可解释文本到视频评估基准

Advait Tilak, Jiwon Choi, Nazifa Mouli, Wei Le

机构 * Department of Computer Science, Iowa State University, Ames, Iowa, USA（计算机科学系，爱荷华州立大学，爱荷华州阿姆斯，美国） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出BRITE基准，通过人工参与协议统一不可信提示、细粒度音视频一致性评估和可解释QA评估，揭示现有模型在对象-动作绑定和音视频同步上的显著缺陷。

Emergent Strategic Reasoning Risks in AI: A Taxonomy-Driven Evaluation Framework

AI中涌现的策略推理风险：基于分类法的评估框架

Tharindu Kumarage, Lisa Bauer, Yao Ma, Dan Rosen, Yashasvi Raghavendra Guduri, Anna Rumshisky, Kai-Wei Chang, Aram Galstyan, Rahul Gupta, Charith Peris

机构 * Amazon Nova Responsible AI（亚马逊诺瓦负责任人工智能） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 提出ESRRSim框架，基于7类20子类的风险分类法，通过双评估标准自动评估LLM的策略推理风险，发现检测率在14.45%-72.72%之间，且模型代际提升显著。

EEG-FM-Bench: A Comprehensive Benchmark for the Systematic Evaluation and Diagnostic Analyses of EEG Foundation Models

EEG-FM-Bench：脑电图基础模型系统评估与诊断分析的综合基准

Wei Xiong, Jiangtong Li, Jie Li, Kun Zhu, Changjun Jiang

机构 * School of Computer Science and Technology, Tongji University, Shanghai, China（同济大学计算机科学与技术学院，上海，中国） ； Translational Research Center, Shanghai Yangzhi Rehabilitation Hospital (Shanghai Sunshine Rehabilitation Center), China（上海杨氏康复医院（上海阳光康复中心）转化研究中心，中国） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出EEG-FM-Bench统一基准，整合14个数据集和10种范式，通过多种微调策略和诊断分析揭示多任务学习可缓解过拟合、预训练效率受梯度冲突限制、模型规模非唯一决定因素等关键发现。

Comments 36 pages, 30 figures, Accepted by ICML2026

Can We Stop Malicious AI? KILLBENCH: A Benchmark for External AI Kill Switch Feasibility

我们能阻止恶意AI吗？KILLBENCH：外部AI终止开关可行性基准

Sechan Lee, Hyounghun Kim, Sangdon Park

机构 * Graduate School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院） 纠错

专题命中 安全评测 ：jailbreak(abstract)；分类 cs.AI

AI总结 提出Killbench基准，通过外部信号（如输入文本）评估终止恶意AI代理行为的方法，无需访问内部参数，实验表明在多种模型上外部终止开关具有可行性。

GenAutoML: An Agentic Framework for Dynamic Architecture Generation and Optimization in Time-Series Analysis

GenAutoML: 面向时间序列分析的动态架构生成与优化的智能体框架

Oleeviya Babu Poikarayil, Cédric Schockaert, Abdulrahman Nahhas, Christian Daase, Mursal Dawodi, Jawid Ahmad Baktash

机构 * Paul Wurth S.A.（保罗·沃思公司） ； Otto-von-Guericke University（奥托·冯·格里克大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 提出GenAutoML框架，利用大语言模型作为神经架构师，通过沙盒反射循环和签名感知运行时自动生成并优化时间序列预测与异常检测的神经网络架构，引入动态可逆实例归一化提升非平稳条件下的鲁棒性。

Comments 26 pages, 17 figures, 12 tables. Under review

Can Factual Opinions Be Edited (Manipulated) in Large Language Models?

大型语言模型中的事实性观点能否被编辑（操纵）？

Yuanpu Cao, Ziyi Yin, Fenglong Ma, Jinghui Chen

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 提出FOE基准测试，评估当前知识编辑技术对事实性观点（如公众人物立场）的操纵能力，并发现其仅能实现表面修改，无法保持观点与证据的一致性；进而提出自生成证据对齐方法实现观点-证据对齐。

Comments Accepted to the ACL 2026 Main Conference

Earth Science Foundation Models: From Perception to Reasoning and Discovery

地球科学基础模型：从感知到推理与发现

Xiangyu Zhao, Bo Liu, Yuehan Zhang, Zelin Song, Wanghan Xu, Feng Liu, Fengxiang Wang, Ben Fei, Fenghua Ling, Wangxu Wei, Wenlong Zhang, Xiao-Ming Wu

机构 * Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文综述了地球科学基础模型，探讨了其从感知到多模态推理及科学发现的能力演进，并总结了其在大气、水圈、岩石圈等领域的广泛应用。

BLUEmed: Retrieval-Augmented Multi-Agent Debate for Clinical Error Detection

BLUEmed: 基于检索增强的多智能体辩论用于临床错误检测

Saukun Thika You, Nguyen Anh Khoa Tran, Wesley K. Marizane, Hanshu Rao, Qiunan Zhang, Xiaolei Huang

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 提出BLUEmed框架，结合混合检索增强生成与多智能体辩论，通过分解临床笔记、检索证据、专家辩论及安全层过滤，在术语替换错误检测中达到最优性能。

Comments Accepted to the IEEE International Conference on Healthcare Informatics (ICHI) 2026

BrainPro: Towards Large-scale Brain State-aware EEG Representation Learning

BrainPro：迈向大规模脑状态感知的脑电图表征学习

Yi Ding, Muyun Jiang, Weibang Jiang, Shuailei Zhang, Xinliang Zhou, Chenyu Liu, Shanglin Li, Yong Li, Cuntai Guan

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Advanced Telecommunications Research Institute International（先进电信研究院） ； Southeast University（东南大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 提出BrainPro模型，通过检索式空间对齐和脑状态解耦模块，学习共享与特定状态表征，在9个公共BCI数据集上取得最优性能。

Comments 31 pages, 11 figures