大模型对齐与安全

The Path to Self-Evolving Clinical Systems: Scaling Medical Agents from Assistance to Autonomy

自我进化临床系统之路：将医疗智能体从辅助扩展到自主

Chunzheng Zhu, Lei Tian, Bohan Tan, Ziqi Zhou, Yuxuan Sun, Yijun Wang, Chengchao Lv, Yilin Wen, Yijun He, Jinghao Lin, Yihang Chen, Chee Wei Tan, Qianshan Wei, Lei Zhao, Bin Pu, Kenli Li, Yuan Xue, Jianxin Lin

机构 * Hunan University（湖南大学） ； ByteDance（字节跳动） ； Duke University（杜克大学） ； Westlake University（西湖大学） ； The University of Hong Kong（香港大学） ； Nanyang Technological University（南洋理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Macau（澳门大学） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究探讨大语言模型等对医疗智能体的重塑，从临床部署出发，将其形式化为决策系统并给出自主性分类。沿统一框架扩展，强调临床环境扩展为关键方向，定位临床自我进化为前沿，还研究了多领域应用及挑战，提供医学成像系统路线图。

Comments Project page: https://github.com/zhcz328/Awesome-Medical-Agents

The Off-Support Barrier: Why Semantic Safety Constraints Are Not Learning-Problem Invariants, and What Follows for Prior Design, Containment, and Verification

离支撑屏障：为何语义安全约束不是学习问题不变量，以及对先验设计、约束与验证的启示

Yoshinori Watanabe

专题命中 安全评测 ：safety(title,abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出语义安全约束是离支撑对象，基于奇异学习理论推导得出多项推论，以2026年7月OpenAI与Hugging Face评估事件为案例，为AI安全的先验设计、约束验证等问题提供理论启示。

Group Alignment-Induced Sycophancy: A Two-Sided Evaluation of Steerable Pluralistic Alignment

群体对齐诱导的谄媚性：可引导的多元对齐的双向评估

Haokai Zhao, Yunze Xiao, Weihao Xuan, Flora Salim, Benjamin Tag, Aditya Joshi

机构 * University of New South Wales（新南威尔士大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Tokyo（东京大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

AI总结 该研究提出GAS指标，评估3种方法、4个模型在13个人口统计群体上的对齐效果，发现群体对齐的观点收益和谄媚性变化存在群体异质性，建议采用双向多维度报告方式。

Comments 9 pages main text, 23 pages in total, under review

LODESTAR: Trustworthy Entropy Is Navigated, Not Merely Measured -- Reinforced Polarizer Keeps a Frozen LLM from Being Confidently Misled by the Wrong Evidence

LODESTAR：可信赖熵是被引导的，而非仅被测量——强化偏振器防止冻结型大语言模型（LLM）被错误证据误导而自信出错

Po-Jen Ko, Che-Cheng Wu, Hung-Chun Hsu, Li-Yang Chang, Chuan-Ju Wang

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CL、cs.LG

AI总结 LODESTAR是首个通过强化学习训练偏振器、依据第三方冻结型LLM的不确定性评分文本干预的方法，可提升检索增强问答的F1值等指标，减少模型读取误导性段落的概率。

Comments 28 pages, 3 figures

Quantifying the Relationship Between Clinical Safety and Environmental Impact in Therapeutic LLMs

量化治疗型大语言模型（LLMs）的临床安全性与环境影响之间的关系

Alireza A. Safaei, Laura M. Vowels, Matthew J. Vowels, Apoorv Jha, Shekoufeh Rahimi

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.CY

AI总结 该研究量化治疗型LLMs的临床安全性与环境影响的关系，发现安全分布高端存在非线性权衡，额外测试时计算未必提升安全，提出动态模型选择等可持续部署方法。

From Prompting to Behavioral Alignment: Personalized LLM Judges for Recommendation Evaluation

从提示工程到行为对齐：用于推荐评估的个性化大语言模型评判者

Alireza S. Ziabari, Kat Ellis, Colleen Chan, Ding Tong

机构 * Netflix（网飞公司） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对离线推荐评估中LLM存在的双向合理化问题，提出序列行为对齐框架，经真实日志验证，其Macro-F1较零样本基线提升32.19%，可缓解失效模式且无需人工管道开销。

From Safety Documentation to Safety Knowledge Support: An Evidence-Grounded LLM Framework for Medical Devices

从安全文档到安全知识支持：面向医疗器械的基于证据的大语言模型框架

Tuhinangshu Gangopadhyay, Rasmus Adler, Peter Liggesmeyer, Jan Reich

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 针对现有LLM在医疗器械安全工程中源链接等支持不足的问题，本文提出基于证据的LLM框架，用于安全知识支持，不做安全判定，还给出对应评估策略。

Comments ISSRE 2026, AISQ, 8 pages

Logit-Boundary Geometric Belief Interfaces and Sparse Sheaf-Enclave Protocols: A Self-Contained Substrate for Secure Network Electronic Health Record (EHR) Interoperability

Logit边界几何置信接口与稀疏层束 enclaves 协议：安全网络电子健康记录（EHR）互操作性的自包含底层架构

Alvin Spivey, Yu Huang

机构 * Light Imaging Technologies, Inc.（光成像技术公司） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出Logit边界几何置信接口与稀疏层束 enclaves 协议，构建EHR互操作的自包含底层架构，经GBI BoundaryBench v0.1评估，Qwen3-4B-Instruct-2507在该接口下无符合要求的输出，为接受边界提供实证证据。

Comments 39 pages; executable Julia verification code included as ancillary material; companion public benchmark: https://github.com/AlvinSpivey/GBI-BoundaryBench

Decoding-Level Taboo: A Diagnostic Stress Test for LLM Robustness

解码层面禁忌：大语言模型鲁棒性的诊断压力测试

Tadanobu Chuyo Kamijo, Ori Rottenstreich, Javier Conde, Gonzalo Martínez, Pedro Reviriego

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 本文提出Decoding-Level Taboo这一零提示诊断压力测试，通过干预logit空间迫使大语言模型偏离标称路径，评估发现其鲁棒性与参数规模、指令对齐正相关，该测试还可用于生成合成数据集等场景。

DREAMS: Density Functional Theory Based Research Engine for Agentic Materials Simulation

DREAMS：基于密度泛函理论的智能体材料模拟研究引擎

Ziqi Wang, Hongshuo Huang, Hancheng Zhao, Changwen Xu, Shang Zhu, Jan Janssen, Venkatasubramanian Viswanathan

机构 * Department of Mechanical Engineering, University of Michigan, Ann Arbor, Michigan, USA（机械工程系，密歇根大学，安阿伯，密歇根州，美国） ； Max-Planck-Institute for Sustainable Materials, Materials Informatics, Düsseldorf, Germany（可持续材料研究所，材料信息学，杜塞尔多夫，德国） ； Mechanical Engineering, University of Michigan, Ann Arbor, Michigan, USA（机械工程，密歇根大学，安阿伯，密歇根州，美国） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出基于DFT的分层多智能体框架DREAMS，通过多层安全防护提升LLM智能体材料模拟的可信度，在Sol27LC基准等任务中表现优异，可平衡可信度与成本，推动自主材料模拟发展。

Comments 47 pages, 44 pages of Supporting Information

GRPO for Financial Advice Generation: Outperforming Commercial LLMs under CATE Evaluation

用于金融建议生成的GRPO：在CATE评估下优于商用大语言模型

Ofir Ben Shoham, Shrutendra Harsola, Vignesh Subrahmaniam, Shravan Mohan, Yakov Gazman, Oded Vainas

机构 * Intuit（英图易（金融科技公司）） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究将金融建议生成建模为强化学习问题，用GRPO微调开放权重大语言模型，经独立于评判者的CATE审计，其毛利润提升约为最强商用基线的两倍，表现优于商用大语言模型。

RedditPersona: A Modular Framework for Community-Conditioned LLM Adaptation from Reddit

RedditPersona: 一个用于从Reddit进行社区条件化LLM适配的模块化框架

Amirhossein Ghaffari, Ali Goodarzi, Huong Nguyen, Simo Hosio, Lauri Lovén, Ekaterina Gilman

机构 * Future Computing Group University of Oulu（未来计算组奥卢大学） ； Centre for Applied Computing University of Oulu（应用计算中心奥卢大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RedditPersona模块化框架，通过五种分组策略和QLoRA训练参数高效适配器，在112个Reddit子版块上评估社区条件化语言模型，发现适配器的行为可识别性与策略内在一致性相关，且所有策略在可识别性和分布相似性之间存在一致权衡。

Comments Accepted manuscript (CC BY 4.0). To appear in ACM CIKM 2026, Rome, Italy, Nov 7-11, 2026. DOI: https://doi.org/10.1145/3799682.3840182

Moxia: A Trust-First Neuro-Symbolic Execution Architecture for Self-Explaining Mathematical Reasoning

AXIOM: 一种用于可验证数学推理的信任优先神经符号执行架构

Alessio Bruno

机构 * Independent researcher（独立研究者） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AXIOM架构，将语言模型限制为规范化器，通过确定性计算机代数系统管道实现可验证的数学推理，在4个MATH类别上达到94.36%的正确率和100%的信任度。

Comments Preprint. 16 pages, 2 figures. Live interactive demo: https://huggingface.co/spaces/Squagghy/moxia. Paper artifact and dataset on Zenodo (concept-DOI): 10.5281/zenodo.21906509

FM-LLM: A frequency-enhanced mixture-of-experts framework for adapting LLMs to time series forecasting

FM-LLM：一种用于适配大语言模型（LLMs）进行时间序列预测的频率增强型混合专家框架

Rentao Gu, Yihang Ding, Junjie Li, Yi Ding, Weijing Sang, Xiaoli Huo, Xin Qin, Yuefeng Ji

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； China Telecom Research Institute（中国电信研究院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出FM-LLM框架，通过频谱标记对齐器与非对称MoE解码器等设计，在11个基准的多数指标上优于现有LLM基线，且具备良好迁移性。

Journal ref R. Gu, Y. Ding, J. Li, Y. Ding, W. Sang, X. Huo, X. Qin, and Y. Ji, Knowl.-Based Syst., vol.341, p.115776, 2026

BEST-KAG: Enhancing Question Answering of Building Engineering Standards with Multimodal Knowledge Graph Modeling and Large Language Model

BEST-KAG：通过多模态知识图谱建模与大语言模型增强建筑工程标准的问答能力

Jia-Rui Lin, Junxi Guo, Keyin Chen, Peng Pan

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出BEST-KAG框架，通过多模态知识图谱建模与大语言模型，解决建筑工程标准问答的现有局限，在相关评估指标上优于主流大语言模型。

Constructing Dynamic Master Logic Models as Knowledge Graphs for Complex System Diagnostics Using Retrieval-Augmented Large Language Models

构建动态主逻辑模型作为知识图谱，用于使用检索增强大语言模型的复杂系统诊断

Saman Marandi, Yu-Shu Hu, Mohammad Modarres

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本研究提出基于检索增强大语言模型的KG-DML框架，实现了复杂系统动态主逻辑模型的自动化构建，经低压冷却剂注入系统验证，可转化技术文档为可执行功能模型用于诊断分析。

Comments 36 Pages, 8 Figures

NetlistBench: Evaluating LLM Reliability in SPICE Netlist Recognition and Manipulation

NetlistBench：评估大型语言模型在SPICE网表识别与操作中的可靠性

Jiarui Ma, Jianghan Wang, Yuheng Ma, Ziyi Zhuang, Xiaoguang Liu

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究针对LLMs在SPICE网表识别与操作中的可靠性，构建含2342个案例的NetlistBench基准，发现其性能随结构复杂度变化，为电路设计自动化提供关键瓶颈参考。

Comments accepted by MLCAD 2026

Benchmarking Trustworthiness of SLMs: Pre-trained vs. Compressed

小型语言模型（SLM）的可信性基准测试：预训练模型与压缩模型的对比

Haokun Lin, Kaijie Zhu, Haobo Xu, Yichen Wu, Zhichao Lu, Qingfu Zhang, Zhenan Sun

机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； Tsinghua University（清华大学） ； Harvard Medical School（哈佛医学院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

AI总结 本研究评估SLM的可信性，发现量化压缩预训练模型比剪枝更能保留可信性，且量化压缩可靠大模型得到的SLM比从头训练的小型模型更优，知识蒸馏可进一步提升其可靠性。

Comments Published in IJCNN 2026

TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs

TRACES：用于评估大型语言模型科学推理中认知可靠性的基准

Valentin Rodionov, Shamil Assylbekov

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 该研究构建了名为TRACES的基准，发现30种大型语言模型在识别42篇不可靠科学论文的认知可靠性时表现不佳，仅少数模型能有效拒绝有缺陷前提，凸显科学部署需护栏。

Comments 16 pages + appendices. 4 figures in the main text

ComBodied Agents: a New Paradigm of Human-Centric Agentic AI

具身融合智能体：以人为中心的智能体人工智能新范式

Qianggang Ding, Xingyao Wang, Rui Feng, Zhibin Wang, Feixiang Yao, Kelong Mao, Hao Sun, Zhiyao Luo, Jiankai Tang, Lei Li, Jiadong Guo, Minheng Ni, Weicong Lin, Chenxi Yang, Hongxiang Gao, Zhenghua Chen, Yang Bai, Min Wu, Jun Cheng, Huazhu Fu, Dacheng Tao, Bang Liu

机构 * Université de Montréal（蒙特利尔大学） ； Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所） ； Institute of Advanced Intelligence and Computing (IAIC), A*STAR（新加坡科技研究局高级智能与计算研究所） ； Nanjing Medical University（南京医科大学） ； Nanjing University（南京大学） ； Renmin University of China（中国人民大学） ； University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） ； Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Southern University of Science and Technology（南方科技大学） ； Southeast University（东南大学） ； University of Glasgow（格拉斯哥大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 该研究提出以人为中心的 Combodied Agents 新范式，整合多类智能体能力形成闭环，聚焦人类状态轨迹建模，推动智能体 AI 从任务完成转向人类持续福祉。

Comments 38 pages, 6 figures, 10 tables

Evaluation and Hardening of LLM System Instructions Against Extraction via Encoding Attacks

用于评估和加固LLM系统指令对抗编码攻击的自动化框架

Anubhab Sahu, Diptisha Samanta, Reza Soosahabi

机构 * Keysight Technologies 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文提出自动化框架评估LLM系统指令在对抗编码攻击时的保密性，通过四个模型和46条指令测试发现结构化序列化攻击成功率高，提出基于Chain-of-Thought的缓解策略。

Comments An earlier version of this manuscript will appear in the proceedings of IEEE Cyber-AI 2026 Conference. Project source code is available at https://github.com/Keysight/LLM-EncodeGuard

Do Not Forget the Obvious - RISC: A Risk-Informed Slice-Coverage Protocol for Safe Autonomous Driving

勿忽视显而易见的内容——RISC：一种用于安全自动驾驶的风险感知切片覆盖协议

Fabian Hüger

机构 * CARIAD SE 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 该研究提出RISC协议，将安全问题转化为风险切片，通过风险引导选择提升自动驾驶关键故障发现率，可应用于多类自动驾驶子系统，补充现有测试验证流程。

Comments 14 pages, 3 figures, 5 tables. Accepted at the ECCV 2026 Workshop on Safe and Defensive Autonomous Driving (SDAD). Non-archival workshop paper

Video2Track: From Real-World Interaction Videos to Steerable Adversarial Closed-Track Testing for Automated Driving Systems

Video2Track：从真实世界交互视频到自动驾驶系统的可操控对抗性封闭赛道测试

Mengjie Tian, Xinrui Zhang, Tianyu Li, Peizhi Zhang, Guirong Zhou, Haojie Feng, Junpeng Huang, Qixiang Zhang, Lu Xiong

专题命中 安全评测 ：safety(abstract)

AI总结 本文提出Video2Track框架，通过两个耦合模块将真实驾驶视频交互场景转化为可操控对抗性封闭赛道测试，可复现实景交互场景并生成可控变体，为ADS验证提供可扩展方案。

Repurposing RGB-based Foundation Model for Depth Estimation on Thermal Images Using Hierarchical Supervision

利用分层监督将基于RGB的基础模型重新用于热图像的深度估计

Jie Hong, Tingtian Li, Xuesong Li, Xiao Li

机构 * The University of Hong Kong（香港大学） ； Commonwealth Scientific and Industrial Research Organisation (CSIRO)（英联邦科学与工业研究组织） 纠错

专题命中 安全评测 ：alignment(abstract)

AI总结 针对热图像深度估计中RGB基础模型分层表示利用不足的问题，提出RGB-HS框架，通过分层监督和基于图像质量的标记加权对齐，在基准上实现了有竞争力的性能。

Comments Accepted in IROS 2026

Variable Selection in the Context of AI Fairness

AI公平性语境下的变量选择

Ivan Luciano Danesi, Chiara Frigerio, Fabio Maccaferri, Giorgio Alessandro Motta, Pietro Zecca

专题命中 AI治理与伦理 ：trustworthy(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文针对AI公平性语境下的变量选择问题，提出将数学方法与伦理、社会意识融合的跨学科方案，主张保留所有潜在相关变量以减少隐含偏差，助力AI系统符合欧盟AI法案要求。

Co-constructing sociotechnical AI governance: participatory system mapping using algorithm registers

协同构建社会技术型AI治理：利用算法登记册的参与式系统映射

Íñigo de Troya, Maurus Enbergs, Neelke Doorn, Roel Dobbe

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.AI、cs.CY

AI总结 本文以荷兰某城市算法登记册为案例，通过多利益相关者参与式映射结合STPA分析，揭示登记册的遮蔽性，为多元社会技术型AI治理提供新视角。

Policy Convergence and Divergence Across National and Within Regional AI Strategies: A Policy Design Element Analysis

国家与区域内部AI战略间的政策趋同与分化：政策设计要素分析

Benjamin Faveri, Brie Bhasin

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本文分析74项国家及3项区域AI战略，发现国家AI战略在经济竞争力等方面横向趋同，在人权目标等方面分化，不同区域纵向趋同情况各异，为AI政策设计提供依据。

Dynamic Governance of Multi-LLM Agent Systems for Collaborative Conversational Outcomes

用于实现协作式对话结果的多大型语言模型智能体系统的动态管控

Alexander Liss, Nicholas Desmond, Santiago Gil Gallego

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI

AI总结 本文针对多LLM智能体对话崩溃问题，提出体验编排器EO管控层，通过三种机制提升顾问联系率，在6万次模拟中取得显著效果，为多智能体协作提供新方案。

Comments 13 pages, 3 figures, 3 tables. Submitted to AI Engineer World's Fair 2026

Continuous-Latent Predictive Modeling with Semantic Alignment for EEG-Language Foundation Models

面向EEG-语言基础模型的语义对齐连续隐式预测建模

Myeong-Ju Cho, Hye-Bin Shin, Seo-Hyun Lee, Seong-Whan Lee

专题命中 其他安全 ：alignment(title)；分类 cs.LG

AI总结 本文提出BLPM模型，通过CELP编码器与MQSD模块对齐EEG语义，解决EEG基础模型预训练的关键挑战，在多基准任务中实现良好泛化。

Comments 19 pages, 3 figures; supplementary material included

Learning-Based Behavior Planning for Automated Driving: Real-World Integration and Deployment

基于学习的自动驾驶行为规划：现实世界集成与部署

Jean-Pierre Busch, Guido Linden, Jan Bergmann, Lutz Eckstein

机构 * RWTH Aachen University（亚琛工业大学） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出结合机器学习与经典方法的混合规划架构，通过深度神经网络解读交通场景、优化监督层验证约束，经实车部署验证其在自动驾驶行为规划中的有效性。

Comments 17 pages; Accepted to be published as part of the 17. Uni-DAS e.V. Workshop "Fahrerassistenz und automatisiertes Fahren", September 29-30, 2026