大模型对齐与安全

Social Pressure Breaks Majority Voting in LLM Safety Panels

社交压力会破坏大语言模型安全评审团的多数投票机制

Yibo Hu, Jiaming Qu

机构 * Illinois Institute of Technology（伊利诺伊理工学院） ； Amazon（亚马逊） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL

AI总结 该研究发现，在LLM安全评审团中，同行的错误标签断言会大幅提升误报率，且评审员更易追随“不安全”方向，多数投票机制会因社交压力失效，还提供了部署前诊断方法。

Gradient Immunity: Null-Space Resistance to Malicious Fine-Tuning

梯度免疫：对恶意微调的零空间抗性

Yuxuan Huang, Xingyu Zeng, Tianhang Zheng, Chaochao Lu

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对部分保护开放权重（PPOW）发布场景的大型语言模型，提出单向安全门（USG）防御，可抑制恶意微调的有害梯度，提升恶意下游适应的成本且无需下游用户配合。

SafeCommit: Certifying When Memory-Grounded Agents May Safely Act

SafeCommit：验证基于记忆的智能体何时可以安全行动

Mayur Akewar, Ravi Ranjan

机构 * Florida International University（佛罗里达国际大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对长程智能体过早承诺的问题，提出SafeCommit风险控制层，通过构建合理潜在世界、共形动作证书等实现安全行动决策，还展示了安全-效用权衡。

Comments 14 pages, 6 tables, and 1 figure, target NeurIPS

TerraZero: Procedural Driving Simulation for Zero-Demonstration Self-Play at Scale

TerraZero：用于大规模零演示自博弈的过程式驾驶模拟

Zhouchonghao Wu, Akshay Rangesh, Weixin Li, Wei-Jer Chang, Zachary Lee, Saeed Bonab, Tim Wang, Wei Zhan

机构 * Applied Intuition（应用直觉） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究旨在训练强大自动驾驶智能体，提出TerraZero过程式驾驶模拟器和自博弈训练堆栈，其速度快、逼真且多样。通过特定方式填充地图生成无限场景，智能体仅靠强化学习训练，能零样本泛化，在多个基准测试中表现出色。

Comments Technical Report from Applied Intuition Research

An Inline Control Architecture for Language Models in Intelligent Transportation Systems

智能交通系统中语言模型的内联控制架构

Narendra Kumar Dewangan, Mounira Msahli

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对V2X系统中LLM的提示级攻击问题，提出Guarded-V2X内联语义护栏架构，经四阶段实验验证其可降低入侵成功率且不超延迟预算。

Comments 18 pages, under minor revision (IEEE transactions)

HALT: Verification-Aware Stopping for Retrieval-Augmented Search Agents

HALT：面向检索增强搜索智能体的感知验证式停止策略

Daeyoung Roh, Donghee Han

机构 * KAIST（韩国科学技术院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 该研究针对检索增强搜索智能体的冗余检索问题，提出轻量级感知验证停止策略HALT，在三个多跳QA基准上减少冗余搜索且保持精确匹配，无需修改宿主智能体。

Comments 23 pages, 6 figures. Code: https://github.com/Noverse0/HALT

TriCLE: Tri-Modal Vision-Language Reasoning for Edge-Deployed Fine-Grained Clustering

TriCLE：面向边缘部署的细粒度聚类的三模态视觉-语言推理

Kishor Datta Gupta, Md. Mahfuzur Rahman, Fahad Rahman, Ahmed Rafi Hasan, Faysal Mehrab Chowdhury, Mohd Ariful Haque, Roy George

机构 * Clark Atlanta University（克拉克亚特兰大大学） ； United International University（国际大学） ； North South University（北南大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 TriCLE是面向边缘部署的三模态视觉-语言系统，通过生成伪热视图和伪激光雷达深度，结合对齐策略实现细粒度飞机聚类，适配8GB内存边缘设备，验证与测试均取得良好性能。