大模型对齐与安全

ALIGNBEAM : Inference-Time Alignment Transfer via Cross-Vocabulary Logit Mixing

ALIGNBEAM: 通过跨词汇表logit混合实现推理时对齐迁移

Chirag Chawla, Pratinav Seth, Vinay Kumar Sankarapu

机构 * Lexsi Labs 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对领域微调降低大模型安全性的问题，提出无需训练的ALIGNBEAM方法，通过逐token翻译锚模型logit并选择最安全候选，实现跨词汇表的安全对齐迁移，保持任务准确性和推理开销。

AsFT: Anchoring Safety During LLM Fine-Tuning Within Narrow Safety Basin

AsFT：在窄安全盆地内锚定大语言模型微调期间的安全性

Shuo Yang, Qihui Zhang, Yuyang Liu, Xiaojun Jia, Kunpeng Ning, Jiayu Yao, Jigang Wang, Hailiang Dai, Yibing Song, Li Yuan

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.LG

AI总结 针对微调大语言模型时安全性易受损的问题，提出AsFT方法，通过惩罚与对齐方向正交的更新，将模型约束在窄安全盆地内，在提升任务性能的同时显著降低有害行为。

SAFER-Nav: Enhancing Safety for Visual Robot Navigation via Segmentation-Aware Fine-Tuning

SAFER-Nav: 通过分割感知微调增强视觉机器人导航的安全性

Geonyeong Ko, Giung Lee, Changjoo Nam

机构 * Dept. of Electronic Engineering, Sogang University（西江大学电子工程系） ； Dept. of Computer Science, Rice University（莱斯大学计算机科学系） ； Vertical Labs, Co., Ltd.（Vertical Labs 有限公司） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 提出SAFER-Nav方法，通过分割感知微调将障碍物边界和可通行空间结构直接融入导航策略，降低碰撞频率并保持目标到达性能。

Beyond Semantic Dominance: Cognitive Affective Reasoning and Empathetic Response Alignment in Audio Language Models

超越语义主导：音频语言模型中的认知情感推理与共情响应对齐

Zhixian Zhao, Shuiyuan Wang, Wenjie Tian, Jingbin Hu, Ziyu Zhang, Lei Xie

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 安全训练 ：alignment(title)

AI总结 提出CogAudio-LLM框架，通过构建LIME-440K数据集实现声学-语义解耦，设计EIPS思维链机制进行心理推理，并采用DR-SAPO优化策略平衡逻辑严谨性与共情质量，解决音频语言模型中的语义主导和情感认知不足问题。

Comments Accepted by Interspeech2026

Seeing Before Colliding: Anticipatory Safe RL with Frozen Vision-Language Models

碰撞前的预见：利用冻结视觉-语言模型的预期性安全强化学习

Samuel Tetteh, Cody Fleming

机构 * Iowa State University（爱荷华州立大学） 纠错

专题命中 安全训练 ：safety(abstract,abstract_cn)；分类 cs.LG

AI总结 提出VLM-Safe-RL框架，通过冻结视觉-语言模型生成预期性成本项，改进CMDP拉格朗日更新，在高速碰撞场景下实现安全与回报的平衡。

Comments 44pages, 26 figures

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

ASRU：激活引导与强化遗忘融合用于多模态大语言模型

Jiahui Guang, Haiyan Wang, Yingjie Zhu, Cuiyun Gao, Jing Li, Di Shao, Zhaoquan Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 ASRU提出一种可控多模态遗忘框架，通过激活引导和强化学习提升多模态大语言模型的遗忘效果和生成质量，实验显示在Qwen3-VL上遗忘效果提升24.6%，生成质量提升5.8倍。

Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering

学习对你的VLA说什么：基本无害的视觉语言动作模型引导

Hyun Joe Jeong, Gokul Swamy, Andrea Bajcsy

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 安全训练 ：harmlessness(abstract)；分类 cs.LG

AI总结 提出一个框架，通过交互式搜索语言序列改进闭环VLA任务性能，并学习一个改进头预测何时语言引导能提升性能，同时通过共形化防止有害干预。

Comments 22 pages, 14 tables, 14 figures

External Experience Serving in Production LLM Systems: A Deployment-Oriented Study of Quality-Cost Trade-offs

生产级LLM系统中的外部经验服务：面向部署的质量-成本权衡研究

Lin Sun, Heming Zhang, Xiangzheng Zhang

机构 * Qiyuan Tech（奇元科技） 纠错

专题命中 安全训练 ：prompt injection(abstract)；分类 cs.CL

AI总结 研究生产级LLM系统中注入外部经验的质量-成本权衡，发现选择性检索优于全局注入，且检索质量比增加Top-K更重要，成本效益因任务输出长度而异。

HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation

HERO: 基于环境观察的后见增强反思的智能体自蒸馏

Haoran Liu, Yuwei Zhang, Xiyao Li, Bohan Lyu, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Independent Researcher（独立研究员） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出HERO框架，利用环境观察作为局部对齐反馈进行自蒸馏，解决多轮设置中特权反馈与当前决策上下文不对齐导致的性能下降问题，在TauBench和WebShop上提升任务成功率并减少冗余轮次。

LLM-Enhanced Deep Reinforcement Learning for Task Offloading in Collaborative Edge Computing

LLM增强的深度强化学习用于协作边缘计算中的任务卸载

Hao Guo, Kaixiang Xu, Ziwu Ge, Lei Yang

专题命中 安全训练 ：alignment(abstract)

AI总结 提出LeDRL框架，结合轻量级LLM与自注意力增强DRL，通过结构化提示和语义反馈实现实时任务卸载，在成功率、收敛速度和实时性上优于基线方法。