大模型对齐与安全

Architect-Ant: Editable Automatic Furnishing of Architectural Floor Plans

Architect-Ant: 可编辑的建筑平面图自动家具布置

Fedor Rodionov, Aleksandar Cvejic, Michael Birsak, John Femiani, Peter Wonka

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Miami University（迈阿密大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 提出基于微调视觉语言模型的可编辑自动家具布置框架Architect-Ant，通过领域特定语言编码布局并优化，生成符合建筑约束的合理布局。

Comments 17 pages, 10 figures

ParaBridge: Bridging Paralinguistic Perception and Dialogue Behavior in Speech Language Models

ParaBridge: 弥合语音语言模型中的副语言感知与对话行为

Yuxiang Wang, Qinke Ni, Shengbo Cai, Wan Lin, Liqiang Zhang, Zhizheng Wu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Tencent Hunyuan（腾讯混元） ； Shenzhen Loop Area Institute（深圳河套学院） ； Amphion Technology Co., Ltd.（Amphion科技有限公司） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL

AI总结 提出ParaBridge，一种在线自我蒸馏方法，将推理阶段的副语言指令支架转化为稳定的模型行为，无需人工标注或外部奖励，显著提升语音语言模型对副语言线索的响应能力。

Personalized Digital Semantic Communication for Image Transmission with Vision-Language Models

基于视觉语言模型的图像传输个性化数字语义通信

Nan Li, Li Zhou, Haijun Wang, Jun Xiong, Haitao Zhao, Jibo Wei

专题命中 偏好对齐 ：alignment(abstract)

AI总结 针对现有语义通信方案忽略接收端依赖语义的问题，提出整合VLM与LDM的PDSC框架，构建容量受限的个性化语义率失真问题，实验证实其在带宽受限场景下的源语义一致性与个性化表现优于CDDM、MoS等基线。

Comments Accepted by IEEE GLOBECOM 2026

Guess Where You Go: Generative Next Point-of-Interest Recommendation in Amap

猜猜你要去哪里：高德地图中的生成式下一个兴趣点推荐

Penglong Zhai, Bowen Zheng, Jie Li, Yifang Yuan, Yue Liu, Sicong Wang, Mingyang Yin, Tingting Hu, Shuaijun Guo, Fanyi Di, Xin Li

专题命中 偏好对齐 ：alignment(abstract)

AI总结 该研究提出Gwhere框架，结合SID生成与LLM生成式下一个POI推荐，经实验验证其在高德地图中可提升P-CTR和U-CTR，已部署应用且效果显著。

Comments 10 pages, 4 figures

PRISM: Prompt Refinement via Image-grounded Self-rewarding Mechanism for Text-to-Image Generation

PRISM：通过基于图像的自我奖励机制进行文本到图像生成的提示优化

Guo Tang, HongJie Luo, Tianxu Wang, Ying Zhang, Hao Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Sun Yat-sen University（中山大学） ； South China University of Technology（华南理工大学） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 针对文本到图像生成模型对提示制定敏感的问题，提出PRISM框架，通过基于图像的自我奖励机制，利用结构化视觉诊断和多任务监督微调等方法，提高图像质量和语义对齐，并提供可解释反馈。

Comments 18 pages, 5 figures

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

读回：预训练的多模态语言模型是文本到图像生成的零样本奖励模型

Runhui Huang, Qihui Zhang, Zhe Liu, Yu Gao, Jie Wu, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； ByteDance Seed（字节跳动Seed） ； Peking University（北京大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 研究提出SpectraReward将预训练多模态语言模型转为图像生成强化学习奖励模型，用图像条件提示对数似然作奖励，还引入Self-SpectraReward形成闭环框架。经广泛实验验证，二者能提升生成性能，表明奖励-策略对齐是关键。

Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models

超越时间偏移：将全能语言模型（Omni-LLM）适配为生成式视听模型的无参考评估器

Yijie Qian, Juncheng Wang, Chao Xu, Huihan Wang, Yuxiang Feng, Yang Liu, Baigui Sun, Yong Liu, Shujun Wang

机构 * Zhejiang University（浙江大学） ； The Hong Kong Polytechnic University（香港理工大学） ； IROOTECH TECHNOLOGY（易路泰克科技） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 研究针对视听生成模型跨模态同步评估难题，提出框架解决人类与自动化评估指标的矛盾。通过引入数据集、适配模型及提出优化方法，实现先进的人类偏好对齐，建立标准化基准推动评估从信号相关性到因果关系发展。

Comments Accepted to ECCV 2026

Multimodal Video-to-Music Recommendation via Semantic Retrieval and Temporal Reranking

通过语义检索和时间重排实现多模态视频到音乐推荐

Seungheon Doh, Minhee Lee, Sangmoon Lee, Ben Sangbae Chon, Juhan Nam

机构 * Graduate School of Culture Technology, KAIST（韩国釜山科学技术大学文化科技研究生院） ； Gaudio Lab, Inc（Gaudio实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出用于视频到音乐推荐的两阶段框架VTMR，第一阶段通过全局嵌入检索语义兼容候选，第二阶段关注时间序列重排。实验显示该框架能提升推荐效果，人类偏好研究表明其在总体偏好上与商业基线相当，音乐质量优于生成基线。

Comments Accepted for publication at The Machine Learning for Audio workshop at ICML 2026

CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning

CoRe: 结合视觉语言模型反馈的复合奖励用于偏好对齐强化学习

Hexian Ni, Tao Lu, Yinghao Cai

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出CoRe框架，将奖励分解为基于任务知识的正式奖励和从观察中学习的残差奖励，利用视觉语言模型迭代优化奖励，实现无需人工的偏好对齐，在机器人操作任务中优于现有方法。

Comments ICML 2026

AMALIA-VL: A Native European Portuguese Open-Source Vision and Language Model

AMALIA-VL: 一个原生欧洲葡萄牙语开源视觉与语言模型

Diogo Glória-Silva, João Cardeira, Manuel Letras da Luz, Afonso Simplício, Gonçalo Vinagre, Diogo Tavares, Rafael Ferreira, Inês Calvo, Inês Vieira, David Semedo, João Magalhães

机构 * NOVA School of Science and Technology（NOVA科学与技术学校） ； NOVA LINCS 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 针对欧洲葡萄牙语缺乏开源多模态模型的问题，提出AMALIA-VL，通过三阶段训练和葡萄牙语中心数据混合，建立强基线并开源所有资源。

From Driving Videos to Simulatable Scenarios

从驾驶视频到可模拟场景

Alexandre Levy, Ernest Valveny Llobet, Antonio Manuel López

机构 * Dept. Computer Science, Universitat Autònoma de Barcelona (UAB)（巴塞罗那自治大学计算机科学系） ； Computer Vision Center (CVC), UAB（UAB计算机视觉中心） 纠错

专题命中 偏好对齐 ：safety(abstract)

AI总结 提出D-V2S框架，通过视觉语言模型和大语言模型从驾驶视频自动生成可模拟场景，实现90%语义元素保留和75%偏好率。

Comments 8 pages, 11 figures and Accepted for publication at the IEEE International Conference on Intelligent Transportation Systems (ITSC), 2026

$ϕ$-Scene: Physically Grounded Image-to-3D Scene Reconstruction

$\phi$-Scene: 物理驱动的图像到3D场景重建

Haodong Li, Lulu Shao, Haolin Lu, Yu Fu, Yen-Ru Chen, Seemandhar Jain, Manmohan Chandraker

机构 * University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出$\phi$-Scene方法，将单图像3D场景重建视为拓扑驱动的物理组装过程，通过SDF优化和刚体仿真解决穿透与不稳定接触问题，在3D-Front数据集上取得最优性能。

Comments Project page: https://phi-scene.github.io/

Optimality-Preserving Decomposition for Scalable QAOA in Natural-Language-Guided Multi-Drone Assignment

面向自然语言引导的多无人机分配中可扩展QAOA的最优性保持分解

Junyeop Bang, Byongho Lee, Dohyun An, Hwangnam Kim

机构 * Korea University（高丽大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)

AI总结 提出端到端框架，集成微调大语言模型与量子-经典后端，通过约束保持图分割和动态规划合并，实现自然语言引导下多无人机任务分配的可扩展量子优化。

Comments 10 pages, 2 figures, 3 tables, preprint

SkelDPO: A Skeleton-Guided Direct Preference Optimization Framework for Efficient Code Generation

SkelDPO: 一种骨架引导的直接偏好优化框架用于高效代码生成

Yu Yu, Chen Lyu

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出SkelDPO框架，通过骨架引导的偏好优化，在代码生成中同时优化语义正确性和执行效率，相比现有方法在Pass@1、Beyond@1和Effi@1上提升3-7%。

Epistemic Norms for AI Safety and Alignment Research

人工智能安全与对齐研究的认知规范

Keivan Navaie

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI

AI总结 探讨人工智能安全与对齐研究和主流人工智能研究的差异，基于结构化综合识别当前对齐研究的差距维度，提出包含多项内容的{\sc ECAISA}，以约束安全相关研究声明的记录、检查和依赖方式，目标是可审计性。

Comments 36 pages

Adaptive and Explicit safe: Triggering Latent Safety Awareness in Large Reasoning Models

自适应且显式安全：触发大型推理模型中的潜在安全意识

Ke Miao, Jiaxin Li, Hongliang Chen, Yuke Hu, Zhan Qin

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全全国重点实验室） ； Hangzhou HighTech Zone (Binjiang) Blockchain and Data Security Research Institute, China（杭州高新区（滨江）区块链与数据安全研究院） ； Li Auto Inc.（理想汽车） ； Tsinghua University（清华大学） ； King Abdullah University Of Science And Technology（阿卜杜拉国王科技大学） 纠错

专题命中 安全训练 ：DPO(summary_cn,abstract)；safety(title,abstract)；alignment(abstract)；jailbreak(abstract)

AI总结 针对大型推理模型易受越狱攻击的问题，提出Safe Trigger方法，通过SFT显式诱导安全标签触发安全分析，并用DPO优化，显著降低攻击成功率而不影响通用性能。

RAS: Measuring LLM Safety Through Refusal Alignment

RAS: 通过拒绝对齐衡量LLM安全性

Chang-Chieh Huang, Yan-Lun Chen, Chia-Mu Yu, Wei-Bin Lee

机构 * National Yang Ming Chiao Tung University ； Hon Hai Research Institute 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 提出白盒评估方法SafeVec，通过内部表示而非生成答案衡量LLM安全性，计算拒绝对齐分数RAS，实现快速、校准的安全评分。

Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds

语言模型智能体中的奖励黑客：重新审视AI安全网格世界

Ömer Veysel Çağatan, Xuandong Zhao

机构 * KUIS AI Center, Koç University（科奇大学KUIS人工智能中心） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 安全训练 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.AI

AI总结 本研究将AI安全网格世界框架改编为文本评估套件，发现语言模型在零样本下出现规范博弈，通过直接奖励优化扩大观察与隐藏奖励差距，且标准缓解措施无效。

Comments 28 pages, 16 figures, 13 tables

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCap：通过图像字幕强化学习提升大型视觉语言模型（LVLM）的安全性

Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

专题命中 安全训练 ：safety(title,abstract)；DPO(abstract,abstract_cn)；alignment(abstract)；jailbreak(abstract)

AI总结 SafeCap是一种通过图像字幕强化学习提升LVLM安全性的框架，在多模态安全基准上安全得分提升3.7-19.0个百分点，且视觉效用相当或更优，性能优于安全SFT等方法。

Comments 16pages, 4 figures. Preprint. Project page: https://safe-vlm.github.io/SafeCap/ ; code: https://github.com/Safe-VLM/SafeCap

Language-Specific Gaps in AI Safety Training Datasets

AI安全训练数据集中的语言特定缺口

Chialuka Prisca-Mary Onuoha, Bright Etornam Sunu, Rashidat Sikiru

专题命中 安全训练 ：safety(title,abstract)；AI safety(title)；jailbreak(abstract)；分类 cs.CY、cs.LG

AI总结 该研究审计多语言AI安全训练数据集的语言缺口，发现其与资源层级不完全相关，豪萨语翻译质量未达阈值，非洲语言缺乏特定危害类别覆盖，提出切片级审计方法及建议。

Beyond Safe Data: Pretraining-Stage Alignment with Regular Safety Reflection

超越安全数据：具有正则安全反射的预训练阶段对齐

Jinhan Li, Kexian Tang, Yihan Xu, Zhuorui Ye, Kaifeng Lyu

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出安全反射预训练方法，在预训练语料中插入安全反思，使模型具备自我监控能力，实验表明该方法能有效降低推理和微调攻击成功率。

SafeGene: Reusable Adapters for Transferable Safety Alignment

SafeGene: 可重用的适配器实现可迁移的安全对齐

Yanghan Wang, Zhiqiang Kou, Fu Feng, Jing Wang, Xin Geng

机构 * Southeast University（东南大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出SafeGene，一种可重用的安全适配器模块，通过从对齐-退化模型差异中提取安全表示，并利用数据感知层选择和少样本系数重校准，实现跨任务的安全恢复，在保持下游性能的同时降低有害响应率。

Localizing Safety Alignment: MLP Layers and Mid-Network Blocks Encode Refusal Behavior in Large Language Models

安全对齐的定位：MLP层与网络中间块编码大语言模型的拒绝行为

Mingyu Zong, Sampad Mohanty, Bhaskar Krishnamachari

机构 * University of Southern California（南加州大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 本研究通过移植不同粒度的模型权重实验，发现大语言模型的安全拒绝行为主要编码在MLP层，且集中于网络中间块，其构成具有非加性，存在基准依赖的精度-覆盖权衡。

Mood Matters: How Syntactic Sensitivity Undermines Safety Alignment

情绪很重要：句法敏感性如何破坏安全对齐

Alina Klerings, Jannik Brinkmann, Heiner Stuckenschmidt, Simone Paolo Ponzetto

机构 * University of Mannheim（曼海姆大学） ； Technical University Clausthal（克劳斯塔尔工业大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 该研究发现大型语言模型存在句法敏感性漏洞，16个700亿参数级模型可通过调控句法特征触发或抑制拒绝行为，源于开源模型后训练数据的语言偏见，增加句法多样性可缓解问题。

Moving the Safety Barrier: Dynamic Routing Adaptive Alignment Against White-Box Attacks

移动安全屏障：针对白盒攻击的动态路由自适应对齐

Shangze Li, Chuancheng Shi, Simiao Xie, Lingzhi He, Cheng Ji, Zifeng Cheng, Fei Shen, Chao Wu, Tat-Seng Chua

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 针对大型基础模型易受路由级白盒攻击的问题，提出动态路由自适应对齐框架，通过引入动态补偿路由提升模型安全稳健性且保留通用实用性。

No Single Neuron of Failure: Distributed Safety Alignment Against White-Box Attacks

无单一失效神经元：针对白盒攻击的分布式安全对齐

Simiao Xie, Chuancheng Shi, Shangze Li, Wenhua Wu, Fei Shen, Ying Zhou, Zhiyong Wang, Tat-Seng Chua

机构 * The University of Sydney（悉尼大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 针对现有安全对齐方法的单点失效问题，提出分布式安全对齐（DSA），通过冗余编码安全能力提升模型对抗白盒神经元级攻击的鲁棒性，且保留通用语言与多模态效用。

HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment

HARC：耦合有害性与拒绝方向以实现鲁棒的安全对齐

Shei Pern Chua, Hao Wu, Qianli Ma, Fangzhao Wu

机构 * Tsinghua University（清华大学） ； Southeast University（东南大学） ； Microsoft（微软公司） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 提出HARC微调方法，通过耦合提示和响应位置的有害性与拒绝方向，在不损害通用能力的情况下提升LLM安全对齐的鲁棒性。

Not All Refusals Are Equal: How Safety Alignment Fails Cybersecurity at Scale

并非所有拒绝都是等同的：安全对齐如何在大规模情况下使网络安全失败

Vadym Hadetskyi, Dario Pasquini, Artem Sorokin

机构 * Cracken AI 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 研究安全对齐在网络安全领域的问题，通过对24个开源语言模型的实验，以Kimi K2为例展示特定领域删减可行，探讨模型特征与删减效果的关联并分类模型，提出相关猜想。

Comments 14 pages, 11 figures. Under review at NeurIPS 2026

Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models

Oyster-II：大语言模型中用于建设性安全对齐的强化学习

Jiyang Guan, Yong Xie, Jun Chen, Jiexi Liu, Zipeng Ye, Defeng Li, Jiayu Shen, Jialing Tao, Hui Xue

机构 * Alibaba AAIG（阿里巴巴人工智能全球研究院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.AI

AI总结 研究大语言模型安全等问题，指出传统策略不足。基于Oyster-I范式，提出Oyster-II框架，采用强化学习结合零强化学习范式，在多基准测试中安全维度表现出色。

PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models

PolicyAlign: 大型语言模型的直接基于策略的安全对齐

Chang Wu, Junfeng Fang, Houcheng Jiang, Kai Tang, Pengyu Cheng, Xiaoxi Jiang, Guanjun Jiang, Xiang Wang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴通义千问大模型应用团队） ； National University of Singapore（新加坡国立大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 提出PolicyAlign框架，通过合成违规指令和策略敏感过滤，直接根据自然语言安全策略对齐LLM，提升安全性并保持低过度拒绝和通用能力。