大模型对齐与安全

Learning of Robot Safety Policies via Adversarial Synthetic Scenarios

通过对抗性合成场景学习机器人安全策略

Nikolai Dorofeev, Alexey Odinokov, Rostislav Yavorskiy

机构 * National Research Institute of Automation and Applied Mathematics（国家自动化与应用数学研究所） 纠错

专题命中 红队测试 ：safety(title,abstract)；分类 cs.AI

AI总结 提出一个基于对抗性游戏的框架，通过红蓝两队对抗生成危险场景并迭代优化安全策略，以高效发现高风险边缘案例。

RedEdit: Agentic Red-Teaming of Image Safety Classifiers via MCTS-Guided Photo-Editing

RedEdit: 基于MCTS引导的照片编辑的图像安全分类器智能红队测试

Weilin Lin, Ziqi Lin, Zhenxing Zhou, Jianze Li, Tong Zhang, Hui Xiong, Li Liu

专题命中 红队测试 ：safety(title,abstract)

AI总结 提出RedEdit，一种基于视觉语言模型提议和蒙特卡洛树搜索规划的黑盒红队代理，通过组合编辑工具序列使不安全图像逃避检测，平均不到两次编辑即可使76.2%的不安全图像绕过分类器，同时保留93.0%的恶意语义。

LLMs for Secure Hardware Design and Related Problems: Opportunities and Challenges

利用大语言模型进行安全硬件设计及相关问题：机遇与挑战

Johann Knechtel, Ozgur Sinanoglu, Ramesh Karri

机构 * New York University Abu Dhabi（纽约大学阿布扎克分校） ； NYU Tandon School of Engineering（纽约大学塔能工程学院） 纠错

专题命中 红队测试 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文探讨了大语言模型在电子设计自动化和硬件安全领域的应用，分析了其在生成RTL代码、自动生成测试平台以及弥合高层次规格与硅芯片之间语义差距方面的潜力，同时指出了其引入的严重安全漏洞，并总结了当前研究的最新进展和未来研究方向。

Comments Accepted for 2026 IEEE Computer Society Annual Symposium on VLSI (ISVLSI)