Dawn Song

RL Grokking Recipe: How Does RL Unlock and Transfer New Algorithms in LLMs?

Yiyou Sun, Yuhan Cao, Pohao Huang, Haoyue Bai, Hannaneh Hajishirzi, Nouha Dziri, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Wisconsin, Madison（威斯康星大学麦迪逊分校） ； University of Washington（华盛顿大学） ； Ai2 Main dataset contributor（Ai2 主数据贡献者） 纠错

AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs

Feiyang Kang, Yifan Sun, Bingbing Wen, Si Chen, Dawn Song, Rafid Mahmood, Ruoxi Jia

机构 * Virginia Tech（弗吉尼亚理工大学） ； UIUC（伊利诺伊大学香槟分校） ； University of Washington（华盛顿大学） ； UC Berkeley（加州大学伯克利分校） ； University of Ottawa（渥太华大学） ； NVIDIA（英伟达） 纠错

Comments Published as a conference paper at COLM 2025

AccidentBench: Benchmarking Multimodal Understanding and Reasoning in Vehicle Accidents and Beyond

Shangding Gu, Xiaohan Wang, Donghao Ying, Haoyu Zhao, Runing Yang, Ming Jin, Boyi Li, Marco Pavone, Serena Yeung-Levy, Jun Wang, Dawn Song, Costas Spanos

机构 * UC Berkeley（伯克利大学） ； Stanford（斯坦福大学） ； UCL（伦敦大学学院） ； Virginia Tech（弗吉尼亚理工学院） ； Nvidia（英伟达公司） 纠错

Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs

Will Cai, Tianneng Shi, Xuandong Zhao, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

SeCodePLT: A Unified Platform for Evaluating the Security of Code GenAI

Yuzhou Nie, Zhun Wang, Yu Yang, Ruizhe Jiang, Yuheng Tang, Xander Davies, Yarin Gal, Bo Li, Wenbo Guo, Dawn Song

机构 * UC Santa Barbara（加州大学圣巴巴拉分校） ； UC Berkeley（加州大学伯克利分校） ； VirtueAI ； UIUC（伊利诺伊大学香槟分校） ； UChicago（芝加哥大学） ； University of Oxford（牛津大学） ； UK AI Safety Institute（英国人工智能安全研究所） 纠错

Comments Accepted to NeurIPS D&B track 2025

Wrangling Entropy: Next-Generation Multi-Factor Key Derivation, Credential Hashing, and Credential Generation Functions

Colin Roberts, Vivek Nair, Dawn Song

Comments Work in progress. Learn more about MFKDF at https://mfkdf.com and Multifactor at https://multifactor.com

LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage

Yuzhou Nie, Zhun Wang, Ye Yu, Xian Wu, Xuandong Zhao, Wenbo Guo, Dawn Song

Comments Accepted by COLM 2025

Advancing Science- and Evidence-based AI Policy

Rishi Bommasani, Sanjeev Arora, Jennifer Chayes, Yejin Choi, Mariano-Florentino Cuéllar, Li Fei-Fei, Daniel E. Ho, Dan Jurafsky, Sanmi Koyejo, Hima Lakkaraju, Arvind Narayanan, Alondra Nelson, Emma Pierson, Joelle Pineau, Scott Singer, Gaël Varoquaux, Suresh Venkatasubramanian, Ion Stoica, Percy Liang, Dawn Song

Comments This is the author's version of the work. It is posted here by permission of the AAAS for personal use, not for redistribution. The definitive version was published in Science on July 31, 2025

Agentic Web: Weaving the Next Web with AI Agents

Yingxuan Yang, Mulei Ma, Yuxuan Huang, Huacan Chai, Chenyu Gong, Haoran Geng, Yuanjian Zhou, Ying Wen, Meng Fang, Muhao Chen, Shangding Gu, Ming Jin, Costas Spanos, Yang Yang, Pieter Abbeel, Dawn Song, Weinan Zhang, Jun Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； University of Liverpool（利物浦大学） ； University of California Berkeley（加州大学伯克利分校） ； Shanghai Innovation Institute（上海创新研究院） ； University of California Davis（加州大学戴维斯分校） ； Virginia Tech（弗吉尼亚理工大学） ； University College London（伦敦大学学院） 纠错

MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them

Weichen Zhang, Yiyou Sun, Pohao Huang, Jiayue Pu, Heyue Lin, Dawn Song

Comments Code and data: https://github.com/sunblaze-ucb/mirage-bench.git

Aligning AI with Public Values: Deliberation and Decision-Making for Governing Multimodal LLMs in Political Video Analysis

Tanusree Sharma, Yujin Potter, Zachary Kilhoffer, Yun Huang, Dawn Song, Yang Wang

PromptArmor: Simple yet Effective Prompt Injection Defenses

Tianneng Shi, Kaijie Zhu, Zhun Wang, Yuqi Jia, Will Cai, Weida Liang, Haonan Wang, Hend Alzahrani, Joshua Lu, Kenji Kawaguchi, Basel Alomair, Xuandong Zhao, William Yang Wang, Neil Gong, Wenbo Guo, Dawn Song

机构 * UC Berkeley（加州大学伯克利分校） ； UC Santa Barbara（加州大学圣巴巴拉分校） ； Duke University（杜克大学） ； National University of Singapore（新加坡国立大学） ； King Abdulaziz City for Science and Technology（国王阿卜杜勒阿齐兹城市科学技术学院） ； University of Washington（华盛顿大学） 纠错

WebGuard: Building a Generalizable Guardrail for Web Agents

Boyuan Zheng, Zeyi Liao, Scott Salisbury, Zeyuan Liu, Michael Lin, Qinyuan Zheng, Zifan Wang, Xiang Deng, Dawn Song, Huan Sun, Yu Su

机构 * The Ohio State University（俄亥俄州立大学） ； Scale AI ； University of California, Berkeley（加州大学伯克利分校） 纠错

Comments We publicly release WebGuard, along with its annotation tools and fine-tuned models, to facilitate open-source research on monitoring and safeguarding web agents. All resources are available at https://github.com/OSU-NLP-Group/WebGuard

Pushing the Limits of Safety: A Technical Report on the ATLAS Challenge 2025

Zonghao Ying, Siyang Wu, Run Hao, Peng Ying, Shixuan Sun, Pengyu Chen, Junze Chen, Hao Du, Kaiwen Shen, Shangkun Wu, Jiwei Wei, Shiyuan He, Yang Yang, Xiaohai Xu, Ke Ma, Qianqian Xu, Qingming Huang, Shi Lin, Xun Wang, Changting Lin, Meng Han, Yilei Jiang, Siqi Lai, Yaozhi Zheng, Yifei Song, Xiangyu Yue, Zonglei Jing, Tianyuan Zhang, Zhilei Zhu, Aishan Liu, Jiakai Wang, Siyuan Liang, Xianglong Kong, Hainan Li, Junjie Mu, Haotong Qin, Yue Yu, Lei Chen, Felix Juefei-Xu, Qing Guo, Xinyun Chen, Yew Soon Ong, Xianglong Liu, Dawn Song, Alan Yuille, Philip Torr, Dacheng Tao

机构 * Beihang University（北航） ； Zhongguancun Laboratory（中关村实验室） ； Hefei Comprehensive National Science Center（合肥综合性国家科学中心） ； ETH Zürich（苏黎世联邦理工学院） ； Pengcheng Laboratory（鹏城实验室） ； Tsinghua University（清华大学） ； University of California, Berkeley（加州大学伯克利分校） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Oxford（牛津大学） ； Meta ； Google Brain（谷歌脑） ； Nanyang Technological University（南洋理工大学） ； Aarhus University（哥本哈根大学） ； China University of Mining（中国矿业大学） ； University of Electronic Science（电子科学大学） ； School of Electronic, Electrical（电子、电气与通信工程学院） ； Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, CAS（智能信息处理国家重点实验室） ； School of Computer Science（计算机科学学院） ； Key Laboratory of Big Data Mining（大数据挖掘国家重点实验室） ； Zhejiang Gongshang University（浙江工商大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江学院） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

Comments AdvML@CVPR Challenge Report

Machine Bullshit: Characterizing the Emergent Disregard for Truth in Large Language Models

Kaiqu Liang, Haimin Hu, Xuandong Zhao, Dawn Song, Thomas L. Griffiths, Jaime Fernández Fisac

Comments Project page, code & data: https://machine-bullshit.github.io

The Singapore Consensus on Global AI Safety Research Priorities

Yoshua Bengio, Tegan Maharaj, Luke Ong, Stuart Russell, Dawn Song, Max Tegmark, Lan Xue, Ya-Qin Zhang, Stephen Casper, Wan Sie Lee, Sören Mindermann, Vanessa Wilfred, Vidhisha Balachandran, Fazl Barez, Michael Belinsky, Imane Bello, Malo Bourgon, Mark Brakel, Siméon Campos, Duncan Cass-Beggs, Jiahao Chen, Rumman Chowdhury, Kuan Chua Seah, Jeff Clune, Juntao Dai, Agnes Delaborde, Nouha Dziri, Francisco Eiras, Joshua Engels, Jinyu Fan, Adam Gleave, Noah Goodman, Fynn Heide, Johannes Heidecke, Dan Hendrycks, Cyrus Hodes, Bryan Low Kian Hsiang, Minlie Huang, Sami Jawhar, Wang Jingyu, Adam Tauman Kalai, Meindert Kamphuis, Mohan Kankanhalli, Subhash Kantamneni, Mathias Bonde Kirk, Thomas Kwa, Jeffrey Ladish, Kwok-Yan Lam, Wan Lee Sie, Taewhi Lee, Xiaojian Li, Jiajun Liu, Chaochao Lu, Yifan Mai, Richard Mallah, Julian Michael, Nick Moës, Simon Möller, Kihyuk Nam, Kwan Yee Ng, Mark Nitzberg, Besmira Nushi, Seán O hÉigeartaigh, Alejandro Ortega, Pierre Peigné, James Petrie, Benjamin Prud'Homme, Reihaneh Rabbany, Nayat Sanchez-Pi, Sarah Schwettmann, Buck Shlegeris, Saad Siddiqui, Aradhana Sinha, Martín Soto, Cheston Tan, Dong Ting, William Tjhi, Robert Trager, Brian Tse, Anthony Tung K. H., Vanessa Wilfred, John Willes, Denise Wong, Wei Xu, Rongwu Xu, Yi Zeng, HongJiang Zhang, Djordje Žikelić

Comments Final report from the "2025 Singapore Conference on AI (SCAI)" held April 26: https://www.scai.gov.sg/2025/scai2025-report

MLAN: Language-Based Instruction Tuning Preserves and Transfers Knowledge in Multimodal Language Models

Jianhong Tu, Zhuohao Ni, Nicholas Crispino, Zihao Yu, Michael Bendersky, Beliz Gunel, Ruoxi Jia, Xin Liu, Lingjuan Lyu, Dawn Song, Chenguang Wang

机构 * Washington University in St. Louis（华盛顿大学圣路易斯分校） ； The University of British Columbia（不列颠哥伦比亚大学） ； Google Research（谷歌研究） ； Virginia Tech（弗吉尼亚理工大学） ； University of California, Davis（加州大学戴维斯分校） ； Sony AI（索尼人工智能） ； University of California, Berkeley（加州大学伯克利分校） 纠错

Decompiling Smart Contracts with a Large Language Model

Isaac David, Liyi Zhou, Dawn Song, Arthur Gervais, Kaihua Qin

OMEGA: Can LLMs Reason Outside the Box in Math? Evaluating Exploratory, Compositional, and Transformative Generalization

Yiyou Sun, Shawn Hu, Georgia Zhou, Ken Zheng, Hannaneh Hajishirzi, Nouha Dziri, Dawn Song

The California Report on Frontier AI Policy

Rishi Bommasani, Scott R. Singer, Ruth E. Appel, Sarah Cen, A. Feder Cooper, Elena Cryst, Lindsey A. Gailmard, Ian Klaus, Meredith M. Lee, Inioluwa Deborah Raji, Anka Reuel, Drew Spence, Alexander Wan, Angelina Wang, Daniel Zhang, Daniel E. Ho, Percy Liang, Dawn Song, Joseph E. Gonzalez, Jonathan Zittrain, Jennifer Tour Chayes, Mariano-Florentino Cuellar, Li Fei-Fei

Comments Authored by the Joint California Policy Working Group on AI Frontier Models

Can LLMs Ask Good Questions?

Yueheng Zhang, Xiaoyuan Liu, Yiyou Sun, Atheer Alharbi, Hend Alzahrani, Tianneng Shi, Basel Alomair, Dawn Song

机构 * University of California Berkeley（加州大学伯克利分校） ； KACST（王国立科学与技术委员会） ； University of Washington（华盛顿大学） 纠错

AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents

Zhun Wang, Vincent Siu, Zhe Ye, Tianneng Shi, Yuzhou Nie, Xuandong Zhao, Chenguang Wang, Wenbo Guo, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） ； Washington University, Saint Louis（华盛顿大学圣路易斯分校） 纠错

SoK: Watermarking for AI-Generated Content

Xuandong Zhao, Sam Gunn, Miranda Christ, Jaiden Fairoze, Andres Fabrega, Nicholas Carlini, Sanjam Garg, Sanghyun Hong, Milad Nasr, Florian Tramer, Somesh Jha, Lei Li, Yu-Xiang Wang, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； Columbia University（哥伦比亚大学） ； Cornell University（康奈尔大学） ； Anthropic ； Oregon State University（俄勒冈州立大学） ； Google DeepMind（谷歌DeepMind） ； ETH Zurich（苏黎世联邦理工学院） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

Comments IEEE S&P 2025

Data Shapley in One Training Run

Jiachen T. Wang, Prateek Mittal, Dawn Song, Ruoxi Jia

机构 * Princeton University（普林斯顿大学） ； UC Berkeley（加州大学伯克利分校） ； Virginia Tech（弗吉尼亚理工学院） 纠错

Comments ICLR 2025 Outstanding Paper Runner-Up

Political Neutrality in AI Is Impossible- But Here Is How to Approximate It

Jillian Fisher, Ruth E. Appel, Chan Young Park, Yujin Potter, Liwei Jiang, Taylor Sorensen, Shangbin Feng, Yulia Tsvetkov, Margaret E. Roberts, Jennifer Pan, Dawn Song, Yejin Choi

Comments Code: https://github.com/jfisher52/Approximation_Political_Neutrality

COSMIC: Generalized Refusal Direction Identification in LLM Activations

Vincent Siu, Nicholas Crispino, Zihao Yu, Sam Pan, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

机构 * Washington University in St. Louis（华盛顿大学圣路易斯分校） ； University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Cruz（加州大学圣克ruz分校） 纠错

Comments 9 pages, Accepted to ACL 2025 Findings

GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning

Zhen Xiang, Linzhi Zheng, Yanjie Li, Junyuan Hong, Qinbin Li, Han Xie, Jiawei Zhang, Zidi Xiong, Chulin Xie, Carl Yang, Dawn Song, Bo Li

机构 * University of Georgia（佐治亚大学） ； University of Chicago（芝加哥大学） ； UIUC（伊利诺伊大学香槟分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California, Berkeley（加州大学伯克利分校） ； Emory University（埃默里大学） ； Virtue AI 纠错

Comments Accepted to ICML 2025

A Critical Evaluation of Defenses against Prompt Injection Attacks

Yuqi Jia, Zedian Shao, Yupei Liu, Jinyuan Jia, Dawn Song, Neil Zhenqiang Gong

机构 * Duke University（杜克大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； UC Berkeley（伯克利大学） 纠错

Type-Constrained Code Generation with Language Models

Niels Mündler, Jingxuan He, Hao Wang, Koushik Sen, Dawn Song, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

SoK: The Gap Between Data Rights Ideals and Reality

Yujin Potter, Ella Corren, Gonzalo Munilla Garrido, Chris Hoofnagle, Dawn Song