大模型对齐与安全

Video-SafetyBench: A Benchmark for Safety Evaluation of Video LVLMs

Xuannan Liu, Zekun Li, Zheqi He, Peipei Li, Shuhan Xia, Xing Cui, Huaibo Huang, Xi Yang, Ran He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） ； Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院CASIA智能感知与计算中心） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

Comments Accepted by NeurIPS 2025 Dataset and Benchmark Track, Project page: https://liuxuannan.github.io/Video-SafetyBench.github.io/

ColorEcosystem: Powering Personalized, Standardized, and Trustworthy Agentic Service in massive-agent Ecosystem

Fangwen Wu, Zheng Wu, Jihong Wang, Yunku Chen, Ruiguang Pei, Heyuan Huang, Xin Liao, Xingyu Lou, Huarong Deng, Zhihui Fu, Weiwen Liu, Zhuosheng Zhang, Weinan Zhang, Jun Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； OPPO 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CL

Co-Sight: Enhancing LLM-Based Agents via Conflict-Aware Meta-Verification and Trustworthy Reasoning with Structured Facts

Hongwei Zhang, Ji Lu, Shiqing Jiang, Chenxiang Zhu, Li Xie, Chen Zhong, Haoran Chen, Yurui Zhu, Yongsheng Du, Yanqin Gao, Lingjun Huang, Baoli Wang, Fang Tan, Peng Zou

机构 * Zhongxing Telecom Equipment (ZTE), China（中兴通讯设备（ZTE），中国） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

Interpretable Multimodal Zero-Shot ECG Diagnosis via Structured Clinical Knowledge Alignment

Jialu Tang, Hung Manh Pham, Ignace De Lathauwer, Henk S. Schipper, Yuan Lu, Dong Ma, Aaqib Saeed

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； Singapore Management University（新加坡管理大学） ； Maxima Medical Center（马克斯医疗中心） ； Erasmus Medical Center（埃因霍温医学院） 纠错

专题命中 安全评测 ：alignment(title)；trustworthy(abstract)；分类 cs.LG

Is Safety Standard Same for Everyone? User-Specific Safety Evaluation of Large Language Models

Yeonjun In, Wonjoong Kim, Kanghoon Yoon, Sungchul Kim, Mehrab Tanjim, Sangwu Park, Kibum Kim, Chanyoung Park

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

Comments EMNLP 2025 Findings

Learning Noise-Resilient and Transferable Graph-Text Alignment via Dynamic Quality Assessment

Yuhang Liu, Minglai Shao, Zengyi Wo, Yunlong Chu, Bing Hao, Shengzhong Liu, Ruijie Wang, Jianxin Li

机构 * School of New Media and Communication, Tianjin University（新媒体与传播学院，天津大学） ； Baidu（百度） ； Shanghai Jiao Tong University（上海交通大学） ； School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北航） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

Training-Free Label Space Alignment for Universal Domain Adaptation

Dujin Lee, Sojung An, Jungmyung Wi, Kuniaki Saito, Donghyun Kim

机构 * Department of Artificial Intelligence, Korea University（人工智能系，韩国大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

Comments 22 pages, 12 figures

BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models

Yu Feng, Ben Zhou, Weidong Lin, Dan Roth

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CL

Journal ref ICLR 2025 (Oral)

Towards Interpretable and Trustworthy Time Series Reasoning: A BlueSky Vision

Kanghui Ning, Zijie Pan, Yushan Jiang, Anderson Schneider, Yuriy Nevmyvaka, Dongjin Song

机构 * School of Computing University of Connecticut Storrs, CT（计算学院 美国康涅狄格大学 斯托尔斯分校） ； Department of Machine Learning Research Morgan Stanley New York, NY（机器学习研究部 花旗集团 新 York） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.LG

ActAlign: Zero-Shot Fine-Grained Video Classification via Language-Guided Sequence Alignment

Amir Aghdam, Vincent Tao Hu, Björn Ommer

机构 * Department of Computer Science, Temple University（Temple大学计算机科学系） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

Comments Accepted to TMLR 2025 - Project page: https://amir-aghdam.github.io/act-align/

Machine Learning-Based Ultrasonic Weld Characterization Using Hierarchical Wave Modeling and Diffusion-Driven Distribution Alignment

Joshua R. Tempelman, Adam J. Wachtor, Eric B. Flynn

机构 * Data Science Group, Los Alamos National Laboratory, Los Alamos NM, USA（数据科学组，洛斯阿拉莫斯国家实验室） ； Engineering Institute, Los Alamos National Laboratory, Los Alamos NM, USA（工程学院，洛斯阿拉莫斯国家实验室） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

Comments 26 pages, 6 page appendix

Lightweight Safety Guardrails Using Fine-tuned BERT Embeddings

Aaron Zheng, Mansi Rana, Andreas Stolcke

机构 * Uniphore & UC Berkeley（Uniphore与伯克利大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

Comments To appear in Proceedings of COLING 2025

Journal ref Proc. 31st Intl. Conf. Computational Linguistics: Industry Track, COLING 2025, pp. 689-696

Beyond the Surface: Enhancing LLM-as-a-Judge Alignment with Human via Internal Representations

Peng Lai, Jianjie Zheng, Sijie Cheng, Yun Chen, Peng Li, Yang Liu, Guanhua Chen

机构 * Southern University of Science and Technology（南方科技大学） ； Tsinghua University（清华大学） ； Shanghai University of Finance and Economics（上海金融学院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

Comments Accepted to NeurIPS 2025

A Design Framework for operationalizing Trustworthy Artificial Intelligence in Healthcare: Requirements, Tradeoffs and Challenges for its Clinical Adoption

Pedro A. Moreno-Sánchez, Javier Del Ser, Mark van Gils, Jussi Hernesniemi

机构 * organization= Faculty of Medicine ； Health Technology, Tampere University , city= Tampere , postcode= 33100 , country= Finland ； organization= TECNALIA, Basque Research \& Technology Alliance (BRTA) , city= Derio , postcode= 48160 , country= Spain ； organization= Department of Mathematics, University of the Basque Country (UPV/EHU) , city= Leioa , postcode= 48940 , country= Spain ； organization= Tampere Heart Hospital, Tampere University Hospital , city= Tampere , postcode= 33520 , country= Finland 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

Template-Based Text-to-Image Alignment for Language Accessibility: A Study on Visualizing Text Simplifications

Belkiss Souayed, Sarah Ebling, Yingqiang Gao

机构 * University of Zurich（苏黎世大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

Unlocking LLM Safeguards for Low-Resource Languages via Reasoning and Alignment with Minimal Training Data

Zhuowei Chen, Bowei Zhang, Nankai Lin, Tian Hou, Lianxi Wang

机构 * Guangdong University of Foreign Studies（广东外语外贸大学） ； Guangzhou Key Laboratory of Multilingual Intelligent Processing（广州多语智能处理重点实验室） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

Comments Accepted to MRL Workshop at EMNLP 2025

Med-R$^2$: Crafting Trustworthy LLM Physicians via Retrieval and Reasoning of Evidence-Based Medicine

Keer Lu, Zheng Liang, Da Pan, Shusen Zhang, Guosheng Dong, Zhonghai Wu, Huang Leng, Bin Cui, Wentao Zhang

机构 * Center for Data Science, AAIS Peking University Beijing China（数据科学中心，北京大学北京中国） ； Baichuan Inc. Beijing China（北川公司北京中国） ； School of Computer Science Peking University Beijing China（计算机科学学院，北京大学北京中国） ； Peking University（北京大学） ； Baichuan Inc.（北川公司） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CL

Classical AI vs. LLMs for Decision-Maker Alignment in Health Insurance Choices

Mallika Mainali, Harsha Sureshbabu, Anik Sen, Christopher B. Rauch, Noah D. Reifsnyder, John Meyer, J. T. Turner, Michael W. Floyd, Matthew Molineaux, Rosina O. Weber

机构 * Information Science, Drexel University, Philadelphia, PA 19104 USA ； Parallax Advanced Research, 4035 Colonel Glenn Hwy, Beavercreek, OH 45431 USA ； Knexus Research, 174 Waterfront Street, Suite 310, National Harbor, Oxon Hill, MD 20745 USA ； Information Science \& Computer Science, Drexel University, Philadelphia, PA 19104 USA 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

Comments 15 pages, 3 figures. Accepted at the Twelfth Annual Conference on Advances in Cognitive Systems (ACS 2025)

Thin Bridges for Drug Text Alignment: Lightweight Contrastive Learning for Target Specific Drug Retrieval

Mallikarjuna Tupakula

机构 * Rochester Institute of Technology（罗切斯特技术研究所） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

A Flexible Method for Behaviorally Measuring Alignment Between Human and Artificial Intelligence Using Representational Similarity Analysis

Mattson Ogg, Ritwik Bose, Jamie Scharf, Christopher Ratto, Michael Wolmetz

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

'Too much alignment; not enough culture': Re-balancing cultural alignment practices in LLMs

Eric J. W. Orlowski, Hakim Norhashim, Tristan Koh Ly Wey

机构 * AI Singapore, National University of Singapore（AI新加坡，国立新加坡大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

Comments 8 pages, no figures

SafeMind: Benchmarking and Mitigating Safety Risks in Embodied LLM Agents

Ruolin Chen, Yinqian Sun, Jihang Wang, Mingyang Lv, Qian Zhang, Yi Zeng

机构 * Brain-inspired Cognitive AI Lab, Institute of Automation, Chinese Academy of Sciences（脑启发认知AI实验室，自动化研究所，中国科学院） ； Beijing Key Laboratory of Safe AI and Superalignment（北京安全AI与超对齐关键实验室） ； Beijing Institute of AI Safety and Governance（北京AI安全与治理研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Long-term AI（长期AI） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

Falcon: A Cross-Modal Evaluation Dataset for Comprehensive Safety Perception

Qi Xue, Minrui Jiang, Runjia Zhang, Xiurui Xie, Pei Ke, Guisong Liu

机构 * Laboratory of Intelligent Collaborative Computing University of Electronic Science and Technology of China（智能协同计算实验室 电子科技大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

VocalAgent: Large Language Models for Vocal Health Diagnostics with Safety-Aware Evaluation

Yubin Kim, Taehan Kim, Wonjune Kang, Eugene Park, Joonsik Yoon, Dongjae Lee, Xin Liu, Daniel McDuff, Hyeonhoon Lee, Cynthia Breazeal, Hae Won Park

机构 * Massachusetts Institute of Technology, USA（麻省理工学院, 美国） ； Seoul National University Hospital, South Korea（首尔国立大学医院, 韩国） ； Doctor Diary, South Korea（Doctor Diary, 韩国） ； Google Research, USA（谷歌研究, 美国） ； Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

Comments Accepted by Proceedings of Interspeech 2025; Website: https://han811.github.io/VocalAgent2025/

Safety Assessment of Scaffolding on Construction Site using AI

Sameer Prabhu, Amit Patwardhan, Ramin Karim

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

Large Vision-Language Model Alignment and Misalignment: A Survey Through the Lens of Explainability

Dong Shu, Haiyan Zhao, Jingyu Hu, Weiru Liu, Ali Payani, Lu Cheng, Mengnan Du

机构 * Northwestern University（西北大学） ； New Jersey Institute of Technology（新泽西理工学院） ； University of Bristol（布里斯托大学） ； Cisco Research（思科研究） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

Comments EMNLP 2025 Findings

Toxicity Red-Teaming: Benchmarking LLM Safety in Singapore's Low-Resource Languages

Yujia Hu, Ming Shan Hee, Preslav Nakov, Roy Ka-Wei Lee

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫 bin Zayed 人工智能大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL

Comments 9 pages, EMNLP 2025

NILE: Internal Consistency Alignment in Large Language Models

Minda Hu, Qiyuan Zhang, Yufei Wang, Bowei He, Hongru Wang, Jingyan Zhou, Liangyou Li, Yasheng Wang, Chen Ma, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong（香港城市大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

Comments This work has been accepted by EMNLP 2025

Stress Testing Deliberative Alignment for Anti-Scheming Training

Bronson Schoen, Evgenia Nitishinskaya, Mikita Balesni, Axel Højmark, Felix Hofstätter, Jérémy Scheurer, Alexander Meinke, Jason Wolfe, Teun van der Weij, Alex Lloyd, Nicholas Goldowsky-Dill, Angela Fan, Andrei Matveiakin, Rusheb Shah, Marcus Williams, Amelia Glaese, Boaz Barak, Wojciech Zaremba, Marius Hobbhahn

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

Sentinel Agents for Secure and Trustworthy Agentic AI in Multi-Agent Systems

Diego Gosmar, Deborah A. Dahl

机构 * Head of AI Tesisquare（Tesisquare人工智能负责人） ； Voiceinteroperability.ai Initiative Member（Voiceinteroperability.ai 创始成员） ； Linux Foundation AI & Data（Linux基金会人工智能与数据） ； AI & Data Torino, TO 10100, Italy（人工智能与数据Torino, TO 10100, Italy） ； Principal Conversational Technologies（对话技术首席专家） ； Plymouth Meeting, Pennsylvania, USA（美国宾夕法尼亚州Plymouth Meeting） 纠错

专题命中 安全评测 ：trustworthy(title)；prompt injection(abstract)；分类 cs.AI

Comments 25 pages, 12 figures