大模型对齐与安全

Bias Fitting to Mitigate Length Bias of Reward Model in RLHF

偏差拟合以缓解RLHF中奖励模型的长度偏差

Kangwen Zhao, Jianfeng Cai, Jinhua Zhu, Ruopei Sun, Dongyun Xue, Wengang Zhou, Li Li, Houqiang Li

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：RLHF(title,title_cn)；DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出FiMi-RM框架，通过自学习长度与奖励的非线性关系并解耦，有效缓解RLHF中奖励模型因长度偏差导致的奖励破解问题。

Comments 16 pages, 12 figures. Accepted to ACL 2026

Distribution Preference Optimization: A Fine-grained Perspective for LLM Unlearning

分布偏好优化：大语言模型遗忘的细粒度视角

Kai Qin, Jiaqi Wu, Jianxiang He, Haoyuan Sun, Yifei Zhao, Xu Wang, Bin Liang, Yongzhe Chang, Cheng Li, Tiantian Zhang, Houde Liu

机构 * Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Jianghuai Advanced Technology Center（江淮先进技术中心） ； University of Technology Sydney（悉尼大学） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型遗忘中负偏好优化缺乏显式正信号的问题，提出分布偏好优化（DiPO），通过选择性放大或抑制模型高置信度输出logits构建偏好分布对，实现细粒度遗忘，在TOFU和MUSE基准上取得最优遗忘质量与模型效用的平衡。

Comments 20 pages

DynamicPO: Dynamic Preference Optimization for Recommendation

DynamicPO：基于推荐的动态偏好优化

Xingyu Hu, Kai Zhang, Jiancan Wu, Shuli Wang, Chi Wang, Wenshuai Chen, Yinhua Zhu, Haitao Wang, Xingxing Wang, Xiang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； Meituan（美团） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

AI总结 本文提出DynamicPO框架，通过动态边界负样本选择和双边距动态beta调整，解决偏好优化崩溃问题，提升推荐准确性。

Comments DASFAA 2026 Best Paper

DRM: Diffusion-based Reward Model With Step-wise Guidance

DRM: 基于扩散的奖励模型与逐步引导

Jaxon Zhang, Binxin Yang, Hubery Yin, Chen Li, Jing Lyu

机构 * Peking University（北京大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 提出基于扩散的奖励模型（DRM），利用预训练扩散模型作为评估骨干，通过逐步评估能力改进强化学习对齐和推理采样，提升图像生成质量。

ZeroWBC: Learning Natural Whole-Body Humanoid Interaction from Human Egocentric Data

ZeroWBC: 从人类自我中心数据学习自然全身人形交互

Haoran Yang, Jiacheng Bao, Yucheng Xin, Haoming Song, Yuyang Tian, Bin Zhao, Dong Wang, Xuelong Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Northwestern Polytechnical University（西北工业大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； TeleAI, China Telecom（TeleAI，中国电信） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出ZeroWBC框架，利用人类自我中心视频和同步全身运动数据，通过生成-跟踪方法实现无遥操作的人形机器人全身交互控制。

The 4/$δ$ Bound: Designing Predictable LLM-Verifier Systems for Formal Method Guarantee

4/δ 界：设计具有形式方法保证的可预测 LLM-验证器系统

Pierre Dantas, Lucas Cordeiro, Youcheng Sun, Waldir Junior

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出 LLM-验证器收敛定理，将多阶段验证建模为顺序吸收马尔可夫链，证明成功概率 δ>0 时系统几乎必然验证，并导出精确延迟上界 4/δ，经 90000+ 试验验证。

Comments 36 pages, 9 figures

Improving Factuality of 3D Brain MRI Report Generation with Paired Image-domain Retrieval and Text-domain Augmentation

通过配对图像域检索和文本域增强提高3D脑MRI报告生成的事实准确性

Junhyeok Lee, Yujin Oh, Dahyoun Lee, Hyon Keun Joh, Minchul Kim, Chul-Ho Sohn, Sung Hyun Baik, Cheol Kyu Jung, Jung Hyun Park, Kyu Sung Choi, Byung-Hoon Kim, Jong Chul Ye

机构 * Cancer Biology, Seoul National University College of Medicine, Korea（首尔国立大学医学院癌症生物学系，韩国） ； Radiology, Massachusetts General Hospital（麻省总医院放射科） ； Harvard Medical School（哈佛医学院） ； Biomedical Systems Informatics, Yonsei University College of Medicine, Korea（延世大学医学院生物医学系统信息学系，韩国） ； Graduate School, Yonsei University, Korea（延世大学研究生院，韩国） ； Radiology, Seoul National University College of Medicine, Korea（首尔国立大学医学院放射科，韩国） ； Radiology, Seoul National University Hospital, Korea（首尔国立大学医院放射科，韩国） ； Radiology, Seoul National University Bundang Hospital, Korea（首尔国立大学 Bundang 医院放射科，韩国） ； Radiology, SMG-SNU Boramae Medical Center, Korea（SMG-SNU Boramae 医疗中心放射科，韩国） ； Psychiatry, Yonsei University College of Medicine, Korea（延世大学医学院精神病学系，韩国） ； Behavioral Sciences in Medicine, Yonsei University College of Medicine, Korea（延世大学医学院医学行为科学系，韩国） ； Yonsei Institute for Digital Health, Korea（延世大学数字健康研究院，韩国） ； Kim Jaechul Graduate School of AI, KAIST, Korea（金 Jaechul人工智能研究生院，韩国） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.LG

AI总结 提出PIRTA框架，通过检索相似3D DWI/ADC图像并利用其配对报告指导LLM生成，避免显式跨模态对齐，显著提高缺血区域准确性。

Comments MICCAI 2026

MedLayBench-V: A Large-Scale Benchmark for Expert-Lay Semantic Alignment in Medical Vision Language Models

MedLayBench-V：面向医学视觉语言模型中专家与普通人语义对齐的大规模基准

Han Jang, Junhyeok Lee, Heeseong Eum, Kyu Sung Choi

机构 * Seoul National University（首尔国立大学） ； Seoul National University College of Medicine（首尔国立大学医学院） ； Department of Radiology, Seoul National University Hospital（首尔国立大学医院放射科） ； Healthcare AI Research Institute, Seoul National University Hospital（首尔国立大学医院健康人工智能研究所） ； The Advanced Imaging and Computational Neuroimaging (AICON) Laboratory（先进影像与计算神经影像实验室） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

AI总结 提出首个大规模多模态基准MedLayBench-V，通过结构化概念基础精炼管道实现专家-普通人语义对齐，用于训练和评估能弥合医患沟通鸿沟的医学视觉语言模型。

Comments Findings of ACL 2026. 9 pages, 5 figures, 11 tables, plus appendix

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 18375-18394

Aligning Human-AI-Interaction Trust for Mental Health Support: Survey and Position for Multi-Stakeholders

对心理健康支持中的人机交互信任进行对齐：多利益相关者的调查与立场

Xin Sun, Yue Su, Yifan Mo, Qingyu Meng, Yuxuan Li, Min Chen, Mengyuan Zhang, Saku Sugawara, Charlotte Gerritsen, Sander L. Koole, Koen Hindriks, Jiahuan Pei

机构 * National Institute of Informatics (NII)（日本国立信息学研究所） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 本文提出三层信任框架，整合关键利益相关者观点，系统回顾心理健康领域AI研究，指出NLP与实际需求间的差距，提出构建社会技术一致且真实可信的AI研究方向。

Narrative Feature or Structured Feature? A Study of Large Language Models to Identify Cancer Patients at Risk of Heart Failure

叙事特征还是结构化特征？大型语言模型识别癌症患者心力衰竭风险的研究

Ziyi Chen, Mengyuan Zhang, Mustafa Mohammed Ahmed, Yi Guo, Thomas J. George, Jiang Bian, Yonghui Wu

机构 * Department of Health Outcomes and Biomedical Informatics, College of Medicine, University of Florida（健康结局与生物医学信息学系，佛罗里达大学医学院） ； Division of Cardiovascular Medicine, Department of Medicine, College of Medicine, University of Florida（心血管医学部，医学院，佛罗里达大学） ； Division of Hematology & Oncology, Department of Medicine, College of Medicine, University of Florida（血液学与肿瘤学部，医学院，佛罗里达大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本研究利用电子健康记录，比较传统机器学习、T-LSTM和大型语言模型（LLM）在识别癌症患者心力衰竭风险上的表现，LLM（GatorTron-3.9B）通过叙事特征取得最佳F1分数，优于其他模型。

Comments 10 pages, 4 figures, 5 tables

Agentic Software Engineering: Foundational Pillars and a Research Roadmap

代理软件工程：基础支柱与研究路线图

Ahmed E. Hassan, Hao Li, Dayi Lin, Bram Adams, Tse-Hsun Chen, Yutaro Kashiwa, Dong Qiu

机构 * Queen's University（女王大学） ； Concordia University（Concordia大学） ； Nara Institute of Science and Technology（奈ara科学和技术研究院） ； Huawei Canada（华为加拿大） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 提出代理软件工程（SE 3.0）时代，以“面向人类的SE”和“面向代理的SE”双重模式为基础，重新定义软件工程支柱，并设计代理命令环境（ACE）和代理执行环境（AEE）两种工作台，实现双向人机协作，推动从代理编码到真正代理软件工程的演进。

Model-Native Computing Architecture: Envisioning Future System Architecture Through the Lens of Computer Architecture

模型原生计算架构：通过计算机架构的视角展望未来系统架构

Hai Lin, Hoilam Pao, Shaoxiong Zhan, Hai-Tao Zheng

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Pengcheng Laboratory, Shenzhen, China（深圳鹏城实验室） 纠错

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.AI

AI总结 本文通过类比计算机架构，提出模型原生计算的概念，并设计了一个六层智能计算架构模型（ICAM），以统一解决大语言模型在系统层面面临的缓存、上下文、调度等问题。

Adaptive-Horizon Conflict-Based Search for Closed-Loop Multi-Agent Path Finding

自适应视界冲突搜索用于闭环多智能体路径规划

Jiarui Li, Federico Pecora, Runyu Zhang, Gioele Zardini

机构 * Laboratory for Information and Decision Systems, Massachusetts Institute of Technology（信息与决策系统实验室，麻省理工学院） ； Schwarzman College of Computing（施瓦茨曼计算学院） 纠错

专题命中 其他安全 ：safety(abstract)

AI总结 提出ACCBS算法，通过动态调整规划视界和重用约束树，在有限计算预算下快速生成高质量可行解，兼具渐近最优性和扰动适应性。