大模型对齐与安全

Exploring Post-Training Alignment of Small Language Models for Biomedical Data-to-Text Generation: A Case Study of Medication Leaflet

探索用于生物医学数据到文本生成的小语言模型的训练后对齐：以药品说明书为例

Xi Yang, Guodong Liu, Chuqin Li, Fan Wu, Ergin Soysal, Min Jiang, Xing He, Jiang Bian, Yi Guo, Shams Zaman, Thomas Fuchs, Todd Sanger, Yonghui Wu

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究对生物医学数据到文本生成任务训练小语言模型的方法进行比较分析，在药品说明书数据集上用基于Qwen的SLMs探索多种训练后方法，通过整理数据评估模型，结果显示对齐后的SLMs性能优异，GRPO跨数据集性能最稳健。

Comments 10 pages, 1 figures

Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs

Groc-PO：用于真实多模态大语言模型的基于上下文的偏好优化

Zhixiao Zheng, Zheren Fu, Zhiyuan Yao, Chunxiao Liu, Dongming Zhang, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； Xiaomi Corporation（小米公司） ； State Key Laboratory of Communication Content Cognition, People’s Daily Online（人民日报社传播内容认知国家重点实验室） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对多模态大语言模型的不真实问题，提出基于上下文的偏好优化框架Groc-PO，构建相关数据集，通过多阶段偏好样本捕捉基础上下文，加强上下文相关推理，减轻跨阶段错误传播，提升模型性能。

Comments Accepted by ACM-MM 2026

Value Drifts: Tracing Value Alignment During LLM Post-Training

价值漂移：在大语言模型训练后追踪价值对齐

Mehar Bhatia, Shravan Nayak, Gaurav Kamath, Marius Mosbach, Karolina Stańczak, Vered Shwartz, Siva Reddy

机构 * Mila - Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； ETH Zurich（苏黎世联邦理工学院） ； University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.CY、cs.LG

AI总结 研究大语言模型训练后价值对齐问题，通过实验区分训练后算法和数据集影响，测量价值漂移，发现SFT阶段确立模型价值，后续偏好优化难重对齐，不同算法在偏好数据不变时也有不同结果，为相关选择提供见解。

Comments TACL 2026

Optimization Is Not All You Need

优化并非你所需的全部

Minh Hua, Rita Raley

机构 * Scale AI（Scale人工智能公司） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究指出优化并非全部，以GPT - 2为例，通过追踪其预训练等环节的优化文化，发现优化程序虽能测文本可能性，但无法区分不可能性是错误还是创新，却在五年内获设定语言协议权威。

Comments This essay will be forthcoming in MFS Modern Fiction Studies, published by JHUP (Spring-Summer 2027)

The Dynamic Verifiable Multi-Agent Human Agentic Loyalty Loop (DVM-HALL) Model and the Net Human-Agent Score (NHAS) in Autonomous Commerce

自主商业中的动态可验证多智能体人类智能忠诚循环（DVM-HALL）模型与净人机分数（NHAS）

Sai Srikanth Madugula, Peplluis Esteva de la Rosa, Daya Shankar

机构 * School of Technology, Woxsen University（沃森大学技术学院） ； Universitat de Girona（格尔纳达大学） ； School of Sciences, Woxsen University（沃森大学科学学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 研究人工智能发展下传统客户忠诚度范式受扰问题，提出动态可验证多智能体人类智能忠诚循环（DVM-HALL）模型，通过特定公式及机制确定品牌选择、校准信任等，还引入净人机分数（NHAS）并给出实证验证计划，为品牌应对转变提供理论。

AI Can Learn Scientific Taste

AI 可以学习科学品味

Jingqi Tong, Mingzhe Li, Hangcheng Li, Yongzhuo Yang, Yurong Mou, Weijie Ma, Zhiheng Xi, Hongji Chen, Xiaoran Liu, Qinyuan Cheng, Ming Zhang, Qiguang Chen, Weifeng Ge, Qipeng Guo, Tianlei Ying, Tianxiang Sun, Yining Zheng, Xinchi Chen, Jun Zhao, Ning Ding, Xuanjing Huang, Yu-Gang Jiang, Xipeng Qiu

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出RLCF框架，通过社区反馈学习科学品味，使AI能提出高潜力研究想法，实验显示其优于现有模型并具备泛化能力。

Comments 46 pages, 5 figures