大模型对齐与安全

Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition

通过部分信息分解理解多模态语言模型中的模态交互

Wanlong Fang, Tianle Zhang, Wen Tao, Alvin Chan

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 引入部分信息分解（PID）框架，分离感官和语言输入的独特、冗余和协同贡献，揭示多模态大模型中的模态使用模式，并扩展至三模态系统。

Comments Accepted by ICML 2026

PortBench: A Correlation-Aware, Full-Pipeline Benchmark for LLM-Driven Portfolio Management

PortBench: 一种相关性感知的、全流水线的LLM驱动投资组合管理基准

Yuxuan Zhao, Sijia Chen, Ningxin Su

机构 * Yantai Research Institute of Harbin Engineering University（哈尔滨工程大学烟台研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 提出PortBench基准，通过静态QA和动态五阶段分配流水线评估LLM在投资组合管理中的表现，发现多数模型无法超越等权重分配，且存在推理错误累积和压力下大幅回撤的问题。

Comments Project page: https://portbench.github.io/

Understanding and Mitigating Premature Confidence for Better LLM Reasoning

理解并缓解过早自信以提升大语言模型推理能力

Jingchu Gai, Guanning Zeng, Christina Baek, Chen Wu, J. Zico Kolter, Andrej Risteski, Aditi Raghunathan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 针对大语言模型长思维链中逻辑跳跃和过早自信问题，提出渐进式自信塑造强化学习目标，无需外部标签或奖励模型，通过奖励逐步自信增长并惩罚过早承诺，显著提升推理准确性和质量。

Med-CRAFT: An Information System for Explainable and Configurable Construction of Multimodal Medical QA Datasets

Med-CRAFT：通过知识图谱遍历自动构建可解释的多跳视频工作负载

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li

机构 * Beijing Institute of Technology（北京理工大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 Med-CRAFT通过知识图谱遍历自动构建可解释的多跳视频工作负载，生成具有细粒度时间选择性和多跳逻辑复杂性的医疗视频推理基准。

Comments 23 pages, 4 figures, 10 tables

RESPClinBench: Benchmarking Multimodal Clinical Decision-Making and Longitudinal Disease Management in Respiratory Specialty Care

RESPClinBench：呼吸专科医疗中的多模态临床决策与纵向疾病管理基准测试

Mouxiao Bian, Zhi Chen, Ruiyao Chen, Lu Lu, Hengrui Liang, Chaoyi Huang, Yiluo Lin, Jingru Ding, Yun Zhong, Yueming Su, Jie Xu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Macau University of Science and Technology（澳门科技大学） ； First Affiliated Hospital of Guangzhou Medical University（广州医科大学附属第一医院） ； Guangzhou Institute of Respiratory Health（广州呼吸健康研究院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 该研究开发了呼吸专科多模态临床决策与纵向疾病管理基准RESPClinBench，在两个数据集上评估7种大模型，识别模型在肺结节评估和COPD管理的局限，为模型选择提供临床依据。

SkillCorpus: Consolidating and Evaluating the Open Skill Ecosystem for Real-World LLM Agents

SkillCorpus：整合与评估面向现实世界大语言模型智能体的开放技能生态系统

Yanze Wang, Pengfei Yao, Tianyi Sun, Chuanrui Hu, Yan Xiao, Xiaotian Luo, Yunyun Han, Yifan Chen, Jun Sun, Yafeng Deng

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 研究针对大语言模型智能体技能文件碎片化等问题，提出SkillCorpus框架，通过多阶段管道过滤技能并与检索选择堆栈配对，经多基准端到端评估，整合该框架能带来一致收益，明确了其对实际智能体任务的作用边界。

Behind EvoMap: Characterizing a Self-Evolving Agent-to-Agent Collaboration Network

EvoMap背后：表征一个自进化的智能体间协作网络

Qiming Ye, Peixian Zhang, Yupeng He, Zifan Peng, Gareth Tyson

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 通过分析EvoMap网络中的150万资产和12.8万智能体，揭示其设计选择在可重用性、演化和可审计性方面的权衡，发现奖励机制导致98%资产未被重用、评分系统易被操纵以及验证机制存在缺陷。

Can Deep Research Agents Retrieve and Organize? Evaluating the Synthesis Gap with Expert Taxonomies

深度研究代理能否检索和组织？通过专家分类法评估合成差距

Ming Zhang, Jiabao Zhuang, Wenqing Jing, Kexin Tan, Ziyu Kong, Jingyi Deng, Yujiong Shen, Yuhui Wang, Zhenghao Xiang, Qiyuan Peng, Yuhang Zhao, Ning Luo, Renzhe Zheng, Jiahui Lin, Mingqi Wu, Long Ma, Shihan Dou, Maxm Pan, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Hunyuan Team, Tencent（腾讯 Hunyuan 团队） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出TaxoBench基准，评估深度研究代理在检索和组织论文方面的能力，发现两者在能力与对齐方面均存在瓶颈。

Clinician input steers AI toward accurate and harmful recommendations

临床输入引导前沿AI模型做出准确和有害的决策

Ivan Lopez, Selin S. Everett, Bryan J. Bunning, April S. Liang, Dong Han Yao, Shivam C. Vedak, Kameron C. Black, Sophie Ostmeier, Stephen P. Ma, Emily Alsentzer, Jonathan H. Chen, Akshay S. Chaudhari, Eric Horvitz

专题命中 安全评测 ：safety(abstract)；分类 cs.LG

AI总结 研究评估了临床输入如何影响AI模型在诊断生成和下一步建议中的表现，发现专家上下文显著提升诊断准确性，而对抗性上下文导致诊断退化，且模型在多轮对话中表现出不同的特性。

Measurement Without Validity: The Compounding Reliability Problem in Agentic AI Evaluation

无效度的测量：智能体AI评估中的复合可靠性问题

William Caban

机构 * Red Hat, Inc.（红帽公司） ； Alma Mater Europaea University（欧洲母校大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 该研究指出智能体AI评估存在复合可靠性问题，任务生成、LLM模拟、评分者间信度三个层面的失效相乘降低效度，提出八项心理测量学改进建议以提升评估可信度。

Comments 34 pages (review/double-spaced format), 2 figures, 5 tables. Submitted to Knowledge-Based Systems (Elsevier)

CardioBench: A Real-World Data Benchmark for Evaluating Large Language Models in Clinically Authentic Cardiovascular Care Scenarios

MyoCardBench：用于评估临床真实心血管护理场景中大型语言模型的真实世界数据基准

Xiao Li, Mouxiao Bian, Zhaodi Wu, Sijie Ren, Juechen Chen, Lu Lu, Jingru Ding, Yun Zhong, Jie Xu, Yixiu Liang, Junbo Ge

机构 * Shanghai Institute of Cardiovascular Diseases（上海市心血管病研究所） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Minhang Hospital, Fudan University（复旦大学附属闵行医院） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 该研究开发MyoCardBench真实世界基准评估大语言模型在心血管护理场景的性能，涵盖多任务数据集，经专家注释审核。7个模型在零样本设置下输出，GPT-5.4表现最佳。此基准为评估模型提供框架，助于发现优势与不足。

Text2GraphQuery-Bench: A Text to Graph Query Benchmark

Text2GQL-Bench: 一个文本到图查询语言基准 [实验、分析与基准]

Songlin Lyu, Lujie Ban, Zihang Wu, Tianqi Luo, Jirong Liu, Ayoub Moussaid, Oskar van Rest, Heng Lin, Chenhao Ma, Nan Tang, Shipeng Qi, Yongchao Liu, Zhan Qiu, Juelu Zhang, Jiajun Zheng

机构 * Ant Group（蚂蚁集团） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Xi'an Polytechnic University（西安理工大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 Text2GQL-Bench是一个统一的文本到图查询语言基准，通过多领域数据集和评估方法，揭示了ISO-GQL生成中的方言差距，并展示了通过充足示例提升模型性能的潜力。

Feedback Loops and Code Perturbations in LLM-based Software Engineering: A Case Study on a C-to-Rust Translation System

基于LLM的软件工程中的反馈循环与代码扰动：一种C到Rust翻译系统的案例研究

Martin Weiss, Jesko Hecking-Harbusch, Jochen Quante, Matthias Woehrle

机构 * Otto von Guericke University（奥托·冯·格里克大学） ； Bosch Research（博世研究） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文研究了反馈循环、LLM选择和代码扰动对C到Rust翻译系统性能的影响，发现反馈循环可减少模型差异并提升系统鲁棒性。

Comments 10 pages, 9 figures

Designing for Doubt: The Case for Informed Abstention in Autonomous Agents

基准测试无法衡量的：论自主智能体弃权能力的评估

Victor Ojewale, Suresh Venkatasubramanian

机构 * Brown University（布朗大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文指出自主智能体基准测试忽视弃权能力，提出合规偏差概念，并引入弃权场景分类和评估协议，实验表明安全-可用性权衡是可调的。

Comments Accepted to AIES 2026, this is an updated version to the RLEval workshop paper

An empirical evaluation of the risks of AI model updates using clinical data: stability, arbitrariness, and fairness

基于临床数据的AI模型更新风险实证评估：稳定性、任意性与公平性

Ioannis Bilionis, Ricardo C. Berrios, Luis Fernandez-Luque, Carlos Castillo

机构 * Spanish Ministry of Science and Innovation（西班牙科学与创新部） ； Department of Research and Universities of the Government of Catalonia（加泰罗尼亚政府研究与大学部门） ； MCIN/AEI /10.13039/501100011033（MCIN/AEI） ； Maria de Maeztu Units of Excellence Programme（玛丽亚·德·玛埃斯特乌卓越计划） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文通过实证研究评估AI模型更新对临床决策支持系统的影响，探讨模型稳定性、预测任意性及公平性问题，提出持续监控框架以提升系统可靠性。

Comments Best Paper Award in iEEE EMBC 2026. 4 pages, 3 figures

Pingala: Prosody-Aware Decoding for Sanskrit Poetry Generation

PINGALA：面向梵文诗歌生成的声调感知解码

Manoj Balaji Jagadeeshan, Atul Singh, Nallani Chakravartula Sahith, Amrith Krishna, Pawan Goyal

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出PINGALA解码方法，通过将诗歌分段提升语义连贯性10%，并利用SLP1转写提高音律对齐46%，同时引入参考无关评估方法。

Comments new changes added

Individual-level interventions against sycophantic AI reduce its appeal but not its persuasiveness

观察到谄媚的人工智能认可他人会降低其吸引力，但不会降低其说服力

Meryl Ye, Robert Kraut, Steve Rathje

机构 * Carnegie Mellon University（卡内基梅隆大学） ； New York University（纽约大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI

AI总结 研究探讨提高用户对谄媚人工智能的认知能否防危害，通过两项预注册实验及合并其他研究发现，警告和视频干预虽改变评价，但未降说服力，个体层面干预或难护用户免受人工智能之害。

FusionRS: A Large-Scale RGB-Infrared-Style Remote Sensing Dataset for Cross-Modal Vision-Language Learning

FusionRS: 用于双模态视觉-语言基础模型的大规模RGB-红外遥感数据集

Jiaju Han, Ben Zhang, Xuemeng Sun, Qike Zhang, Yuxian Dong, Dingyi Lu, Chengyin Hu, Luwei Yang, Fengyu Zhang, Yiwei Wei, Jiujiang Guo

机构 * China University of Petroleum-Beijing at Karamay（中国石油大学（北京）克拉玛依校区） ； University of Electronic Science and Technology of China（电子科技大学） ； Tianjin University（天津大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 针对遥感视觉-语言模型缺乏红外数据的问题，提出首个大规模RGB-红外-文本数据集FusionRS，通过翻译RGB图像为红外风格并配以红外感知描述，训练双模态基础模型，提升RGB-红外对齐和双模态字幕生成性能。

Breaking the Statistical Similarity Trap in Extreme Convection Detection

突破极端对流检测中的统计相似性陷阱

Md Tanveer Hossain Munim

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 该研究针对深度学习气象模型的统计相似性陷阱，提出DART框架，解决粗粒度大气预报转高分辨率卫星亮温场的挑战，在极端对流检测中表现优异，还通过吉大港洪水案例验证了其现实应用价值。

Comments This paper has been withdrawn due to a complete pivot in research direction and methodology. We have shifted from the atmospheric domain application to a general methodological direction. A new version of this research will be submitted separately

Quality Action Assurance: Multimodal Verification of Examiner Claims in VR OSCEs

质量行动保证：虚拟现实客观结构化临床考试中考官声明的多模态验证

Harry Rogers, Sally Shiels, Ashley Tomlinson, James Thomas, James Aylward, Nathan Gauge, Helen Higham, Alison Noble

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究针对VR儿科OSCEs中考官评分受主观因素影响问题，提出多模态框架QAA，结合约束时间动作对齐模型与大语言模型，通过对比动作与真实事件序列验证考官声明，提升了评估的公平性。

HarnessBank: Semantic Gene-Bank Search with Gated Verification for Agent-Harness Self-Evolution

通过门控语义质量多样性实现自我进化智能体的驾驭

Xiaotian Luo, Dizhan Xue, Fengxingyu Wang, Chuanrui Hu, Yafeng Deng

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL

AI总结 研究大语言模型智能体驾驭因素提升性能的问题，提出自我进化智能体驾驭框架，将提出与评估更改分开，通过门控存档避免过度拟合，在多领域测试中取得较好泛化效果，证明诊断与评估循环的有效性。

Comments 9 pages, 4 figures, 3 tables

Clinician-Level Agreement Without Clinical Caution: LLM Evaluator Limits in Medical AI Benchmarking

临床医生级别的一致性缺乏临床谨慎：LLM评估者在医学AI基准测试中的局限性

William Philipp, Finn Fassbender, Daniel Fister, Thorsten Langer, Martje G. Pauly, Rebecca Herzog, Markus A. Hobert, Theresa Paulus, Alexander Baumann, Chi Wang Ip, Lukas L. Goede, Johanna Reimer, Sebastian Löns, Ronald Böck, Sebastian Fudickar

机构 * University of Luebeck（吕贝克大学） ； University of Tübingen（图宾根大学） ； University Hospital Schleswig-Holstein（石勒苏益格-荷尔斯泰因大学医院） ； University Hospital Würzburg（维尔茨堡大学医院） ； Charité – Universitätsmedizin Berlin（柏林夏里特医学院） ； Genie Enterprise Deutschland GmbH 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 针对德语开放回答临床基准MedQADE，评估LLM评估者与医生的对齐程度，发现统计一致性高但缺乏临床元认知，且存在系统性的模型谱系偏差。

Visual Credit Audit for Multimodal Spatial Reasoning

多模态空间推理的视觉信用审计

Feixiang Liu, Qiang Qiu, Lanbo Sun, Nan Wei, Huawei Shen, Xueqi Cheng

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 该研究提出视觉信用审计（VCA）方法，分解多模态空间推理基准的成功维度，发现部分模型决策正确但未获图像额外信用，验证了其在评估模型视觉关系响应上的有效性。

Comments 20 pages, 2 figures. Code: https://github.com/SouthWinter/VCA

WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models

WhisperRec：用于高效基础推荐模型的潜在推理方法

Hao Jiang, Peiru Du, Pengfei Yao, Mengting Li, Siyuan Lou, Kuo Cai, Sheng Yu, Qiang Luo, Jian Liang, Ruiming Tang, Fei Pan, Peng Jiang, Wenwu Ou

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 WhisperRec是一种高效潜在推理框架，通过将教师CoT压缩为可学习潜在标记，在快手数据集上优于显式CoT方法，SID@64提升显著且推理吞吐量更高。

REPREC: Representation Driven Parameter-Efficient Recommendation System

REPREC：表示驱动的参数高效推荐系统

Harshini Kavuru, Dwipam Katariya, Giri Iyengar, Pranab Mohanty, Kalanand Mishra, Raghu Machiraju

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 研究基于大语言模型的序列推荐，提出REPREC轻量级框架，通过轻量级用户表示对齐和MLP注入器映射用户嵌入，在多基准数据集实验中优于LoRA，能保持性能并降低训练时间，平衡推荐质量与计算效率。

VISTA: A Controllable Platform for Generating and Auditing Egocentric Assistance Scenarios

VISTA：一种用于日常协助的生成性眼动视频框架

Yu-Hsiang Liu, Yu-Chien Tang, An-Zi Yen

机构 * Department of Computer Science, National Yang Ming Chiao Tung University（国立阳明交通大学计算机科学系） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 VISTA通过生成高保真眼动视频为AI代理提供训练和评估数据，支持从日常家务到紧急安全情况的主动协助，包含反应性和前瞻性干预模式，提供可定制的视频基准测试。

Comments pre-print

AfriEconQA: A Benchmark for Quantitative and Temporal Reasoning over World Bank Economic Reports

AfriEconQA：基于世界银行报告的非洲经济分析基准数据集

Edward Ajayi, Mustapha Alaba, David Stephen

机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 AfriEconQA是一个基于世界银行报告的非洲经济分析基准数据集，旨在测试信息检索和RAG系统在处理复杂经济查询时的性能。

Comments Dataset Explorer: https://afrieconqa.pages.dev/

RetiBridge: Bridging Quantitative Retinal Biomarkers and Qualitative Diagnosis with a Knowledge-Guided Multimodal Large Language Model

RetiBridge：用知识引导的多模态大语言模型连接定量视网膜生物标志物与定性诊断

Zhuangzhi Gao, Hongyi Qin, He Zhao, Qinkai Yu, Feixiang Zhou, Fu Wang, Jinru Ding, Eduard Shantsila, Uazman Alam, Alena Shantsila, Wahbi El-Bouri, Gregory Y. H. Lip, Yalin Zheng

机构 * University of Liverpool（利物浦大学） ； Institute of Life Course & Medical Sciences（生命课程与医学科学研究院） ； Department of Eye and Vision Sciences（眼科与视觉科学系） ； Computer Science Department（计算机科学系） ； Cardiovascular & Metabolic Medicine（心血管与代谢医学） ； Liverpool Centre for Cardiovascular Science（利物浦心血管科学中心） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 该研究提出RetiBridge模型，结合CFP、OCT数据与文本，通过知识引导微调学习定量到定性诊断路径，在眼科理解基准上表现优于开源基线及OpenAI o3，代码数据已公开。

Comments 10 pages, 4 figures, 3 table. Equal contribution: Zhuangzhi Gao and Hongyi Qin. Corresponding author: Yalin Zheng (yzheng@liverpool.ac.uk)

Explanation-Bound Tool Execution for AI Agents: Server-Verified Action Claims Without Trusting Model Rationales

人工智能代理的解释约束工具执行：无需信任模型原理的服务器验证动作声明

Genliang Zhu, Chu Wang

机构 * Accentrust（Accentrust公司） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 研究针对人工智能代理工具执行问题，提出EBTE中介层，将原理内容转换为动作声明并经服务器检查。通过形式化和实现参考配置文件，经多场景验证其可行性与诊断价值，支持服务器检查动作声明而非其他相关特性。

Comments 25 pages, 1 figure, 15 tables. Revised presentation and synchronized evaluation details

FilmBench: A Film-Grade Benchmark for Cinematic Video Generation

FilmBench：用于电影视频生成的电影级基准测试

Shengyi Wang, Niantong Li, Guangzheng Hu, Hong Qi, Fei Ding, Weixu Qiao, Jinlin Wang, Xiaotong Lv, Peng Han, Zimeng Li, Fanshu Ding, Yushu Wang, Han Wu, Jingjing Chen, Chongxiao Wang, Yanhao Wu, Chenglong Huang, Xiaoqian Zhu, Jie Tian, Hua Li, Jingjing Fan, Mingshuang Tang, Zhong Li, Hengxia Qiang, Weibin Chen, Jinyang Zhen, Bing Zhao, Lin Qu, Jing Li, Hu Wei

机构 * Alibaba Group（阿里巴巴集团） ； Moku Lab, Hujing Digital Media & Entertainment Group（魔氪实验室，虎鲸数字媒体与娱乐集团） ； Beijing Film Academy（北京电影学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 FilmBench是基于电影学院传统专业电影语言开发的文本到视频和参考到视频基准测试。它从获奖影片反向设计提示，依电影分类法评估，开发自动评估代理并开源核心套件，能再现人类模型排名，指出当前模型在动态美学等方面不足。