语言大模型 / LLM

On Cost-Effective LLM-as-a-Judge Improvement Techniques

关于成本效益的LLM作为评判者的改进技术

Ryan Lail, Luke Markham

专题命中 评测与基准 ：LLM(title,title_cn)；RLHF(abstract,abstract_cn)；language model(abstract)；prompting(abstract)

AI总结 研究通过集成评分、任务特定标准注入等四种技术提高LLM评判准确性，在RewardBench 2上达到85.8%准确率，成本效益显著。

Comments Accepted at the ICML 2026 workshops "Statistical Frameworks for Uncertainty in Agentic Systems" and "Combining Theory and Benchmarks: Towards a Virtuous Cycle to Understand and Guarantee Foundation Model Performance". 13 pages, 9 figures

Culturally uneven urban perception in large language models

大型语言模型通过文化不平等的基线感知城市

Rong Zhao, Wanqi Liu, Zhizhou Sha, Nanxi Su, Yecheng Zhang, Ying Long

机构 * Centre for Advanced Spatial Analysis (CASA), UCL, London, UK（高级空间分析中心（CASA），伦敦大学学院，英国） ； School of Architecture, Tsinghua University, Beijing, China（清华大学建筑学院，北京，中国） ； Department of Computer Science, UT Austin, Austin, TX, USA（得克萨斯大学奥斯汀分校计算机科学系，奥斯汀，德克萨斯，美国） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本研究通过全球平衡的街景样本测试前沿LLM的城市感知，发现中性提示实际上偏向欧美文化，且文化提示能改变情感评价但无法恢复人类语义多样性。

LLM-Based Code Documentation Generation and Multi-Judge Evaluation

基于LLM的代码文档生成与多裁判评估

Ikbel Ghrab, Mohamed Dhieb, Ismail Khenissi, Ines Abdeljaoued-Tej

机构 * University of Tunis El Manar（突尼斯国家理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出利用八种大语言模型自动生成代码文档，并通过多裁判评估框架（四个LLM从九个维度评分）提升文档质量，在医学物理库上实验显示最佳与最差模型性能差距达42%。

Comments ICAHS, \c{opyright} 2025 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

Journal ref Conference ICAHS IEEE, 2025

Toward Secure LLM Agents: Threat Surfaces, Attacks, Defenses, and Evaluation

迈向安全的LLM智能体：威胁面、攻击、防御与评估

Yuchen Ling, Shengcheng Yu, Zhenyu Chen, Chunrong Fang

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过生命周期、系统导向的框架，综合247篇论文，围绕信息流、委托权限和持久状态，系统梳理了LLM智能体的威胁面、攻击、防御与评估，指出提示注入和工具控制流劫持仍是主要威胁，持久状态损坏和多智能体传播成为新兴关注点。

LLM-Based Visualization Evaluation: How Well Do Literacy-Stratified Personas Approximate Human Judgments?

基于LLM的可视化评估：按识字分层的人物角色在多大程度上接近人类判断？

Swaroop Panda

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出识字分层LLM评估框架（LSLE），通过构建可视化识字角色并引导LLM模拟评估，与人类数据对比，发现其在早期设计探索中有效，但在总结性评估中系统失效。

Streaming Knowledge Compilation: Proactive Materiality-Scored Pinning for Time-Evolving LLM Wikis

流式知识编译：面向时变LLM维基的主动物质性评分固定

Juan M. Huerta

机构 * Zinnia Tech Solutions（Zinnia科技解决方案） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 提出流式知识编译框架，通过物质性信号φ_t主动固定重要文档，在金融和维基百科领域验证O(√T log K)遗憾界，并揭示LLM评判偏差。

PeruMedQA: Benchmarking Large Language Models (LLMs) on Peruvian Medical Exams -- Dataset Construction and Evaluation

PeruMedQA：在秘鲁医学考试上评估大语言模型（LLMs）——数据集构建与评估

Rodrigo M. Carrillo-Larco, Jesus Lovón Melgarejo, Manuel Castillo-Cara, Gusseppe Bravo-Rocca

机构 * Hubert Department of Global Health, Rollins School of Public Health, Emory University（霍伯特全球健康部门，埃默里大学公共卫生学院） ； Emory Global Diabetes Research Center of Woodruff Health Sciences Center, Emory University（埃默里大学伍德鲁夫健康科学中心全球糖尿病研究中心） ； Institut de Recherche en Informatique de Toulouse（图卢兹信息研究院） ； Universidad Nacional de Educación a Distancia（远程教育国立大学） ； Instituto de Investigación Científica, Universidad de Lima（科学研究所，利马大学） ； Barcelona Supercomputing Center（巴塞罗那超级计算中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文构建了包含8380道题的秘鲁医学考试数据集，通过微调大语言模型并对比不同模型的准确率，揭示了在西班牙语国家医学问题上的性能差异。

Comments https://github.com/rodrigo-carrillo/PeruMedQA

Integrating Virtual Reality and Large Language Models for Team-Based Non-Technical Skills Training and Evaluation in the Operating Room

将虚拟现实与大型语言模型结合用于手术室基于团队的非技术技能训练与评估

Jacob Barker, Doga Demirel, Cullen Jackson, Anna Johansson, Robbin Miraglia, Darian Hoagland, Stephanie B. Jones, John Mitchell, Daniel B. Jones, Suvranu De

机构 * Beth Israel Deaconess Medical Center Center（贝希斯尔德医疗中心中心） ； Department of Surgery, Northwell Health（外科，北well健康） ； College of Engineering, Florida Agricultural and Mechanical University and Florida State University（工程学院，佛罗里达农业与机械大学和佛罗里达州立大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出VORTeX平台，结合虚拟现实与大型语言模型，用于手术室团队非技术技能的训练与评估，通过分析团队对话生成交互图谱，提升沟通与协作能力。

Comments 23 pages, 7 figures, 1 table, 2 Appendices

Journal ref npj Digit. Surg. 1, 10 (2026)

Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents

捕捉五分之一：LLM作为评判员在生产环境多轮交易代理中的盲点

Sawyer Zhang, Alexander Wang, Sophie Lei

机构 * Lumivate (Lumi)（Lumivate（Lumi）） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究部署的餐饮订购代理中LLM评判员对真实缺陷的召回率，发现其仅捕获22%的系统性问题，主要因评分标准缺乏状态跟踪等行为维度，且路由机制导致缺陷被错误分类。

Comments 13 pages, 1 figure, 5 tables

The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge

自信的撒谎者：利用对数概率和LLM作为评判诊断多智能体辩论

Ali Keramati, Justin Cheok, Jacob Horne, Mark Warschauer

机构 * University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究多智能体辩论中令牌级对数概率、LLM评判分数与任务准确性的关系，发现信心与推理质量在构造者上关联更强，且信心可检测关键推理失败。

Comments 15 pages, 7 figures, 1 table, ACL proceedings

The Price of Agreement: Measuring LLM Sycophancy in Agentic Financial Applications

同意的代价：在代理金融应用中衡量LLM的谄媚行为

Zhenyu Zhao, Aparna Balagopalan, Adi Agrawal, Dilshoda Yergasheva, Waseem Alshikh, Daniel M. Bikel

机构 * Writer, Inc.（Writer公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 研究评估LLM在金融代理任务中的谄媚行为，发现模型对用户反驳仅表现低至中等性能下降，但偏好信息导致多数模型失败，并测试了输入过滤等恢复方法。

Comments Accepted to ICLR 2026 FinAI Workshop

Superficial Beliefs in LLM Decision-Making

LLM决策中的表面信念

Gabriel Freedman, Francesca Toni

机构 * Department of Computing, Imperial College London（帝国理工学院计算系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大型语言模型在二元选择中是否仅模仿理由，通过合成决策实验发现模型行为有系统性但自我报告与行为推断的驱动因素不完全一致，表明存在“表面信念”。

Comments Under review

Beyond Static Evaluation: Co-Evolutionary Mechanisms for LLM-Driven Strategy Evolution in Adversarial Games

超越静态评估：对抗性游戏中LLM驱动策略演化的协同进化机制

Haoran Li, Zengle Ge, Ziyang Zhang, Xiaomin Yuan, Yui Lo, Qianhui Liu, Bocheng An, Dongke Rong, Jiaqun Liu, Annan Li, Jianmin Wu, Dawei Yin, Dou Shen

机构 * Baidu Inc.（百度公司） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对LLM驱动代码进化在对抗性多智能体游戏中因评估景观变化导致停滞的问题，提出评估器协同进化、层次深度评估和弱点压力三种机制，在MCTF任务中实现最优性能和泛化能力。

From Confident Closing to Silent Failure: Characterizing False Success in LLM Agents

从自信收尾到无声失败：LLM智能体中的虚假成功特征分析

Laksh Advani

机构 * Laksh Advani 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.LG

AI总结 研究LLM智能体在环境状态未完成时声称任务完成的虚假成功模式，发现其普遍存在但检测困难，轻量级TF-IDF检测器优于LLM评判器。

Comments Accepted to FAGEN@ICML2026

GhazalBench: Evaluating LLM Understanding and Canonical Surface-Form Access in Persian Ghazals

GhazalBench: 评估大语言模型对波斯抒情诗的理解与规范表层形式访问

Ghazal Kalhor, Yadollah Yaghoobzadeh

机构 * School of Electrical and Computer Engineering, College of Engineering, University of Tehran（德黑兰理工大学电气与计算机工程学院） ； Tehran Institute for Advanced Studies, Khatam University（德黑兰高级研究院，凯塔姆大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出GhazalBench基准，评估LLM在波斯抒情诗中的诗意理解与规范表层形式访问能力，发现模型普遍能理解诗意但难以生成精确诗句，而识别任务缩小差距，英语表现更好，表明训练数据差异是关键。

Durable Evaluation Framework: Adversarial Arbitration for Sycophancy Reduction in Large Language Models

原则性智能体辩论：针对大型语言模型谄媚减少的对抗性仲裁

Sam Ryan

机构 * Novel Systems Engineering LLC（新型系统工程有限公司） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；RLHF(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出原则性智能体辩论（PAD）多智能体架构，通过仲裁两个对立倾向的模型并盲评其论点，在SycophancyEval上显著降低谄媚偏差，最佳变体准确率达48.5%。

Comments 25 pages, 3 figures. Code and data available at github.com/NovelSystems/CANDOR

CatalyticMLLM: A Graph-Text Multimodal Large Language Model for Catalytic Materials

CatalyticMLLM: 一种用于催化材料的图-文本多模态大语言模型

Yanjie Li, Jian Xu, Xu-Yao Zhang, Shiming Xiang, Nian Ran, Weijun Li, Cheng-Lin Liu

机构 * AnnLab（安实验室） ； Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所） ； Zhongguancun Academy（中关村学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室） ； State Key Laboratory of High Performance Ceramics（高性能陶瓷国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Electronic, Electrical and Communication Engineering（电子电气与通信工程学院） ； University of ChineseAcademy of Sciences（中国科学院大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种统一的图-文本多模态大语言模型QE-Catalytic-V2，用于催化材料的性质预测和逆向设计，通过共享的表示空间实现两者的联合建模，从而形成闭环优化流程。

Comments 71 page

CoTAL: Human-in-the-Loop Prompt Engineering for Generalizable Formative Assessment Scoring and Feedback

CoTAL：面向可泛化形成性评估评分与反馈的人机协同提示工程

Clayton Cohn, Ashwin T S, Naveeduddin Mohammed, Gautam Biswas

机构 * Vanderbilt University（范德比大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出CoTAL方法，结合证据中心设计、人机协同提示工程和思维链提示，迭代优化LLM评分，在多个领域提升GPT-4评分性能达38.9%，并获师生认可。

Comments Submitted to Computers and Education: Artificial Intelligence. Currently under review

Learning to Keep a Promise: Scaling Language Model Decoding Parallelism with Learned Asynchronous Decoding

学习承诺：通过学习异步解码扩展语言模型解码并行性

Tian Jin, Ellie Y. Cheng, Zack Ankner, Nikunj Saunshi, Blake M. Elias, Amir Yazdanbakhsh, Jonathan Ragan-Kelley, Suvinay Subramanian, Michael Carbin

机构 * DeepMind, London, UK（深度思维公司，伦敦，英国） ； Google Research, New York, NY, USA（谷歌研究院，纽约，纽约州，美国） ； Stanford University, Stanford, CA, USA（斯坦福大学，斯坦福，加利福尼亚州，美国） ； University of Toronto, Toronto, Ontario, Canada（多伦多大学，多伦多，安大略省，加拿大） ； University of Washington, Seattle, WA, USA（华盛顿大学，西雅图，华盛顿州，美国） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出PASTA系统，通过学习使语言模型识别语义独立性，提升解码并行性，实验证明在解码速度和响应质量上优于现有方法。

Comments 15 pages

Journal ref Proceedings of the 42nd International Conference on Machine Learning (ICML), PMLR 267:27941-27956, 2025

Do Vision-Language Models See or Guess? Measuring and Reducing Textual-Prior Reliance with a Phrasing-Controlled Benchmark

视觉语言模型是看见还是猜测？通过措辞控制基准衡量和减少文本先验依赖

Pratham Singla, Shivank Garg, Vihan Singh, Paras Chopra

机构 * Lossfunk ； Indian Institute of Technology Roorkee（印度理工学院罗尔基分校） ； Raeth AI 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL

AI总结 本文构建了540张图像的基准，通过为同一图像生成四种措辞变体，衡量视觉语言模型对文本先验的依赖，发现所有模型在最难变体上性能下降，开放模型下降最严重，并通过无图像消融等分析证实了真正的图像依赖。

Comments 17 pages, 7 figures, Submitted to EMNLP 2026

ReflectiChain: Epistemic Grounding in LLM-Driven World Models for Supply Chain Resilience

ReflectiChain: 面向供应链韧性的LLM驱动世界模型中的认知基础

Jia Luo

机构 * School of Foreign Languages, Huazhong University of Science 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ReflectiChain框架，通过生成式供应链世界模型和双环学习分离认知不确定性与偶然不确定性，在半导体基准上提升推理一致性33.0%，并在对抗冲击下保持82.3%可操作性。

Mobility Anomaly Generation using LLM-Driven Behavior with Kinematic Constraints

基于大语言模型驱动行为与运动约束的移动异常生成

Yueyang Liu, Joon-Seok Kim, Andreas Züfle

机构 * Emory University, Atlanta, USA（埃默里大学，亚特兰大，美国） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出端到端生成框架，结合大语言模型注入语义异常与地图约束路由重建，合成带标注的真实轨迹异常数据集。

LakeQA: An Exploratory QA Benchmark over a Million-Scale Data Lake

LakeQA：百万级数据湖上的探索性问答基准

Haonan Wang, Jiaxiang Liu, Yurong Liu, Austin Senna Wijaya, Tianle Zhou, Eden Wu, Yijia Chen, Wanting You, Reya Vir, Daniela Pinto, Grace Fan, Yusen Zhang, Juliana Freire, Eugene Wu

机构 * Columbia University（哥伦比亚大学） ； New York University（纽约大学） ； Barnard College（巴纳德学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出LakeQA基准，要求LLM在9.5TB异构数据湖中搜索并多跳推理，GPT-5.2仅达18.37%精确匹配，挑战性强。

RealMath-Eval: Why SOTA Judges Struggle with Real Human Reasoning

RealMath-Eval：为何SOTA裁判难以应对真实人类推理

Yiteng Mao, Kenan Xu, Yijia Lyu, Wenhao Li, Jianlong Chen, Xiangfeng Wang

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； East China Normal University（华东师范大学） ； New York University（纽约大学） ； Tongji University（同济大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出RealMath-Eval基准，评估LLM裁判对真实学生数学解答的评分能力，发现与人类评分存在高均方误差，而合成数据上表现更好，揭示评估差距源于人类错误空间的多样性和高信息熵。

Comments Code available at https://github.com/RicharMd/RealMath-Eval , Data available at https://huggingface.co/datasets/RicharMd/RealMath-Eval

A Constrained Natural-Language Interface for Variational Multi-Physics Finite Element Simulations in FEniCS

FEniCS中变分多物理场有限元模拟的受约束自然语言接口

Nilay Upadhyay, Wesley F. Reinhart

机构 * Department of Engineering Science and Mechanics, The Pennsylvania State University（工程科学与力学系，宾夕法尼亚州立大学） ； Department of Materials Science and Engineering, The Pennsylvania State University（材料科学与工程系，宾夕法尼亚州立大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种受约束的自然语言接口，将LLM限制在前端任务（解析提示、生成Gmsh代码），后端使用确定性模板求解器，在基准测试中实现100%解析率和90%几何生成成功率。

Comments 23 pages, 17 figures

OpenRTLSet: A Fully Open-Source Dataset for Large Language Model-based Verilog Module Design

OpenRTLSet: 基于大语言模型的Verilog模块设计的完全开源数据集

Jinghua Wang, Lily Jiaxin Wan, Sanjana Pingali, Scott Smith, Manvi Jha, Shalini Sivakumar, Xing Zhao, Kaiwen Cao, Deming Chen

机构 * UIUC-ChenLab（UIUC-陈实验室） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；分类 cs.CL；LLM(journal_ref)

AI总结 提出最大完全开源硬件设计数据集OpenRTLSet，包含13万+多样Verilog代码样本，结合GitHub代码、VHDL和C/C++翻译，利用DeepSeek-R1生成自然语言描述，支持多种语言模型微调，证明开源方法在硬件设计中的优越性。

Comments Accepted by ICLAD'25

Journal ref 2025 IEEE International Conference on LLM-Aided Design (ICLAD), Stanford, CA, USA, 2025, pp. 212-218

SemOpt: LLM-Driven Code Optimization via Rule-Based Analysis

SemOpt: 基于规则分析的LLM驱动代码优化

Yuwei Zhao, Yuan-An Xiao, Qianyu Xiao, Zhao Zhang, Yingfei Xiong

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出SemOpt框架，通过静态程序分析识别代码段、检索优化策略并生成优化结果，在C/C++和Python任务上显著提升优化成功率。

ABC-Bench: An Agentic Bio-Capabilities Benchmark for Biosecurity

ABC-Bench：生物安全的主体生物能力基准

Andrew Bo Liu, Samira Nedungadi, Bryce Cai, Alex Kleinman, Harmon Bhasin, Seth Donoughe

机构 * Andrew Bo Liu（安德鲁·刘） ； Samira Nedungadi（萨米拉·纳杜加迪） ； Bryce Cai（布莱斯·凯） ； Alex Kleinman（亚历克斯·克莱因曼） ； Harmon Bhasin（哈蒙·巴辛） ； Seth Donoughe（塞斯·多诺赫） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ABC-Bench基准，评估LLM主体在生物安全相关任务上的能力，包括液体处理机器人编程、DNA片段设计和合成筛选规避，所有测试主体均优于人类专家基线。

Comments 18 pages. To be published in ICML 2026

Benchmarking and Exploring the Capabilities of LLMs for Attack Investigations

基准测试与探索LLM在攻击调查中的能力

Aniket Anand, Yiwei Hou, Daniel Fields, Alex Kantchelian, David Tao, Kurt Thomas, Grant Ho

机构 * University of Chicago（芝加哥大学） ； University of California, Berkeley（加州大学伯克利分校） ； Google（谷歌） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 提出AuditBench基准数据集，评估LLM在安全审计日志分析中的性能，涵盖四种常见调查任务，揭示模型在不同设计选择下的表现差异与错误类型。

IDP-Bench: Benchmarking ability of LLMs to protect personal information in interdependent privacy contexts

IDP-Bench：评估大语言模型在相互依赖隐私上下文中保护个人信息能力的基准

Ayana Hussain, Soumya Sharma, Golnoosh Farnadi, Nicholas Vincent, Héber Hwang Arcolezi, Ulrich Aïvodji

机构 * Simon Fraser University（西蒙弗雷泽大学） ； McGill University（麦吉尔大学） ； Mila（Mila研究所） ； ÉTS 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出IDP-Bench，首个基于情境完整性框架的LLM相互依赖隐私基准，评估8个开源模型在三个推理层次上的表现，发现模型在识别CI参数和IDP特定参数方面存在弱点。