语言大模型 / LLM

An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios

现实场景中工具使用LLM代理的数据泄露风险评估

Hankyul Baek, Jaewon Noh, Sang Seo, Yongsu Kim, Gabriel Waikin Loh Matienzo, Young Il Kim, Ee Wei Seah, Akriti Vij

机构 * Korea AI Safety Institute（韩国人工智能安全研究所） ； Singapore AI Safety Institute（新加坡人工智能安全研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 评估了12个非对抗性任务中AI代理的数据泄露风险，发现所有代理均存在数据安全意识不足、信息过度访问等问题，表明操作数据泄露是独立于对抗性窃取的一阶安全风险。

TimeVista: Exploring and Exploiting Vision-Language Models as Judges for Time Series Forecasting

TimeVista：探索和利用视觉语言模型作为时间序列预测的评判者

Zhi Chen, Yuxuan Wang, Jialong Wu, Yong Liu, Haoran Zhang, Xingjian Su, Jianmin Wang, Mingsheng Long

机构 * School of Software, BNRist, Tsinghua University（清华大学软件学院、北京信息科学与技术国家研究中心） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.AI

AI总结 提出TimeVista框架，利用视觉语言模型（VLM）作为时间序列预测的评判者，通过微观和宏观判断结合上下文信息评估预测质量，实验表明VLM比传统指标更符合人类偏好。

Lung-R1: A Knowledge Graph-Guided LLM for Pulmonary Diagnostic Reasoning

Lung-R1：知识图谱引导的肺部诊断推理大语言模型

Haoyang Zeng, Yuanxi Fu, Rongzhen Li, Yuming Yang, Xiao Sun, Jingwang Huang, Gujie Shao, Guohui Xiang, Quan Lu, Dongfan Ye, Xuetao Chen, Jiang Zhong, Kaiwen Wei, Zhi Xu

机构 * School of Computer Science, Chongqing University（重庆大学计算机学院） ； AI Research Institution, Mashang Financial Institution（马上金融人工智能研究院） ； Department of Information, Third Military Medical University（陆军军医大学信息系） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出LungKG知识图谱和Lung-R1模型，通过KG约束的推理链构建和强化学习，解决肺部知识到病例诊断的差距，在EMR诊断任务上达到SOTA。

Do Vision-Language Models See or Guess? Measuring and Reducing Textual-Prior Reliance with a Phrasing-Controlled Benchmark

视觉语言模型是看见还是猜测？通过措辞控制基准衡量和减少文本先验依赖

Pratham Singla, Shivank Garg, Vihan Singh, Paras Chopra

机构 * Lossfunk ； Indian Institute of Technology Roorkee（印度理工学院罗尔基分校） ； Raeth AI 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL

AI总结 本文构建了540张图像的基准，通过为同一图像生成四种措辞变体，衡量视觉语言模型对文本先验的依赖，发现所有模型在最难变体上性能下降，开放模型下降最严重，并通过无图像消融等分析证实了真正的图像依赖。

Comments 17 pages, 7 figures, Submitted to EMNLP 2026

ReflectiChain: Epistemic Grounding in LLM-Driven World Models for Supply Chain Resilience

ReflectiChain: 面向供应链韧性的LLM驱动世界模型中的认知基础

Jia Luo

机构 * School of Foreign Languages, Huazhong University of Science 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ReflectiChain框架，通过生成式供应链世界模型和双环学习分离认知不确定性与偶然不确定性，在半导体基准上提升推理一致性33.0%，并在对抗冲击下保持82.3%可操作性。

Mobility Anomaly Generation using LLM-Driven Behavior with Kinematic Constraints

基于大语言模型驱动行为与运动约束的移动异常生成

Yueyang Liu, Joon-Seok Kim, Andreas Züfle

机构 * Emory University, Atlanta, USA（埃默里大学，亚特兰大，美国） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出端到端生成框架，结合大语言模型注入语义异常与地图约束路由重建，合成带标注的真实轨迹异常数据集。

Order Matters: Unveiling the Hidden Impact of Macro Placement Sequences via Proxy-Guided LLM Evolution

顺序至关重要：通过代理引导的LLM进化揭示宏放置序列的隐藏影响

Shibing Mo, Jing Liu, Jianchu Xu, Ruilin Wu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出OrderPlace框架，利用代理引导的大语言模型进化自动发现宏放置顺序策略，在ISPD 2005基准上相比现有方法线长减少14.08%-34.04%。

Comments ICML2026

When Languages Disagree: Self-Evolving Multilingual LLM Judges

当语言不一致时：自我进化的多语言LLM评判者

Xiyan Fu, Wei Lu

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出SEMJ方法，利用多语言评判中的跨语言不一致性进行迭代自我反思与重新评估，在多个基准上优于投票和反思基线，提升准确性和跨语言一致性。

Beyond Exact Match: How Evaluation Methodology Dominates Model Choice in LLM-Based Product Attribute Extraction

超越精确匹配：评估方法如何在基于大语言模型的产品属性提取中主导模型选择

Ayush Dwivedi, Ashvi Soni

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究基于大语言模型的产品属性提取中评估方法的影响，通过在MAVE基准上对比两种模型的四种提示策略，用精确和模糊匹配评估预测并审计标签，发现评估方法产生的方差远超模型和提示策略选择，且基准有一定噪声率，得出评估方法和数据质量主导模型选择等结论。

Comments 9 pages, 3 figures, 8 tables. Preprint under review. Code available at https://github.com/a-dwivedi/llm-product-attribute-extraction

VibeLifeBench: Can Your Life Agent Be Proactive and Persistent in a Living World?

VibeLifeBench：你的生命智能体能在真实生活环境中保持主动与持续性吗？

Xiaohongshu Inc

机构 * Xiaohongshu Dots Studio（小红书Dots工作室） ； Evolvent AI（Evolvent AI公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出VibeLifeBench基准，评估7个前沿LLM智能体在200项长周期日常生活任务中的表现，发现其主动与持续性不足，将开源相关任务、环境与评估框架。

Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions

超越自然性：基于语言维度探究自动文本转语音评估器

Oluwanifemi Bamgbose, Simon Rosen, Jash Shah, Lindsay Devon Brin, Hoang H Nguyen, Anke Koelzer, Rachel Hansen, Tara Bogavelli, Fanny Riols

机构 * ServiceNow（ServiceNow公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建了首个TTS维度级元评估基准，测试发现MOS预测器聚焦声学信号质量，Audio-LLM评估器检测能力具选择性且依赖提示，两类方法均难捕捉语言结构化语音错误，相关资源已公开。

Comments Work in progress

The em-dash em-beds in Congress: A population-level rise in em-dash frequency in U.S. congressional press releases at the dawn of the large-language-model era, 2021-2025

长破折号嵌入国会：大语言模型时代初期（2021-2025）美国国会新闻稿中长破折号频率的全人口水平上升

Przemysław Czuma

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究分析2021-2025年美国国会新闻稿，发现无空格长破折号频率在2025年翻倍，证实LLM辅助写作的扩散，长破折号可作为全人口水平的相关标记。

Comments Preregistered study (OSF: 10.17605/OSF.IO/U5NEY); deviations from the registered plan, including a formal validation-gate breach, are disclosed in Section 4.6. Companion study: arXiv:2606.29540. 3 figures, 4 tables

Leak-Resistant Unlearning: A New Benchmark for Evaluating Multi-Hop Reasoning Consistency and Recovery Robustness

防泄露遗忘：评估多跳推理一致性与恢复鲁棒性的新基准

Haoting Qian, Qingjie Zhang, Zhicong Huang, Cheng Hong, Han Qiu

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出新基准unlearning评估LLM遗忘的鲁棒性，实验发现现有遗忘方法易受多跳推理路径和恢复攻击影响，还探究了遗忘质量、鲁棒性与模型效用的权衡。

Comments 19 pages, 7 figures

ARB: A Matched Authorship-Rewriting Benchmark Dataset for AI-Text Detector Evaluation

ARB：用于AI文本检测器评估的匹配作者改写基准数据集

Gaetano Perrone, Simon Pietro Romano

机构 * University of Napoli Federico II（那不勒斯费德里科二世大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出用于AI文本检测器评估的ARB基准数据集，对比五种检测器在传统基准与人类被LLM改写场景下的性能，发现传统基准测得的性能无法迁移至改写人类文本场景。

Can AI Evaluate AI Scientists? A Benchmarking Study of Autonomous Research Generation Systems Using Automated Multi-Model Review

AI能否评估AI科学家？基于自动化多模型评审的自主研究生成系统基准研究

Vaibhava Lakshmi Ravideshik, Mayank Kejriwal

机构 * Technion（以色列理工学院） ； Sakana AI ； FARS 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对AI科学家系统的评估难题，提出基于多模型LLM的自动化评审基准，发现FARS基准论文表现最优，Gemini与Claude评估一致性强，GPT-5.4标准不同，建立了首个定量基准。

Beyond Similarity: Grounded Agentic Extraction and Expert-Adjudicated Evaluation of Intertextuality in Classical Chinese Histories

超越相似性：中国古典史书互文性的智能体式提取与专家裁决评估

Zhaoji Wang, Wanyu Si, Jun Wang

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究将细粒度互文性提取设为LLM智能体任务，构建专家裁决的古典史书互文基准，验证12种LLM性能，扩展至二十四史揭示引文的总体稳定与个案漂移规律并发布相关资源。

Comments 9 pages, 4 figures, 3 tables

SecRespond: Benchmarking AI Agents for Real-World Post-Compromise Incident Response

SecRespond：面向真实入侵后事件响应的AI智能体基准测试集

Lehan Wang, Boli Chen, Ruixue Ding, Pengjun Xie, Jinwei Huang, Zhendong Liu, Shuo Wang, Tao Lei, Xin Ouyang, Xiaomeng Li

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究人员推出首个入侵后事件响应AI智能体基准测试集SecRespond，评估23种前沿LLM在10个靶场的表现，发现现有智能体难以及时发现隐蔽入侵并制定全面修复计划，存在根本瓶颈。

Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting

重新思考自进化：缓解技能过拟合的约束探索-利用过程

Hongqiang Lin, Chao Liu, Xiaofan Bai, Xuan Jin, Yuhong Li, Nenggan Zheng, Xipeng Cao

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM智能体技能过拟合问题，提出SkillBoost三阶段框架，在23种模型-基准配置上达SOTA性能，优化后技能可跨智能体复用。

Do Methods Support the Claims? Intra-Paper Verification for Peer Review

方法是否支持其主张？用于同行评审的论文内部验证

Ranjitha Shivaprasad Ballakuraya, Arash Mahyari, Ashok Srinivasan

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对现有 LLM 评审系统忽视论文内部主张与方法学证据不匹配的问题，提出 intra-paper claim verification 框架，经实验验证其生成的评审意见与人类评审关注点高度契合。

Comments 9 pages, 8 figures. Source code, prompts, evaluation materials, and supporting data available at https://github.com/Ranjitha2493/intra-paper-claim-method-verification

DataPrep-Bench: Benchmarking LLMs as Training Data Preparators

数据准备基准：评估作为训练数据准备者的大语言模型

Hao Liang, Qifeng Cai, Yibo Lin, Jianzhuo Du, Qifeng Xia, Sizhe Qiu, Linzhuang Sun, Meiyi Qiang, Zhaoyang Han, Xiaochen Ma, Bohan Zeng, Ruichuan An, Conghui He, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究院） ； OriginHub Technology（源创科技） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究LLMs作为训练数据准备者的表现，引入DataPrep - Bench统一基准，涵盖数据构建与质量评估，在多领域和模型上评估，发布相关智能体和评估器，为衡量LLM驱动数据准备能力提供框架。

Information Discernment in Large Language Models

大语言模型中的信息辨别

Joshua Ashkinaze, Laura Kurek, Alina Faisal, Tongyuan Miao, Mariam Joseph, Ceren Budak, Eric Gilbert

机构 * University of Michigan（密歇根大学） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型在与外部知识源结合时的信息辨别问题，提出Learn2Discern框架及基准，通过用户研究和大量模型试验发现模型在来源和真相辨别上存在问题，识别出简单干预措施，发布数据集和调查作为测试平台。

Analogical Deep Research: Retrieving and Integrating Historical Analogies for Foresight Analysis

类比深度研究：检索和整合历史类比以进行前瞻性分析

Yongqiang Chen, Guangyi Chen, Yuewen Sun, Kun Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出类比深度研究（ADR）任务及ADR-bench，发现LLM智能体找类比能力差。基于理论分析提出ADR原则，构建因果类比研究者（CANA）框架，提升历史类比生成效果，超越现有智能体，案例研究证实其利用历史类比的有效性。

Comments Ongoing project

RAGthoven at SemEval-2026 Task 1: A Multi-Stage Pipeline Walks Into a Benchmark and Barely Clears the Bar

RAGthoven参加SemEval-2026任务1：一个多阶段管道进入基准测试且勉强达标

Marek Šuppa, Viktória Ondrejová, Lucia Ganajová, Gregor Karetka, Daniel Skala

机构 * Comenius University in Bratislava（布拉迪斯拉发的夸美纽斯大学） ； Cisco Systems（思科系统公司） ； Zaitra s.r.o.（扎伊特拉有限公司） ； NaiveNeuron（天真神经元） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 介绍用于SemEval-2026任务1子任务A的RAGthoven系统，它将幽默文本生成分解为多阶段LLM管道，经多次实验优化，最终配置用RAG增强规划器，还评估两种智能变体，虽工具调用预算增加，但在英语样本上未超非智能管道，在三种语言中与基线并列第一，显示语言相关回报递减。

Comments SemEval-2026 Task 1

Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points

超越莎莉-安妮任务：使用认知谢林点评估大语言模型中的心理理论

Roberta Rocca, Sami Boukortt, Geoff Keeling, Winnie Street

机构 * Paradigms of Intelligence Team（智能范式团队） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究旨在解决大语言模型心理理论评估问题，引入认知不对称谢林任务，通过要求模型在不同认知透明度下收敛于语义谢林点来评估其功能性ToM能力，发现能力差距及协调失败原因，指出社会推理和认知跟踪是瓶颈，为LLM评估与发展提供目标。

Challenges and Recommendations for LLMs-as-a-Judge in Multilingual Settings and Low-Resource Languages

多语言环境和低资源语言中LLM-as-a-Judge的挑战与建议

A. Seza Doğruöz, Xixian Liao, Verena Blaschke, Jakob Prange, Senyu Li, David Ifeoluwa Adelani

机构 * LT3, IDLab, Universiteit Gent, Barcelona Supercomputing Center, LMU Munich & Munich Center for Machine Learning, German Center for Addiction Research in Childhood and Adolescence, University Medical Center Hamburg-Eppendorf, Mila - Quebec AI Institute, McGill University, Canada CIFAR AI Chair（LT3、IDLab、根特大学、巴塞罗那超级计算中心、慕尼黑莱茵河大学及慕尼黑机器学习中心、德国成年期成瘾研究中心、汉堡埃彭多夫大学医学中心、魁北克人工智能研究所、麦吉尔大学、加拿大 CIFAR 人工智能主席） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文分析ACL论文中LLM-as-a-Judge在多语言和低资源语言评估中的应用，发现仅有33篇相关论文，存在评估结果不一致、过度信任LLM判断及依赖单一模型等问题，并提出改进建议。

Comments Under Review

Can LLMs Judge Better Than They Generate? Evaluating Task Asymmetry, Mechanistic Interpretability and Transferability for In-Context QA

LLM能否比生成更好地判断？探究上下文问答中的任务不对称性、机制可解释性与可迁移性

Sambaran Bandyopadhyay

机构 * Adobe Research（Adobe研究院） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 本研究在受控上下文问答中测试LLM自我评估是否比生成更容易，发现评估并非普遍更易，注意力分析显示评估对上下文关注更少，微调实验证实不对称性非训练伪影，挑战了自我评估管线的核心假设。

Comments 18 pages

Evaluating LLMs on Real-World Software Performance Optimization

评估大语言模型在真实软件性能优化中的表现

Ezgi Sarıkayak, Wenchao Gu, Hesham Ghonim, Chunyang Chen

机构 * Siemens AG（西门子公司） ； Technical University of Munich（慕尼黑技术大学） ； Heilbronn, Germany（德国海德堡） ； Munich, Germany（德国慕尼黑） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有基准过度简化性能优化的问题，提出基于102个专家优化的仓库级基准SWE-Pro，评估LLM在运行时、峰值内存和时间加权内存使用上的表现，发现LLM优化效果显著弱于专家。

StatABench: Dataset and Framework for Evaluating Statistical Analysis Capabilities of LLMs

StatABench：评估大语言模型统计分析能力的数据集与框架

Youxin Zhu, Yixuan Ding, Peng Lai, Longyue Wang, Bingyi Jing, Guanhua Chen

机构 * Southern University of Science and Technology（南方科技大学） ； Alibaba Group（阿里巴巴集团） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The University of Hong Kong（香港大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出StatABench基准，包含404道封闭题和30道开放建模任务，评估LLM在统计分析上的能力，实验显示最佳模型仅达68.6%准确率，揭示工具推理和建模决策等挑战。

Security and Privacy Prompts in the Wild: What Users Ask LLMs and How LLMs Respond

现实中的安全与隐私提示：用户向LLM提问及LLM如何回应

Hobin Kim, Xiaoyuan Wu, Omer Akgul, Lujo Bauer, Nicolas Christin

机构 * Carnegie Mellon University（卡内基梅隆大学） ； RSAC Labs（RSAC实验室） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 基于WildChat数据集，分析用户向大语言模型提出的安全与隐私问题，分类并评估模型回答质量与一致性。

EHRNote-ChatQA: A Benchmark for Evidence-Grounded Multi-Turn Clinical Question Answering over Longitudinal Discharge Summaries

EHRNote-ChatQA：一个面向纵向出院总结的基于证据的多轮临床问答基准

Jiyoun Kim, Muhan Yeo, Eunhye Jang, Jeewon Yang, Hangyul Yoon, Su Ji Lee, Hee Jo Han, Hee-Jae Jung, Doyun Kwon, Jun young Lee, Jaehun Lee, Jung-Oh Lee, Sunjun Kweon, Jong Hak Moon, Daseul Kim, Minjae Cho, Edward Choi

机构 * KAIST（韩国科学技术院） ； Seoul National University（首尔大学） ； Seoul National University Bundang Hospital（首尔大学盆唐医院） ； SAIHST, Sungkyunkwan University（成均馆大学） ； Yonsei University College of Medicine（延世大学医学院） ； Gangnam Severance Hospital（江南塞弗伦斯医院） ； Severance Hospital（塞弗伦斯医院） ； Seoul Medical Center（首尔医疗中心） ； Seoul National University Hospital（首尔大学医院） ； National Cancer Center（国立癌症中心） ； Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院） ； Samsung Medical Center（三星医疗中心） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出EHRNote-ChatQA基准，基于MIMIC-IV出院总结构建，包含967个多轮样本和16072个专家验证的QA对，评估LLM在证据支持下的多轮临床问答能力，发现模型在证据定位和多轮错误累积方面存在挑战。