语言大模型 / LLM

Embodied Multi-Agent Coordination by Aligning World Models Through Dialogue

通过对话对齐世界模型实现具身多智能体协调

Vardhan Dongre, Dilek Hakkani-Tür

机构 * Siebel School of Computing & Data Science（计算机与数据科学学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究通过对话机制探索具身智能体的世界模型对齐，发现对话能减少冲突但降低任务成功率，提出评估世界模型对齐的框架。

Retrieval-Augmented Generation Must Move Beyond Factual Grounding to Represent Diverse Opinions

检索增强生成必须超越事实基础以代表多样化观点

Aditya Agrawal, Alwarappan Nakkiran, Darshan Fofadiya, Alex Karlsson, Harsha Aduri, Aman Singh Thakur

机构 * Amazon.com（亚马逊公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文指出检索增强生成系统存在系统性事实偏差，并提出需要在检索系统设计上进行范式转变，通过不确定性量化方法提出统一目标，并展示Opinion-Aware RAG架构在两个领域中的实验结果，证明其在多样性、公平性和准确性方面的提升。

Comments 18 pages, Preprint under review

Persona Matters: Effects of Activation Steering on Short Answer Generation and Scoring

通过人格向量引导大型语言模型在教育应用中的影响

Yongchao Wu, Aron Henriksson

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过人格向量引导大型语言模型在教育应用中的影响，发现其在短答案生成和自动评分中效果不一，尤其在开放性英语文学任务中影响更大，且混合专家模型表现出更大的校准偏移。

Named-Entity Recognition in the Crime Domain (CrimeNER): Case Study and Dataset

犯罪领域中的命名实体识别（CrimeNER）：案例研究与数据集

Miguel Lopez-Duran, Julian Fierrez, Aythami Morales, Daniel DeAlcala, Gonzalo Mancera, Javier Irigoyen, Ruben Tolosana, Oscar Delgado, Francisco Jurado, Alvaro Ortigosa

机构 * BiometricsAI, Universidad Autónoma de Madrid（生物度AI，马德里自治大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现实犯罪场景注释数据匮乏问题，提出CrimeNER及数据库CrimeNER-db，定义多种犯罪实体类型，通过完全监督微调通用NER模型实验等处理数据库质量，解决泛化能力问题，数据库可在GitHub获取。

Comments Sent for review at the main conference of the Iberoamerican Congress on Pattern Recognition

Agentic Retrieval-Augmented Generation for Financial Document Question Answering

代理检索增强生成用于财务文档问答

Yang Shu, Yingmin Liu, Zequn Xie

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出FinAgent-RAG框架，通过迭代检索-推理循环和自我验证，提升金融文档问答的精度。引入对比金融检索器、程序化思维模块和自适应策略路由，实验表明在三个基准数据集上均取得显著效果，准确率提升5.62-9.32个百分点。

Comments This paper is withdrawn due to significant methodological errors in the experimental design that fundamentally affect the validity of the results. The errors are not correctable within the current framework, and the conclusions can no longer be supported. We apologize for any inconvenience caused to readers

Code Benchmarks Should Prioritize Rigor, Reliability, and Reproducibility

代码基准应优先考虑严谨性、可靠性和可重复性

Jialun Cao, Yuk-Kit Chan, Zixuan Ling, Wenxuan Wang, Shuqing Li, Mingwei Liu, Ruixi Qiao, Yuting Han, Chaozheng Wang, Boxi Yu, Pinjia He, Shuai Wang, Zibin Zheng, Michael R. Lyu, Shing-Chi Cheung

机构 * The Chinese University of Hong Kong（香港中文大学） ； Renmin University of China（中国人民大学） ； Sun Yat-Sen University（中山大学） ； Chinese Academy of Sciences, Institute of Automation（中国科学院自动化研究所） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究代码基准在评估大语言模型中的作用，指出其质量影响对模型能力的解读。通过对672个代码基准的调查发现实际与认知有差距，提出代码基准应在构建、评估和发布中分别注重严谨性、可靠性和可重复性，并给出准则。

Comments 66 pages

ContraFix: Skill-Enhanced Contrastive Runtime Analysis for Vulnerability Repair

ContraFix：通过差分运行时证据和技能重用进行代理漏洞修复

Simiao Liu, Fang Liu, Peiding Wang, Taichuan Li, Yinghao Zhu, Xiaoli Lian, Li Zhang

机构 * Beihang University（北京航空航天大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出ContraFix框架，通过差分运行时证据和可重用的修复技能，解决大型语言模型代理在自动漏洞修复中的语义误解问题，实现了在SEC-Bench和PatchEval上的高准确率。

Comments Code: https://figshare.com/s/f173c78e44bca88ebaea

MedRepBench: A Comprehensive Benchmark for Medical Report Interpretation

MedRepBench：医学报告解读的综合基准

Fangxin Shang, Yuan Xia, Dalu Yang, Yahui Wang, Binglin Yang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MedRepBench基准，包含1925张去标识中文医学报告图像，评估端到端视觉语言模型在报告字段结构化提取和患者友好解释上的性能，并提供GRPO对齐基线提升字段召回率6%。

Comments ECCV 2026 (main conference)

MultiZebraLogic: A Multilingual Logical Reasoning Benchmark

MultiZebraLogic：多语言逻辑推理基准

Sofie Helene Bruun, Dan Saattrup Smart

机构 * The Alexandra Institute（亚历山大研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出多语言逻辑推理基准MultiZebraLogic，包含九种语言的高质量斑马谜题数据集，通过调整谜题大小和添加无关线索控制难度，分析语言、文化敏感性和线索类型对模型性能的影响。

Comments Camera-ready version for RESOURCEFUL 2026 at LREC 2026

WebSP-Eval: Evaluating Web Agents on Website Security and Privacy Tasks

WebSP-Eval：在网站安全与隐私任务上评估网络代理

Guruprasad Viswanathan Ramesh, Asmit Nayak, Basieem Siddique, Kassem Fawaz

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出WebSP-Eval框架，通过200个任务实例和自动化评估器，测试多模态大模型在网站安全与隐私任务上的表现，发现状态UI元素（如开关）导致超过45%的任务失败。

Comments Accepted at PETS 2026. Project Page: https://wiscprivacy.com/webspeval/

SorryDB: Can AI Provers Complete Real-World Lean Theorems?

SorryDB: AI证明者能完成现实世界的Lean定理吗？

Austin Letson, Leopoldo Sarra, Auguste Poiroux, Oliver Dressler, Paul Lezeau, Dhyan Aranha, Frederick Pu, Aaron Hill, Miguel Corredera Hidalgo, Julian Berman, George Tsoukalas, Lenny Taelman

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出动态更新的基准SorryDB，包含78个GitHub上的现实形式化项目，评估AI证明者在复杂依赖下的能力，发现当前方法互补，基于Gemini Flash的智能体方法表现最佳。

A Survey on Agentic Security: Applications, Threats and Defenses

关于智能体安全的综述：应用、威胁与防御

Asif Shahriar, Md Nafiu Rahman, Sadif Ahmed, Farig Sadeque, Md Rizwan Parvez

机构 * BRAC University（布拉克大学） ； Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文首次全面综述智能体安全领域，围绕应用、威胁与防御三大支柱，分类260余篇论文，分析攻击入口、防御策略及生命周期覆盖，指出智能体系统默认结构脆弱，需全生命周期防御。

FlowState: Sampling-Rate-Equivariant Time-Series Forecasting

FlowState: 采样率等变的时间序列预测

Lars Graf, Thomas Ortner, Stanisław Woźniak, Angeliki Pantazi

专题命中 评测与基准 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出FlowState架构，通过状态空间模型编码器和函数基解码器实现采样率等变预测，无需重新训练即可适应不同采样率和预测长度，在GIFT-Eval基准上取得最优结果。

Comments Proceedings of the 43 rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026. Copyright 2026 by the author(s)

"Do Not Mention This to the User": Detecting and Understanding Malicious Agent Skills in the Wild

“不要向用户提及此事”：检测与理解恶意代理技能

Yi Liu, Zhihao Chen, Yanjun Zhang, Gelei Deng, Yuekang Li, Jianting Ning, Leo Yu Zhang

机构 * Griffith University（格里菲斯大学） ； Nanyang Technological University（南洋理工大学） ； University of New South Wales（新南威尔士大学） ； Zhejiang Key Laboratory of Digital Fashion and Data Governance, Zhejiang Sci-Tech University（浙江数字时尚与数据治理重点实验室，浙江科技大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文通过对两个主要注册中心的98,380个技能进行系统安全分析，结合静态模式匹配和动态行为验证，识别出157个恶意技能，揭示了13种攻击技术中的632个不同漏洞，并发现攻击复杂性与隐藏投入相关。

Comments Accepted to the 35th USENIX Security Symposium (USENIX Security 2026)

Illusions of the Gold Standard: A Large-scale Analysis of Human Evaluation Protocols for Long-form Text Generation

黄金标准的幻觉：长文本生成中人类评估协议的大规模分析

Katelyn Xiaoying Mei, Yi-Li Hsu, Minjoon Choi, Zongwan Cao, Chenjun Xu, Bingbing Wen, Su Lin Blodgett, Lucy Lu Wang

机构 * University of Washington（华盛顿大学） ； National Tsing Hua University（国立清华大学） ； Seoul National University（首尔大学） ； Mila - Québec AI Institute（米拉-魁北克人工智能研究所） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过分析2023-2025年*CL会议论文中的人类评估协议，发现报告不透明和可重复性差的问题，并提出改进建议。

Comments Accepted to ACL 2026 Main

CUA-Gym: Scaling Verifiable Training Environments and Tasks for Computer-Use Agents

CUA-Gym：为计算机使用智能体扩展可验证的训练环境和任务

Bowen Wang, Dunjie Lu, Junli Wang, Tianyi Bai, Shixuan Liu, Zhipeng Zhang, Haiquan Wang, Hao Hu, Tianbao Xie, Shuai Bai, Dayiheng Liu, Que Shen, Junyang Lin, Tao Yu

机构 * The University of Hong Kong（香港大学） ； Qwen Team, Alibaba Inc.（阿里巴巴集团Qwen团队） ； University of California, San Diego（加州大学圣地亚哥分校） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出CUA-Gym可扩展流水线，通过协同生成任务指令、环境状态和奖励函数，构建大规模可验证强化学习训练数据，并合成CUA-Gym-Hub模拟网络应用环境，训练出的智能体在OSWorld-Verified和WebArena上取得领先性能。

ConflictRAG: Detecting and Resolving Knowledge Conflicts in Retrieval Augmented Generation

ConflictRAG: 检测和解决检索增强生成中的知识冲突

Chenyu Wang, Yueyuan Li, Yingmin Liu, Yang Shu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出ConflictRAG框架，通过两阶段冲突检测模块、熵-TOPSIS框架和冲突感知RAG评分，有效检测和解决检索增强生成中的知识冲突，实验表明其在冲突检测F1和正确性方面优于现有方法。

Comments 6 pages, 6 figures, submitted to IEEE SMC 2026

CrossAlpha: An Annual-Report Benchmark for Cross-Market Factor Research (with LLM Agents)

CrossAlpha: 跨市场因子研究的年报基准

Qian Wang, Zhongyi Tong, Nuo Chen, Zhaomin Wu, Bingsheng He

专题命中 评测与基准 ：LLM(title)

AI总结 提出CrossAlpha基准，通过披露蒸馏、残差模式图构建和时序对齐评估，解决跨市场因子研究中披露到收益评估的挑战。

The Metacognitive Bottleneck: Japanese Riddles Reveal Fundamental Limits of Machine Insight and Self-Evaluation in Reasoning AI

日式儿童谜语作为机器洞察与元认知的基准

Masaharu Mizumoto, Dat Nguyen, Zhiheng Han, Xingfu Li, Yo Nakawake, Le Minh Nguyen

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究通过日本儿童谜语构建基准，揭示机器在洞察推理和元认知控制方面的不足，为提升AI的自我评估能力提供新方向。

Mawqif-XT: An Arabic Benchmark Dataset for Cross-Target Stance Detection

Mawqif-v2：面向跨目标立场检测的阿拉伯语基准数据集

Rasha Albalawi, Nuha Albadi, Hamzah Luqman, Maram Kurdi, Saad Ezzini, Asma Yamani, Ahmed Ashraf

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Mawqif-v2阿拉伯语基准数据集，含996条标注推文，用于评估跨目标立场检测的模型泛化能力，并建立基线结果以支持可复现评估。

Auditable Agents

可审计代理

Yi Nian, Aojie Yuan, Haiyue Zhang, Jiate Li, Li Li, Xiyang Hu, Hua Wei, Xiongye Xiao, Chaowei Xiao, Yue Zhao

机构 * FORTIS Lab, University of Southern California（南加州大学FORTIS实验室） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文探讨了可审计代理系统的核心问题，提出五个可审计性维度和三种机制类别，通过实证证据证明代理系统需具备审计能力才能实现问责。

Comments 24 pages, 1 figure. Extended version. A condensed 4-page version appears in the Proceedings of the ACM AI Leadership Summit 2026 (Visionary Papers track)

SLAyiNG: A Diverse and Community-validated Dataset of Queer Slang

SLAyiNG：一个经社群验证的多元酷儿俚语数据集

Leonor Veloso, Lea Hirlimann, Lucija Mihić Zidar, Philipp Wicke, Valentin Hofmann, Hinrich Schütze

机构 * Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 评测与基准 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 针对酷儿语言处理偏差问题，本文提出首个经社群验证的英语酷儿俚语数据集Slaying，揭示语言模型对酷儿社群无表征偏差但存在语言偏差等发现，可提升酷儿用户NLP体验。

Comments Preprint

TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents

TongGuOCR：面向中文历史文献的布局感知与 token 增强 OCR 框架

Zhongheng Zhou, Yi Sun, Huiguo He, Yuyi Zhang, Peirong Zhang, Yulin Fang, Dezhi Peng, Minghui Liao, Lianwen Jin

机构 * School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对中文历史文献OCR的复杂布局、生僻字等挑战，提出TongGuOCR框架，通过布局感知预处理与token增强识别模块，在M5HisDoc等基准上取得优于同类模型的性能。

Patients With Personality: Realistic Patient Simulation through Controlled Diversity and Selective Disclosure

具有个性的患者：通过受控多样性与选择性披露实现逼真的患者模拟

Moritz Schlager, Friederike Jungmann, Samuel Schmidgall, Philipp Raffler, Franziska Hartl, Eva Wende, Paula Roßmüller, Conrad Ketzer, Avinatan Hassidim, Dale R. Webster, Yossi Matias, Yun Liu, Daniel Rueckert, Mike Schaekermann, Paul Hager

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； TUM University Hospital（慕尼黑技术大学医院） ； Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出PatientsWithPersonality框架，通过HEXACO人格参数化控制患者对话风格、合作性和信息披露，生成逼真且多样化的虚拟患者，在临床评估中接近真实演员表现。

Comments 22 pages, 11 figures

PinpointQA: A Benchmark for Small Object-Centric Spatial Understanding in Indoor Videos

PinpointQA: 一个用于室内视频中微小物体中心空间理解的数据集和基准

Zhiyu Zhou, Peilin Liu, Ruoxuan Zhang, Luyang Zhang, Cheng Zhang, Hongxia Xie, Wen-Huang Cheng

机构 * Jilin University（吉林大学） ； National Taiwan University（国立台湾大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出PinpointQA数据集，用于评估多模态大语言模型在室内视频中对微小物体空间定位的精准理解能力，通过四个递进任务验证模型性能，并展示其作为诊断基准和训练数据集的效果。

Comments Accepted at the ECCV 2026 Workshop on Embodied Multimodal Reasoning in Physical Environments (EMR)

Checkup2Action: A Multimodal Clinical Check-up Report Dataset for Patient-Oriented Action Card Generation

Checkup2Action：面向患者行动的多模态临床检查报告数据集

Sike Xiang, Shuang Chen, Kevin Qinghong Lin, Jialin Yu, Yijia Sun, Philip Torr, Amir Atapour-Abarghouei

机构 * Durham University（杜伦大学） ； University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Checkup2Action数据集，用于生成结构化的行动卡，通过多模态检查报告生成患者导向的行动建议，评估行动的准确性、优先级和安全性。

No Single Best Model for Diversity: Learning a Router for Sample Diversity

没有单一最佳模型用于多样性：学习一个路由器以实现样本多样性

Yuhan Liu, Fangyuan Xu, Vishakh Padmakumar, Daphne Ippolito, Eunsol Choi

机构 * New York University（纽约大学） ； Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 本文研究了如何通过路由器选择最佳模型以生成多样化的响应，发现无单一模型在广泛提示下表现最佳，且在不同数据集上具有泛化能力。

Comments Accepted to COLM 2026

Studying People to Study AI: Expert Perspectives on the Epistemic Fit and Barriers of Human Research in AI Safety & Ethics

研究人以研究AI：关于人类研究在AI安全与伦理中的认知适配性及障碍的专家观点

Jessica Y. Bo, Paula Akemi Aoyagui, Shalaleh Rismani, Dipto Das, Syed Ishtiaque Ahmed, Ashton Anderson

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究通过对93名AI安全与伦理领域专家的调查及17名专家的访谈，分析了人类研究在AI安全与伦理领域的认知适配性与障碍，并提出相关建议以避免流于形式的“人类洗白”。

Comments Ninth AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)

MathDuels: A Self-Play Benchmark That Grows

MathDuels：评估大语言模型作为问题提出者和解决者

Zhiqiu Xu, Shibo Jin, Shreya Arya, Mayur Naik

机构 * Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系） ； Department of Mathematics, University of Pennsylvania（宾夕法尼亚大学数学系） 纠错

专题命中 评测与基准 ：language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 MathDuels通过让模型同时扮演问题提出者和解决者角色，揭示了模型在两者能力上的差异，展示了评估方法在区分模型能力上的有效性。

Penalizing Length: Uncovering Systematic Bias in Quality Estimation Metrics

通过长度惩罚：揭示质量估计指标中的系统性偏差

Yilin Zhang, Wenda Xu, Zhongtao Liu, Tetsuji Nakagawa, Markus Freitag

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Google（谷歌） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 研究揭示了质量估计指标在翻译长度上的系统性偏差，指出长度偏差可能导致对长译文的不公平惩罚，并通过长度归一化训练方法改进了指标的可靠性。