语言大模型 / LLM

MapTab: A Diagnostic Benchmark for Long-Horizon Multi-Criteria Multimodal Reasoning on Heterogeneous Topological Graphs

MapTab: MLLMs 是否已准备好在异构图中进行多标准路线规划？

Ziqiao Shang, Ling-Yue Ge, Zian Xu, Zi-Jian Cheng, Shi-Yu Tian, Zhenyu Huang, Wenbo Fu, Weiming Wu, Yang Chen, Xiangwen Zhang, Yulan Hu, Bin Liu, Lan-Zhe Guo

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； AMAP, Alibaba Group（阿里集团AMAP） ； School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出MapTab基准测试，用于评估多模态大语言模型在多标准路线规划任务中的综合推理能力，发现当前模型在多模态推理方面存在显著挑战。

ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation

ML2B：评估大语言模型跨语言ML流水线生成能力的基准

Ekaterina Trofimova, Zosia Shamina, Maria Selifanova, Artem Zaitsev, Remi Savchuk, Maxim Minets, Daria Ozerova, Emil Sataev, Denis Zuenko, Andrey E. Ustyuzhanin

机构 * HSE University（俄罗斯伏尔加格勒国立大学） ； Constructor University（Constructor大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ML2B是首个评估大语言模型跨语言ML流水线生成能力的基准，含多领域多语言任务，实验发现跨语言性能退化高度依赖任务，挑战了传统多语言模型能力假设。

From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World

从受控到野性：对渗透测试代理的评估

Pedro Conde, Henrique Branquinho, Valerio Mazzone, Bruno Mendes, André Baptista, Nuno Moniz

机构 * Ethiack Coimbra（Ethiack科英布拉） ； Ethiack Porto（Ethiack波尔图） ； University of Notre Dame（北德克萨斯大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出一种评估AI渗透测试代理的新方法，通过验证漏洞发现而非任务完成，以更真实的方式比较代理性能，同时提供可复现的评估协议和标注数据。

RefBench-PRO: Perceptual and Reasoning Oriented Benchmark for Referring Expression Comprehension

RefBench-PRO：面向感知与推理的指称表达理解基准

Tianyi Gao, Hao Li, Han Fang, Xin Wei, Xiaodong Dong, Hongbo Sun, Ye Yuan, Zhongjiang He, Jinglin Xu, Jingmin Xin, Hao Sun

机构 * National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（国家人机混合增强智能重点实验室） ； National Engineering Research Center for Visual Information and Applications（国家视觉信息与应用工程技术研究中心） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） ； Xi’an Jiaotong University（西安交通大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究院（TeleAI）） ； China Telecom（中国电信） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RefBench-PRO提出一个面向感知与推理的指称表达理解基准，通过分解指称表达为感知和推理两个维度，设计六个逐步递增的挑战任务，并引入Ref-R1强化学习方案提升定位精度，实现对多模态大语言模型的可解释评估。

Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods

基于眼动追踪的自动可读性评估方法的认知评估

Keren Gruteke Klein, Shachar Frenkel, Omer Shubi, Yevgeni Berzak

机构 * Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology（数据与决策科学学院，技术Ion-以色列理工学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究聚焦自动文本可读性评分方法，引入新认知评估框架，通过眼动追踪在线测量实时阅读流畅度，评估多种方法后发现它们在预测成人英语阅读流畅度上欠佳，揭示局限并呼吁新的认知驱动评分方法。

Comments Computational Linguistics

Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents

谁买单？面向真实世界网络代理的以利益相关者为中心的提示注入基准测试

Zihao Wang, Yiming Li, Yutong Wu, Kangjie Chen, Zheyu Liu, Fok Kar Wai, Pin-Yu Chen, Vrizlynn L. L. Thing, Bo Li, Dacheng Tao, Tianwei Zhang

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； ST Engineering, Singapore（ST工程，新加坡） ； IBM Research, USA（IBM研究院，美国） ； University of Illinois Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校，美国） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出以利益相关者为中心的基准测试框架，系统分类和归因真实世界网络代理系统中的提示注入危害，揭示当前代理无法可靠抵抗任何攻击目标，且失败模式多样。

Comments 25 pages

Coherent Without Grounding, Grounded Without Success: Observability and Epistemic Failure

无需基础的协调，协调的无需成功：可观测性与认知失败

Camilo Chacón Sartori

机构 * Institut Català de Nanociència i Nanotecnologia (ICN2)（加泰罗尼亚纳米科学与纳米技术研究所（ICN2）） ； Artificial Intelligence Research Institute (IIIA-CSIC)（人工智能研究所（IIIA-CSIC）） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨了大型语言模型在低可观测性和高可观测性领域中协调与基础的分离现象，提出认知三角模型以评估人工智能代理的认知能力。

Comments Error found in some results. I need to correct it before re-uploading

Stability of AI Governance Systems: A Coupled Dynamics Model of Public Trust and Social Disruptions

AI治理系统的稳定性：公众信任与社会动荡的耦合动力学模型

Jiaqi Lai, Hou Liang, Weihong Huang

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出耦合动力学模型，分析公众信任与社会动荡的相互作用，揭示信任崩溃的临界条件及网络结构对治理失效的影响。

Comments 16 pages, 5 figures

Beyond Relevance-Centric Retrieval: Rubric-Oriented Document Set Selection and Ranking

超越以相关性为中心的检索：面向评分标准的文档集选择与排序

Kailin Jiang, Lei Liu, Jian Xi, Hui Xu, Junlin Liu, Baochen Fu, Bin Li, Vichwang, Yu Lu, Haibo Shi

机构 * University of Science and Technology of China（中国科学技术大学） ； Yuanbao Team, Tencent（腾讯元宝团队） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shandong University（山东大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对大语言模型和人工智能代理对搜索结果质量需求，提出评估-诊断-优化框架。设计SetwiseEvalKit评估基准，评估多种重排器。在此基础上提出Rubric4Setwise方法，无需训练，能以更少文档和搜索轮次实现最佳下游生成性能，验证了闭环有效性。

Comments Project Page: https://rubric4setwise.github.io/

FlyRoute: Self-Evolving Agent Profiling via Data Flywheel for Adaptive Task Routing

FlyRoute: 通过数据飞轮实现自进化代理配置以实现适应性任务路由

Rongjun Li, Ziyu Zhou, Yihang Wu

机构 * IT Innovation and Research Center, Huawei Technologies（华为技术有限公司信息技术创新与研究中心） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出FlyRoute，一种自进化配置框架，通过真实流量增长能力证据，提高适应性任务路由的性能。

Comments 13 pages, 5 figures, 5 tables

Code-in-the-Loop Forensics: Agentic Tool Use for Image Forgery Detection

循环代码取证：面向图像伪造检测的代理工具使用

Fanrui Zhang, Qiang Zhang, Sizhuo Zhou, Jianwen Sun, Chuanhao Li, Jiaxin Ai, Yukang Feng, Yujie Zhang, Wenjie Li, Zizhen Li, Yifan Chang, Jiawei Liu, Kaipeng Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出ForenAgent框架，通过多轮交互使MLLM自主生成并迭代优化Python工具，提升图像伪造检测的灵活性和可解释性，构建FABench数据集进行系统训练和评估。

Comments 18 pages, 7 figures

Generative Semantic Multi-Object Tracking: A Large-Scale Benchmark and an MLLM-Driven Reasoning Framework

生成式语义多目标跟踪：大规模基准和基于大型语言模型的推理框架

Pan Liao, Feng Yang, Di Wu, Jinwen Yu, Wang Zhao, Dingwen Zhang

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究将语义多目标跟踪从刚性分类提升为开放式生成推理任务，引入Grand-SMOT基准，提出LLMTrack框架，通过时空融合模块压缩轨迹为语义令牌，提升了生成语义推理能力。

AgentCgroup: Understanding and Controlling OS Resources of AI Agents

AgentCgroup: 理解和控制AI代理的操作系统资源

Yusheng Zheng, Jiakun Fan, Quanzhi Fu, Yiwei Yang, Wei Zhang, Andi Quinn

机构 * UC Santa Cruz（加州大学圣克鲁兹分校） ； Virginia Tech（弗吉尼亚理工大学） ； UConn（康涅狄格大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 AgentCgroup通过意图驱动的eBPF资源控制器，解决多租户云环境中AI代理资源管理的粒度、响应性和适应性不匹配问题，提升隔离性和减少资源浪费。

AdvNav: Behavior-Guided Black-Box Adversarial Attacks on Vision-Language Navigation

AdvNav：视觉语言导航中基于行为引导的黑盒对抗攻击

Chenyang Li, Kaige Li, Zeyu Jiang, Changhao Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究视觉语言导航系统对抗攻击，提出AdvNav框架，利用双粒度行为反馈构建替代目标，采用混合优化策略。在R2R数据集上评估，对两种模型取得较高攻击成功率，证明其有效性与通用性，揭示感知漏洞并为VLN模型设计提供见解。

Comments ACM International Conference on Multimedia 2026

Fly0: Persistent Metric Anchoring for Zero-Shot Aerial Vision-Language Navigation

Fly0: 解耦语义定位与几何规划以实现零样本空中导航

Zhenxing Xu, Yihong Lu, Weidong Bao, Zhengqiu Zhu, Jingxuan Zhou, Zhichuang Wang, Ji Wang, Lihua Liu, Wei He

机构 * National Key Laboratory of Big Data and Decision（大数据与决策国家重点实验室） ； National University of Defense Technology（国防科技大学） ； State Key Laboratory of Digital Intelligent Modeling and Simulation（数字智能建模与仿真国家重点实验室） ； Information Support Force Engineering University（信息支援力量工程大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Fly0通过解耦语义推理与几何规划，实现零样本空中导航，提升导航成功率和减少导航误差。

T2T-VICL: Cross-Task Visual In-Context Learning via Implicit Text-Driven VLMs

T2T-VICL：通过隐式文本驱动的视觉语言模型进行跨任务视觉上下文学习

Shao-Jun Xia, Huixin Zhang, Zhengzhong Tu

机构 * Duke University（杜克大学） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 评测与基准 ：language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 研究跨任务视觉上下文学习问题，提出T2T-VICL协作式提示转移框架，通过大教师VLM生成结构化描述构建数据集，提炼能力到轻量级学生VLM，实验表明该框架能改进任务感知对齐，揭示跨任务VICL的潜力与局限。

Comments 22 pages, 6 figures, under submission

Vision2Web: A Hierarchical Benchmark for Visual Website Development with Agent Verification

Vision2Web: 一个用于视觉网站开发的分层基准，包含代理验证

Zehai He, Wenyi Hong, Zhen Yang, Ziyang Pan, Mingdao Liu, Xiaotao Gu, Jie Tang

机构 * Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出Vision2Web基准，用于评估视觉网站开发能力，包含193个任务和16类，通过GUI代理验证器和基于VLM的裁判器评估多个视觉语言模型，揭示了在全栈开发中现有模型的性能差距。

CARV: A Diagnostic Benchmark for Compositional Analogical Reasoning in Multimodal LLMs

CARV：多模态大语言模型中组合类比推理的诊断基准

Yongkang Du, Xiaohan Zou, Minhao Cheng, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出CARV任务及5500样本数据集，评估多模态大语言模型在组合类比推理中的能力，发现Gemini-2.5 Pro准确率仅为40.4%，远低于人类水平，揭示模型在规则提取与组合变换上的局限。

MMGraphRAG: Bridging Vision and Language with Interpretable Multimodal Knowledge Graphs

MMGraphRAG: 通过可解释的多模态知识图谱弥合视觉与语言的鸿沟

Xueyao Wan, Hang Yu

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MMGraphRAG通过引入可解释的多模态知识图谱，解决多模态场景下的实体链接和跨模态推理问题，实现最先进的多模态信息处理性能。

When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift

当基准谎言：在真实分布偏移下评估恶意提示分类器

Max Fomin

机构 * Zenity 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究通过LODO评估揭示了现有方法在真实分布偏移下的局限性，并展示了SAE特征在提升分类器解释性方面的潜力。

Comments v2: extended version of the AIWILD @ ICLR 2026 workshop paper; adds multi-model replication and additional analyses

Translating Classical Poetry into Modern Prose

将古典诗歌翻译成现代散文

Chalamalasetti Kranti, Sowmya Vajjala

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文介绍Padyam2Gadyam数据集，用于13-17世纪泰卢固语古典诗歌到当代泰卢固语和英语散文的翻译任务，并评估了5种大语言模型的表现，发现仍有较大改进空间。

Comments Preprint

The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context

稳健性的错觉：聚合准确率掩盖了与任务无关的上下文下的预测翻转

Yanzhe Zhang, Sanmi Koyejo, Diyi Yang

机构 * Georgia Tech（佐治亚理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究大语言模型在含无关上下文环境中的表现，发现聚合准确率掩盖了单个示例预测的不稳定性，如随机伪词会改变部分预测，且此不稳定性受多种因素调节，揭示了尾部风险，推动对模型进行单个示例可靠性评估。

Comments Preprint

NeSy-Route: A Neuro-Symbolic Benchmark for Constrained Route Planning in Remote Sensing

NeSy-Route：一种用于遥感约束路径规划的神经符号基准

Ming Yang, Zhi Zhou, Shi-Yu Tian, Kun-Yang Yu, Lan-Zhe Guo, Yu-Feng Li

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学） ； School of Artifical Intelligence, Nanjing University, China（人工智能学院，南京大学） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 NeSy-Route是一个大规模神经符号基准，用于评估遥感中的约束路径规划能力，通过自动化数据生成框架和三级评估协议，全面测试多模态大语言模型的感知、推理和规划能力。

Comments Accepted by ECCV2026

Advancing Multimodal Judge Models through a Capability-Oriented Benchmark and MCTS-Driven Data Generation

通过能力导向的基准和MCTS驱动的数据生成推进多模态评判模型

Zeyu Chen, Huanjin Yao, Ziwang Zhao, Min Yang

机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出M-JudgeBench和Judge-MCTS框架，通过能力导向的基准和MCTS驱动的数据生成提升多模态评判模型的评估能力。

NeMo: Needle in a Montage for Video-Language Understanding

NeMo：视频语言理解中的蒙太奇之针

Zi-Yuan Hu, Shuo Liang, Duo Zheng, Yanyang Li, Yeyao Tao, Shijia Huang, Wei Feng, Jia Qin, Jianguang Yu, Jing Huang, Meng Fang, Yin Li, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Phoenix TV（凤凰电视台） ； Stanford University（斯坦福大学） ； University of Liverpool（利物浦大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 为评估视频大语言模型时间理解能力，提出蒙太奇之针（NeMo）任务，开发自动数据生成管道并构建NeMoBench基准，能生成高质量数据，评估了20个模型，展现其能力与局限。

Rethinking Evaluation in Retrieval-Augmented Personalized Dialogue: A Cognitive and Linguistic Perspective

重新思考基于检索增强的个性化对话的评估：认知与语言学视角

Tianyi Zhang, David Traum

机构 * Institute for Creative Technologies, University of Southern California（南加州大学创意技术研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文从认知与语言学角度重新审视基于检索增强的个性化对话评估，指出传统表面相似度指标无法反映对话质量的深层特征，并通过LAPDOG框架分析，强调需建立更符合人类沟通原理的评估方法。

Comments Accepted by LREC 2026, official link: http://www.lrec-conf.org/proceedings/lrec2026/pdf/2026.lrec2026-1.892.pdf

Journal ref In Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026)

APPLV: Adaptive Planner Parameter Learning from Vision-Language-Action Model

APPLV: 从视觉-语言-动作模型中自适应学习规划器参数

Yuanjie Lu, Beichen Wang, Zhengqi Wu, Yang Li, Xiaomin Lin, Chengzhi Mao, Xuesu Xiao

机构 * Department of Computer Science, George Mason University（计算机科学系，乔治·马歇尔大学） ； Department of Engineering Science, University of South Florida（工程科学系，佛罗里达州立大学） ； Department of Computer Science, Rutgers University（计算机科学系，罗格斯大学） 纠错

专题命中 评测与基准 ：language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出APPLV，通过从视觉-语言-动作模型中自适应学习规划器参数，提升移动机器人在受限环境中的导航性能与泛化能力。

JADE: Expert-Grounded Dynamic Evaluation for Open-Ended Professional Tasks

JADE：面向开放式专业任务的专家基础动态评估

Lanbo Lin, Jiayao Liu, Tianyuan Yang, Li Cai, Yuanwu Xu, Lei Wei, Sicong Xie, Guannan Zhang

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） ； Zhejiang University（浙江大学） ； Peking University（北京大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出JADE双层评估框架，结合专家知识与动态声明级评估，解决开放式专业任务中严格性与灵活性的矛盾，在BizBench等基准上提升稳定性并揭示关键失败模式。

Comments Accepted at ICML 2026

PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging

PivotMerge: 通过后对齐模型融合弥合异构多模态预训练

Zibo Shao, Baochen Xiong, Xiaoshan Yang, Yaguang Song, Qimeng Zhang, Haifeng Chen, Changsheng Xu

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Data Science and Artificial Intelligence Research Institute, China United Network Communications Group Co., Ltd.（中国联合网络通信集团有限公司数据科学与人工智能研究院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出PivotMerge框架，通过后对齐模型融合技术，解决多模态预训练中跨模态对齐能力整合问题，提升模型统一语义空间的构建效果。

Agentic Forecasting using Sequential Bayesian Updating of Linguistic Beliefs

基于序列贝叶斯更新的语义信念的代理预测

Kevin Murphy

机构 * Department of Computer Science（计算机科学系） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 BLF系统通过语义信念状态、层级多试聚合和层级校准方法，在预测基准上超越了现有方法，同时具备低泄露率的回测框架。

Comments v4 adds 2 new appendices: app J evaluates a "generative" Bayesian alternative to BLF (which does worse than the "discriminative" approached used by BLF), and app K sketches how to do value of information computation to decide when to stop searching (although this idea has not been tried). v4 also adds a few more recent references

Journal ref v3 was published in ICML AI Forecasting workshop 2026 (https://forecasting-workshop.github.io/)