大模型推理能力

The Illusion of Reasoning: Exposing Evasive Data Contamination in LLMs via Zero-CoT Truncation

推理的幻觉：通过零CoT截断揭示LLM中的逃避数据污染

Yifan Lan, Yuanpu Cao, Hanyu Wang, Lu Lin, Jinghui Chen

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 推理评测 ：CoT(title,title_cn)；reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出零CoT探针（ZCP）方法，通过截断整个推理过程来暴露模型中的潜在捷径映射，以检测LLM中的直接和逃避数据污染，提出了 contamination confidence 指标来量化污染的可能性和严重性。

On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs

关于RL微调VLMs的鲁棒性和链式思维一致性

Rosie Zhao, Anshul Shah, Xiaoyu Zhu, Xinke Deng, Zhongyu Jiang, Yang Yang, Joerg Liebelt, Arnab Mondal

机构 * Apple（苹果公司） ； OpenAI 纠错

专题命中 推理评测 ：CoT(summary_cn,abstract)；chain-of-thought(title,abstract)；reasoning(abstract)；分类 cs.LG

AI总结 本文研究了RL微调VLMs在视觉推理任务中的鲁棒性和链式思维一致性，发现文本扰动和CoT不一致会显著降低模型的鲁棒性和信心，而闭源模型在保持鲁棒性和推理一致性方面表现更佳，指出这一差距源于当前开源RL微调的不足而非任务本身的限制。

Comments ICML 2026

LatentOmni: Rethinking Omni-Modal Understanding via Unified Audio-Visual Latent Reasoning

LatentOmni: 通过统一的音频-视觉潜在推理重新思考多模态理解

Yifan Dai, Zhenhua Wu, Bohan Zeng, Daili Hua, Jialing Liu, Bozhou Li, Yuran Wang, Chengzhuo Tong, Hao Liang, Xiaochen Ma, Junbo Niu, Tianyu Guo, Yang Shi, Yue Ding, Yiyan Ji, Bingyin Mei, Yushuo Guan, Yuanxing Zhang, Pengfei Wan, Fangcheng Fu, Wentao Zhang

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Peking University（北京大学） ； HKUST（香港科技大学） ； CASIA（中国科学院自动化研究所） ； Nanjing University（南京大学） ； Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出LatentOmni框架，通过统一的音频-视觉潜在空间进行多模态推理，利用特征级监督和Omni-Sync Position Embedding保持时间一致性，从而在多个音频-视觉推理基准测试中取得最佳性能。

Comments 21 pages, 15 figures

DecepChain: Inducing Deceptive Reasoning in Large Language Models

DecepChain: 在大型语言模型中诱导欺骗性推理

Wei Shen, Han Wang, Haoyu Li, Huan Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究探讨了大型语言模型是否能够生成看似合理但错误的推理链，并提出DecepChain方法通过放大模型自身的幻觉来诱导欺骗性推理，同时保持表面合理性和有效性。

Comments ICML 2026

Unified Data Selection for LLM Reasoning

统一的数据选择用于LLM推理

Xiaoyuan Li, Yubo Ma, Chengpeng Li, Fengbin Zhu, Yiyao Yu, Keqin Bao, Wenjie Wang, Fuli Feng, Dayiheng Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Alibaba Group（阿里巴巴集团） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract)；分类 cs.CL

AI总结 本文提出了一种无需训练的高熵和（HES）指标，用于评估和选择高质量的推理样本，通过在三种主流训练范式（监督微调、拒绝微调和强化学习）中验证，证明了其在提高LLM推理性能和减少计算开销方面的有效性。

Comments Under Review

Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality?

感知还是偏见：大语言模型能否超越个性的第一印象？

Caixin Kang, Tianyu Yan, Sitong Gong, Mingfang Zhang, Liangyang Ouyang, Ruicong Liu, Bo Zheng, Huchuan Lu, Kaipeng Zhang, Yoichi Sato, Yifei Huang

机构 * The University of Tokyo（东京大学） ； Shanda AI Research Tokyo（Shanda AI 研究所东京） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 推理评测 ：reasoning(summary_cn,abstract)；分类 cs.AI

AI总结 本文探讨了多模态大语言模型（MLLMs）在感知个性方面的能力，提出了一种新的任务Grounded Personality Reasoning（GPR），并构建了一个新的数据集MM-OCEAN，通过三重评估体系揭示了MLLMs在人格推理中的偏见问题。

When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning

何时教师标记可靠？用于推理的基于位置加权的在线自我蒸馏

Xiaogeng Liu, Xinyan Wang, Yingzi Ma, Yechao Zhang, Chaowei Xiao

机构 * Johns Hopkins University（约翰霍普金斯大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于位置加权的在线自我蒸馏方法，用于改进推理任务中教师标记的可靠性，通过引入分支可行性诊断来识别教师标记的可靠性，并在不同模型上验证了其有效性。

Comments Pre-print. Code is available at https://github.com/SaFo-Lab/PW-OPSD

ChronoMedKG: A Temporally-Grounded Biomedical Knowledge Graph and Benchmark for Clinical Reasoning

ChronoMedKG：一个具有时间基础的生物医学知识图谱和用于临床推理的基准

Md Shamim Ahmed, Farzaneh Firoozbakht, Lukas Galke Poech, Jan Baumbach, Richard Röttger

机构 * University of Southern Denmark（丹麦南部大学） ； University of Hamburg（汉堡大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出ChronoMedKG，一个包含460,497个证据链接三元组的生物医学知识图谱，覆盖13,431种疾病，通过时间组件如发病窗口或进展阶段，为临床推理提供时间基础，并引入ChronoTQA基准测试，验证了其在时间推理任务中的有效性。

Comments 9 pages main text plus appendices, 8 figures. Dataset and benchmark paper. ChronoMedKG released under CC BY 4.0 and ChronoTQA/code under MIT (Zenodo: 10.5281/zenodo.19697542). Under review

Think Thrice Before You Speak: Dual knowledge-enhanced Theory-of-Mind Reasoning for Persuasive Agents

三思而后言：基于双重知识增强的理论思维推理用于说服代理

Minghui Ma, Bin Guo, Runze Yang, Mengqi Chen, Yan Liu, Jingqi Liu, Yahan Pei, Xuehao Ma, Qiuyun Zhang, Zhiwen Yu

机构 * Northwestern Polytechnical University（西北工业大学） ； Peking University（北京大学） ； Harbin Engineering University（哈尔滨工程大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出了一种基于双重知识增强的理论思维推理方法，用于提升说服代理的对话能力，通过构建大规模标注数据集和提出TTBYS框架，提高了LLM在推理欲望、信念和说服策略方面的性能。

Comments 19 pages, 6 figures

VGenST-Bench: A Benchmark for Spatio-Temporal Reasoning via Active Video Synthesis

VGenST-Bench: 一个通过主动视频合成进行时空推理的基准

Jinho Park, Youbin Kim, Hogun Park, Eunbyung Park

机构 * Department of Artificial Intelligence, Sungkyunkwan University（全北大学人工智能系） ； Department of Artificial Intelligence, Yonsei University（延世大学人工智能系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出VGenST-Bench，一个通过生成模型主动合成多样化评估场景的视频基准，旨在评估多模态大语言模型的时空推理能力，通过引入多代理流程和3x2x2视频分类体系，实现对细粒度时空理解的精准诊断。

Comments 82 pages, 91 figures (7 in main paper, 84 in appendix). Project page: https://zinosii.github.io/VGenST-Bench/

The Expense of Seeing: Attaining Trustworthy Multimodal Reasoning Within the Monolithic Paradigm

视见之代价：在单体范式内实现可信的多模态推理

Karan Goyal

机构 * IIIT Delhi, India（德里印度理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出了一种新的多模态评估方法，通过信息论视角揭示了多模态推理中的视见代价问题，提出了三个新指标并提出了语义充分性准则，挑战了传统多模态评估方法。

Comments Addresses practical viability of Vlabel construction. Writing is grounded. Acknowledgement is duly added

MTR-Bench: A Comprehensive Benchmark for Multi-Turn Reasoning Evaluation

MTR-Bench：多轮推理评估的综合性基准

Xiaoyuan Li, Keqin Bao, Yubo Ma, Moxin Li, Wenjie Wang, Rui Men, Yichang Zhang, Fuli Feng, Dayiheng Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Alibaba Group（阿里巴巴集团） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出MTR-Bench，一个包含4类、40个任务和3600个实例的综合性基准，用于评估大型语言模型的多轮推理能力，通过自动化框架实现大规模评估，并揭示了当前先进推理模型在多轮交互任务中的不足。

Comments ACL 2026 Main Conference

Reasoning through Verifiable Forecast Actions: Consistency-Grounded RL for Financial LLMs

通过可验证的预测动作进行推理：面向金融大语言模型的一致性导向强化学习

Jialin Chen, Aosong Feng, Harshit Verma, Siyi Gu, Haiwen Wang, Ali Maatouk, Yixuan He, Yifeng Gao, Leandros Tassiulas, Rex Ying

机构 * Yale University（耶鲁大学） ； University of Texas Rio Grande Valley（德克萨斯理工大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

AI总结 本文提出StockR1，一种结合时间序列的LLM，通过可验证的预测动作统一股票预测与金融推理，利用强化学习优化整个流程，提升金融问答和股票预测的准确性。

VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction

VisPhyWorld: 通过代码驱动的视频重建探测物理推理

Jiarong Liang, Max Ku, Ka-Hei Hui, Ping Nie, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； Autodesk AI Lab（Autodesk人工智能实验室） ； Independent Researcher（独立研究者） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出VisPhyWorld框架，通过要求模型从视觉观察生成可执行的模拟器代码来评估物理推理能力，引入VisPhyBench基准测试集，验证模型在重建外观和模拟物理运动方面的能力，发现最先进的MLLM在准确推断物理参数和模拟一致的物理动态方面存在困难。

DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning

DeFacto: 通过图像进行反事实推理以强制证据支持和忠实推理

Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

机构 * Department of Automation, Tsinghua University, Beijing, China（清华大学自动化系） ； Zhongguancun Academy, Beijing, China（中关村学院） ； School of Software, Xinjiang University, Urumqi, China（新疆大学软件学院） ； College of Materials Science and Engineering, Fuzhou University, Fuzhou, China（福州大学材料科学与工程学院） ； Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学人工智能学院） ； Beijing Qianjue Technology Co., Ltd., Beijing, China（北京千 jue 技术有限公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出DeFacto框架，通过整合正例、反事实和随机遮蔽三种训练范式，提升多模态语言模型在证据一致性方面的表现，并引入DeFacto-1.5K基准进行系统评估。

From Recognition to Reasoning: Benchmarking and Enhancing MLLMs on Real-World Receipt Document Understanding

从识别到推理：在现实世界收据文档理解上对齐和增强MLLMs

Yandi Wang, Libin Zhan, Ziwei Huang, Tiancheng Luo, Yuxuan Jiang, Wang Dong, Leilei Gan, Jun Chen

机构 * Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 本文提出ReceiptBench基准，通过四个层次化子任务提升收据信息提取的结构一致性，并提出两阶段训练框架GRPO，通过强化学习信号提升模型性能，实验证明其在复杂推理任务上的优越性。

Active Evidence-Seeking and Diagnostic Reasoning in Large Language Models for Clinical Decision Support

大语言模型在临床决策支持中的主动证据获取与诊断推理

Chen Zhan, Xihe Qiu, Xiaoyu Tan, Xibing Zhuang, Gengchen Ma, Yue Zhang, Shuo Li, Peifeng Liu, Xiaoxiao Ge, Liang Liu, Lu Gan

机构 * Tencent Youtu Lab（腾讯优图实验室） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.AI

AI总结 研究探讨了大语言模型在临床决策支持中的主动证据获取与诊断推理问题，提出了一种基于OSCE的标准化患者模拟器和可控可复现的基准测试，发现多轮证据获取会降低诊断准确性并降低支持证据质量，表明静态全上下文基准可能高估交互证据获取场景中的性能，需引入互补的交互评估以提高临床决策安全性。

MDM-Prime-v2: Binary Encoding and Index Shuffling Enable Scaling of Diffusion Language Models

MDM-Prime-v2：二进制编码和索引洗牌使扩散语言模型能够扩展

Chen-Hao Chao, Wei-Fang Sun, Junwei Quan, Chun-Yi Lee, Rahul G. Krishnan

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； NVIDIA AI Technology Center（NVIDIA AI技术中心） ； National Taiwan University（国立台湾大学） 纠错

专题命中 推理评测 ：reasoning(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出MDM-Prime-v2，通过二进制编码和索引洗牌技术改进扩散语言模型，解决了子分词器功能形式与BPE分词器结合导致的交叉熵损失增加以及子分词器粒度超参数选择缺乏工具的问题，从而提升了模型在常识推理基准上的零样本准确率。

TransitLM: A Large-Scale Dataset and Benchmark for Map-Free Transit Route Generation

TransitLM: 一个大规模数据集和基准，用于无地图的公共交通路线生成

Hanyu Guo, Jiedong Yang, Chao Chen, Longfei Xu, Kaikui Liu, Xiangxiang Chu

机构 * Alibaba Group（阿里巴巴集团） ； AMAP 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TransitLM，一个包含1300万条公共交通路线规划记录的数据集，用于无地图的公共交通路线生成，展示了通过数据训练模型生成有效路线的能力。

Do Fine-Tuned LLMs Understand Vulnerabilities? An Investigation into the Semantic Trap

细调的大语言模型理解漏洞吗？对语义陷阱的调查

Feiyang Huang, Yuqiang Sun, Fan Zhang, Ziqi Yang, Han Liu, Yang Liu

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 本文研究了细调的大语言模型是否真正理解漏洞的根本原因，发现了一种称为语义陷阱的现象，并提出了一种评估框架来检测这种现象。

Comments 16 pages

Teaching Language Models to Forecast Research Success Through Comparative Idea Evaluation

通过比较想法评估教授语言模型预测研究成功的技巧

Srujan P Mule, Aniketh Garikaparthi, Manasi Patwardhan

机构 * IISER Pune（印度理工学院帕内尔） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究探讨了语言模型能否在无需实验的情况下预测研究想法的实证成功，通过构建基于PapersWithCode客观结果的11488对想法数据集，发现通过强化学习可提升模型性能至71.35%，证明小型语言模型可以作为有效的客观验证器，为自主科学发现提供可扩展路径。

Comments ACL 2026 Findings

Training-Trajectory-Aware Token Selection

基于训练轨迹的token选择

Zhanming Shen, Jiaqi Hu, Zeyu Qin, Hao Chen, Wentao Ye, Zenan Huang, Yihong Zhuang, Guoshan Lu, Junlin Zhou, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出T3S方法，通过在token层面重构训练目标，清除未学习token的优化路径，从而在连续蒸馏中提升性能，实验表明在AR和dLLM设置中均取得显著效果。

Comments Accepted by ICML 2026

Measuring Cross-Modal Synergy: A Benchmark for VLM Explainability

衡量跨模态协同：VLM可解释性的一个基准

Joël Roman Ky, Salah Ghamizi, Maxime Cordy

机构 * University of Luxembourg（卢森堡大学） ； Luxembourg Institute of Health (LIH)（卢森堡健康研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Synergistic Faithfulness作为衡量VLM跨模态协同的指标，解决了传统单模态评估方法在评估VLM可解释性时的不足，通过引入Shapley交互指数，实现了对多模态协同的准确评估，同时提升了计算效率。

TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection

TextSeal: 一种用于溯源与蒸馏保护的本地化大语言模型水印

Tom Sander, Hongyan Chang, Tomáš Souček, Tuan Tran, Valeriu Lacatusu, Sylvestre-Alvise Rebuffi, Alexandre Mourachko, Surya Parimi, Christophe Ropers, Rashel Moritz, Vanessa Stark, Hady Elsahar, Pierre Fernandez

机构 * FAIR, Meta Superintelligence Labs（FAIR，Meta超智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TextSeal，一种先进的大语言模型水印技术，通过Gumbel-max采样引入双密钥生成以恢复输出多样性，并结合熵加权评分和多区域定位提升检测性能。该方法支持推测解码和多令牌预测等服务优化，不增加推理开销。在检测强度上严格优于基线方法SynthID-text，并对稀释具有鲁棒性，即使在混合的人类/AI文档中也能保持自信的本地化检测。理论上该方案无失真，经推理基准评估证实其保持下游性能；同时通过多语言人工评估（6000次A/B对比，5种语言）显示无明显质量差异。除了用于溯源检测外，TextSeal还具有'放射性'特性：其水印信号通过模型蒸馏传递，可检测未经授权的使用。

MoralityGym: A Benchmark for Evaluating Hierarchical Moral Alignment in Sequential Decision-Making Agents

MoralityGym：用于评估序列决策代理中分层道德对齐的基准

Simon Rosen, Siddarth Singh, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Victoria Williams, Benjamin Rosman, Geraud Nangue Tasse, Steven James

机构 * University of the Witwatersrand（威特沃特斯兰大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MoralityGym基准，通过将道德规范表示为有序的规范约束，评估序列决策代理中分层道德对齐的挑战，展示了98个伦理困境问题，并通过心理学和哲学的见解改进了伦理决策方法。

Comments Accepted at AAMAS 2026

Journal ref Proc of the 25th International Conference on Autonomous Agents and Multiagent Systems AAMAS 2026, Paphos, Cyprus, May 25 to 29, 2026, IFAAMAS

AutoRubric-T2I: Robust Rule-Based Reward Model for Text-to-Image Alignment

AutoRubric-T2I: 一种用于文本到图像对齐的鲁棒基于规则的奖励模型

Kuei-Chun Kao, Daixuan Huo, Yuanhao Ban, Cho-Jui Hsieh

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AutoRubric-T2I，一种首个用于文本到图像生成的规则学习框架，通过自动合成和选择显式规则来指导视觉语言模型（VLM）法官。该方法通过合成偏好对的推理轨迹生成候选规则，并利用VLM法官在每种规则下对配对图像进行评分，产生配对规则评分差异用于偏好学习。通过ℓ1正则化逻辑回归精简器去除噪声和冗余规则，从而在少量标注偏好数据下生成高质量、可解释的奖励信号，并在多个图像奖励基准测试中优于现有奖励模型基线。

Comments 27 pages

Calibrating LLMs with Semantic-level Reward

通过语义层面奖励校准大型语言模型

Fengfei Yu, Ruijia Niu, Dongxia Wu, Yian Ma, Rose Yu

机构 * Department of Computer Science and Engineering, University of California San Diego, La Jolla, California, USA（加州大学圣地亚哥分校计算机科学与工程系，拉贾尔，加利福尼亚州，美国） ； Halıcıoğlu Data Science Institute, University of California San Diego, La Jolla, California, USA（加州大学圣地亚哥分校Halıcıoğlu数据科学研究所，拉贾尔，加利福尼亚州，美国） ； Department of Statistics, Stanford University, Stanford, California, USA（斯坦福大学统计学系，斯坦福，加利福尼亚州，美国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种新的校准框架CSR，通过在语义空间中直接校准语言模型，避免了传统方法中因词汇化置信度导致的不一致问题，实验显示CSR在多个数据集上均能有效降低ECE并提高AUROC。

Towards Clinically Interpretable Ophthalmic VQA via Spatially-Grounded Lesion Evidence

迈向具有空间定位病变证据的临床可解释性眼科VQA

Xingyue Wang, Bo Liu, Meng Wang, Zhixuan Zhang, Chengcheng Zhu, Huazhu Fu, Jiang Liu

机构 * Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系） ； The Hong Kong Polytechnic University（香港理工大学） ； National University of Singapore（新加坡国立大学） ； University of Washington（华盛顿大学） ； Institute of High Performance Computing, Agency for Science, Technology and Research（科技研究局高性能计算研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出FundusGround基准，通过空间定位病变证据提升眼科VQA的临床可解释性，通过三阶段流程收集标注病变的视网膜影像，并评估多种视觉语言模型在答案准确性和病变层面推理上的表现。

CentaurEval: Benchmarking Human-in-the-Loop Value in Agentic Coding

CentaurEval: 评估人机协同在编程中的价值

Hanjun Luo, Chiming Ni, Jiaheng Wen, Zhimu Huang, Yiran Wang, Bingduo Liao, Sylvia Chung, Yingbin Jin, Xinfeng Li, Wenyuan Xu, XiaoFeng Wang, Hanan Salam

机构 * New York University Abu Dhabi（纽约大学阿布扎克校区） ； Nanyang Technological University（南洋理工大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Harvard University（哈佛大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Beijing University of Technology（北京理工大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出CentaurEval基准测试，用于评估人机协同在编程中的价值。该基准测试通过协作必要问题模板，结合人类推理和AI效率，展示了人机协作在编程任务中的显著优势。

Comments Accepted by ICML 2026

RAGCap-Bench: Benchmarking Capabilities of LLMs in Agentic Retrieval Augmented Generation Systems

RAGCap-Bench: 评估代理检索增强生成系统中LLM能力的基准测试

Jingru Lin, Chen Zhang, Stephen Y. Liu, Haizhou Li

机构 * National University of Singapore（新加坡国立大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出RAGCap-Bench，用于评估代理检索增强生成系统中中间任务的细粒度能力，通过分析现有系统输出识别常见任务和核心能力，设计针对性评估问题，实验表明增强中间能力的模型能获得更好的整体性能。