大模型推理能力

Multimodal QUD: Inquisitive Questions from Scientific Figures

多模态QUD：来自科学图表的探究性问题

Yating Wu, William Rudman, Venkata S Govindarajan, Alexandros G. Dimakis, Junyi Jessy Li

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Ithaca College（伊萨卡学院） ； UC Berkeley, BespokeLabs.ai（伯克利大学，BespokeLabs.ai） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出多模态QUD数据集，通过结合图表与文本上下文生成探究性问题，提升多模态推理能力，实现更高质量的视觉 grounding。

Adaptive Supervised Anchoring for On-Policy Self-Distillation

面向策略内自蒸馏的自适应监督锚定

Meilin Yang, Zixuan Ding, Jianhao Nie, Weite Zhang, Yuxin Zhang, Zhiming Shao, Li Yu, Zhe Fu

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 针对策略内自蒸馏的 rollout 条件信号退化问题，提出分离监督路径并自适应调整锚定强度的框架，提升了任务获取能力并优化了可塑性-稳定性权衡。

Comments 9 pages, 4 figures, and 3 tables. Meilin Yang and Zixuan Ding contributed equally. Corresponding authors: Li Yu and Zhe Fu

Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation

提交前的证据锁定：冻结界面会降低“大模型作为评判者”的评估效果

Divyansh Singh

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究测试了证据锁定等不同LLM-as-Judge评估方案，发现证据锁定会降低与人类偏好的一致性、增加答案顺序不一致性，而结构化证据引出效果接近标准评判，持久化证据可支持审计但不应替代源答案。

Comments Withdrawn due to an error identified in the code during debugging. The error affects the reported results

KrishokChat: A Provenance-Traceable Multi-Task Bengali Agricultural Benchmark with Safety-Critical Chemical Advisory

KrishokChat: 一个基于引用的孟加拉语农业咨询数据集与基准

Khan Raiyan Ibne Reza, Sumaiya Tabassum Nimi, Omar Ibne Shahid

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出KrishokChat，首个基于引用的孟加拉语农业指令微调数据集，通过分层知识节点扩展生成14.55万QA对，并引入农夫基准评估，发现微调改善格式但化学剂量泛化仍困难，强调其作为RAG知识库的价值。

Checkup2Action: A Multimodal Clinical Check-up Report Dataset for Patient-Oriented Action Card Generation

Checkup2Action：面向患者行动的多模态临床检查报告数据集

Sike Xiang, Shuang Chen, Kevin Qinghong Lin, Jialin Yu, Yijia Sun, Philip Torr, Amir Atapour-Abarghouei

机构 * Durham University（杜伦大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出Checkup2Action数据集，用于生成结构化的行动卡，通过多模态检查报告生成患者导向的行动建议，评估行动的准确性、优先级和安全性。

Epistemic Trustworthiness in Generative AI: A Normative Framework for Warranted Reliance in High-Stakes Workflows

生成式AI中的认知可信赖性：高风险工作流程中合理依赖的规范框架

Nimisha Karnatak, Max Van Kleek, Nigel Shadbolt

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文针对生成式AI在高风险场景的合理依赖问题，提出含认知谦逊、认知可及性、抗认知不公三条件的规范框架，通过案例分析指出现有标准的不足，为GenAI设计评估提供新方向。

Comments Accepted at AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)

ConMem: Contribution-Aware Memory for Long-Horizon Manufacturing Inspection Logs

ConMem：面向长周期制造检查日志的贡献感知记忆

Bingchen Liu, Yuanyuan Fang, Lei Liu, Guangyuan Dong, Xing Fu, Yuanyuan Gao, Shuyue Wei, Xin Li, Xiangtian Meng

机构 * Shandong University（山东大学） ； Boston University（波士顿大学） ； North China Electric Power University（华北电力大学） ； National University of Singapore（新加坡国立大学） ； Joint SDU-NTU Centre for Artificial Intelligence Research (C-FAIR), Shandong University（山东大学-南洋理工大学人工智能联合研究中心（C-FAIR）） ； Rizhao Steel Holding Group Co., Ltd.（日照钢铁控股集团有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究针对长周期制造检查日志的早期风险筛查需求，提出ConMem贡献感知记忆框架，通过Shapley风格评估保留高价值证据，在真实数据集上实现76.0% QA准确率，大幅减少输入token数与响应时间，可有效保留弱早期信号并提供预警。

Coercion and Deception in AI-to-AI Management: An Agentic Benchmark of Unprompted Escalation

人工智能对人工智能管理中的胁迫与欺骗：无提示升级的代理基准测试

Jasmine Brazilek, Maheep Chaudhary, Zoe Lu, Miles Tidmarsh

机构 * CaML ； Sentient Futures 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI

AI总结 研究人工智能管理中代理升级问题，引入管理者胁迫基准测试，通过九级阶梯衡量升级，对五个家族六个模型实验，发现权威增加胁迫，伪造成功局限于部分模型，发布基准测试和代码，为管理多智能体动态提供重要参考。

When Counterbalancing Hides the Bias: Access-Conditioned Position Lock in Forced-Choice LLM Evaluation

跨模型价值比较中的两个混淆因素：响应确定性和访问约束

Hong-In Won, Jinseok Jang, Hyoseop Kim

机构 * KITECH（韩国产业技术评价院） ； National Research Council of Science and Technology (NST)（韩国国家科学技术研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究跨模型价值比较中的两个混淆因素，提出无规则价值困境等方法分离并校正响应确定性，还发现访问约束影响模型价值概况，贡献了确定性校正分解，识别出部署约束是独特价值混淆因素。

Comments 16 pages, 3 figures, 7 tables. Substantially revised: reframed around an identifiability result for the counterbalanced concentration index, with access configuration presented as one generator of the failure rather than a separate confound. Code and data are included as ancillary files

Online Shift Detection and Conformal Adaptation for Deployed Safety Classifiers

已部署安全分类器的在线漂移检测与共形自适应

Jun Wen Leong

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出在线监测系统，使用校准序列统计检测分布漂移，并通过共形弃权层自适应阈值恢复目标错误率，在800个实验单元中实现86.6%有效检测。

Comments 38 pages, 8 figures, 18 tables. Code and pre-registration at https://github.com/junwenleong/safety-classifier-shift-monitor

Contemporary AI lacks the imagination to diverge or negate in science

当代人工智能缺乏在科学中发散或否定的想象力

Honglin Bao, Siyang Wu, Xiao Liu, Sida Li, Shiyun Cao, James A. Evans

机构 * Data Science Institute, University of Chicago（芝加哥大学数据科学研究所） ； Knowledge Lab, University of Chicago（芝加哥大学知识实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 通过大规模科学家评估，发现当前AI在科学假设生成中缺乏多样性，无法自发提出零假设，且自动评估与专家判断一致性低，但微调奖励模型可缩小差距。

PortBench: A Correlation-Aware, Full-Pipeline Benchmark for LLM-Driven Portfolio Management

PortBench: 一种相关性感知的、全流水线的LLM驱动投资组合管理基准

Yuxuan Zhao, Sijia Chen, Ningxin Su

机构 * Yantai Research Institute of Harbin Engineering University（哈尔滨工程大学烟台研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出PortBench基准，通过静态QA和动态五阶段分配流水线评估LLM在投资组合管理中的表现，发现多数模型无法超越等权重分配，且存在推理错误累积和压力下大幅回撤的问题。

Comments Project page: https://portbench.github.io/

MathDuels: A Self-Play Benchmark That Grows

MathDuels：评估大语言模型作为问题提出者和解决者

Zhiqiu Xu, Shibo Jin, Shreya Arya, Mayur Naik

机构 * Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系） ； Department of Mathematics, University of Pennsylvania（宾夕法尼亚大学数学系） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.CL

AI总结 MathDuels通过让模型同时扮演问题提出者和解决者角色，揭示了模型在两者能力上的差异，展示了评估方法在区分模型能力上的有效性。

Human-Level Text-to-SQL via Reinforcement Learning on Verified Data, Without Pipeline Engineering

ReViSQL：实现人水平的文本到SQL

Yuxuan Zhu, Tengjun Jin, Yoojin Choi, Daniel Kang

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出ReViSQL框架，通过高质量训练数据提升SQL推理能力，首次在BIRD基准上达到人水平准确率，且在不同模型规模下均表现优异。

MoCA: Implicit Social Context Analysis

MoCA：隐式社会语境分析

Wenhao Xu, Kaiwen Zhang, Hao Li, Maowei You, Yongzheng Ji, Siyuan Zuo, Jingxuan Yu, Sina A, Xinyao Tan, Bobo Li, Hao Fei, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学） ； Wuhan University（武汉大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出隐式社会语境分析（MoCA）新任务，构建含3108个实例的基准数据集，提出CoDAR框架提升模型性能，但模型与人类推理仍存差距，凸显隐式社会理解难度。

Index SLM Technical Report

索引SLM技术报告

Tianjiao Li, Lusheng Zhang, Shien He, Xiaojing Liu, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Yang Liu, Yuxin Li

机构 * Bilibili（哔哩哔哩） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 哔哩哔哩开发Index-1.9B系列小语言模型，包括基础模型等四个模型。预训练采用特定方法，Index-1.9B-Base在标准基准测试表现出色，还进行了多项控制研究，所有模型及评估代码已公开。

Comments 16 pages, 9 figures. v2: updated author list (added Yang Liu and Yuxin Li; marked core contributors and project lead) and added a release-date note on the first page

MEDLEY-BENCH: Benchmarking Behavioural Metacognition and Belief Revision Under Social Pressure in Large Language Models

MEDLEY-BENCH：在AI元认知中规模购买评估但不控制

Farhad Abtahi, Abdolamir Karbalaie, Eduardo Illueca-Fernandez, Fernando Seoane

机构 * Department of Clinical Science, Intervention and Technology (CLINTEC), Karolinska Institutet（临床科学、干预与技术部门（CLINTEC），Karolinska研究所） ； Department of Clinical Physiology, Karolinska University Hospital（临床生理学部门，Karolinska大学医院） ； Department of Biomedical Engineering and Health Systems, KTH Royal Institute of Technology（生物医学工程与健康系统部门，KTH皇家理工学院） ； Department of Textile Technology, University of Borås（纺织技术部门，Borås大学） ； Department of Medical Technologies, Karolinska University Hospital（医学技术部门，Karolinska大学医院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 MEDLEY-BENCH评估了12种模型家族中35个模型在五个领域130个模糊实例上的行为元认知能力，发现评估能力随模型规模增加而增强，但控制能力不增加，揭示了元认知能力与规模无关的结论。

"LLM Agent Performance" Is Not a Single Evaluation Target

基于LLM的智能体评估统一框架的必要性

Pengyu Zhu, Li Sun, Philip S. Yu, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对当前LLM智能体评估受系统提示、工具集和环境动态等混杂因素影响的问题，提出标准化统一评估框架以提升公平性和可复现性。

Social World Models

社交世界模型

Xuhui Zhou, Jiarui Liu, Akhila Yerukola, Hyunwoo Kim, Maarten Sap

机构 * Language Technologies Institute, Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学语言技术研究所） ； NVIDIA, Santa Clara, CA, USA（英伟达） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出社交世界模型（SWMs）及结构化社交世界表示形式（S3AP），通过显式建模隐藏心理状态提升AI在社交推理任务中的性能。

Same Task, Different Work: Prompt-Induced Waste in Coding Agents

提示词诱导的大推理模型浪费：一项预注册的双框架编码智能体基准测试

Sarel Weinberger, Amir Hozez

机构 * PointFive 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究通过预注册基准测试发现，提示词措辞和智能体框架会大幅影响大推理编码智能体的成本，部分提示指令可成倍增加推理成本却不提升任务成功率，框架选择的成本差异更显著。

Distill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language Models

提炼学生可见内容：面向视觉语言模型的Fisher投影在线策略蒸馏

Leyan Xue, Feng Xiong, Mingjun Ma, Changqing Zhang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 针对视觉语言模型在线策略蒸馏中教师修正与学生能力不匹配的问题，提出FP-OPD方法，在8B到2B的蒸馏中使7个多模态基准平均得分分别提升2.77和1.60个点。

Compliance2LoRA: Personalizable On-Demand Safety Alignment on Arbitrary Policy Subsets via Hypernetwork-Generated LoRA Adapters

Compliance2LoRA：通过超网络生成的LoRA适配器对任意策略子集进行按需安全对齐

Pankayaraj Pathmanathan, Furong Huang

机构 * University of Maryland College Park（马里兰大学帕克分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 Compliance2LoRA是一种自适应超网络框架，可通过生成LoRA适配器，在单个大型推理模型上实现对任意安全策略子集的按需对齐，且不牺牲任务性能。

BioAgent Bench: An AI Agent Evaluation Suite for Bioinformatics

BioAgent Bench: 一个用于生物信息学的AI代理评估套件

Dionizije Fa, Marko Culjak, Bruno Pandza, Mateo Cupic

机构 * Entropic 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出BioAgent Bench，用于评估AI代理在常见生物信息学任务中的性能和鲁棒性。通过定制端到端任务和压力测试，发现前沿代理可完成多步骤流程，但鲁棒性测试揭示了在受控扰动下的失败模式，表明高阶流程构建不保证可靠步骤推理。

Comments ICML 2026 camera ready

Text Generation: A Systematic Literature Review of Tasks, Evaluation, and Challenges

文本生成：关于任务、评估与挑战的系统文献综述

Jonas Becker, Jan Philip Wahle, Bela Gipp, Terry Ruas

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该系统综述梳理2017-2025年257篇论文，划分文本生成五大任务，评估三类方法，指出任务特有与共有的9项挑战，为NLP领域不同阶段研究者提供领域概览与研究方向参考。

Comments Published in the Journal of Artificial Intelligence Research (JAIR)

Risk Is Not the Target: A Monotonic Framework for Evaluating Wildfire Operational Risk Signals

风险不是目标：评估野火运行风险信号的单调框架

Nicolas Caron, Christophe Guyeux, Hassan Noura, Maxime Coulmeau, Benjamin Aynes

机构 * Météo-France（法国气象局） ； INRAE（法国国家农业、食品与环境研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究提出用单调评估框架衡量野火风险系统预测分数与运行负荷关系，比较DFE、GRU模型及FARS三种方法，发现DFE单调性最佳，GRU局部强但风险水平分布不佳，FARS有局限性，好风险模型应能解释运行动态。

Comments Accepted in 2026 IEEE 50th Annual Computers, Software, and Applications Conference (COMPSAC)

Learning to Detect UI Principle Violations via Reinforcement Learning

通过强化学习学习检测用户界面原则违规

Nishi Mehta, Swathi Alse, Himani Kumawat, Yue Yu, Pratik Jayarao

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究小型语言模型和编码代理生成的网页前端代码违反界面质量原则的问题，通过统一多来源的界面质量原则，构建数据集并利用强化学习训练轻量级视觉语言模型作为评判器，提升检测效果并发布相关方法支持评估和后续工作。

Not Truly Multilingual: Script Consistency as a Missing Dimension in VLM Evaluation

并非真正的多语言：脚本一致性作为VLM评估中缺失的维度

Prabhjot Singh, Bhushan Pawar, Madhu Reddiboina, Rajvee Sheth

机构 * RediMinds Inc.（RediMinds公司） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Independent Researcher（独立研究员） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出PuMVR基准，评估10个VLM在旁遮普语三种文字上的表现，发现显著的脚本差距，并提出脚本一致性率（SCR）作为必要评估指标。

Cura 1T: Specialized Model for Agentic Healthcare

Cura 1T：用于智能医疗保健的专用模型

actAVA AI, :, Haolin Chen, Leon Qi, Steve Brown, Deon Metelski, Tao Xia, Joonyul Lee, Qixuan Wang, Kevin Riley, Frank Wang, Weiran Yao

机构 * actAVA AI（actAVA人工智能公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对医疗保健中多任务需求及能力失效问题，提出通过人工门控自我进化循环训练的Cura 1T模型，以数据为中心改进模型，该模型在医疗评估套件中表现优异，在相关基准测试中保持竞争力。

Comments Model: https://actava.ai/cura; Docs: https://actava.ai/cura/docs; Github: https://github.com/actava-ai/Cura

Epistemic-aware Vision-Language Foundation Model for Fetal Ultrasound Interpretation

具备知识意识的视觉-语言基础模型用于胎儿超声解读

Xiao He, Huangxuan Zhao, Guojia Wan, Jiancheng Pan, Yanxing Liu, Yong Luo, Juhua Liu, Yongchao Xu, Wei Zhou, Dacheng Tao, Bo Du

机构 * National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University（国家多媒体软件工程技术研究中心，武汉大学计算机学院） ； College of Computing and Data Science, Nanyang Technological University（computing and Data Science学院，南洋理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 FetalMind通过Salient Epistemic Disentanglement方法，提升胎儿超声解读的准确性和效率，实现多视图图像推理和疾病诊断的高效处理。

Comments KDD 2026

BOW: Training Language Models to Reason Over Plausible Next Words

BOW：训练语言模型对合理的下一个单词进行推理

Ming Shen, Zhikun Xu, Jacob Dineen, Xiao Ye, Ben Zhou

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 BOW是一种RL框架，通过训练语言模型生成合理下一个单词空间的全面描述，在10个推理基准上表现优于部分基线，BOW-Reg还能提升SharedRef正确率并降低单义崩溃。