arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

大模型推理能力

大模型数学、逻辑、规划、多步推理和测试时计算能力。

共收录 10428 信号源:cs.CL, cs.AI, cs.LG

1. 推理评测 10428 篇

2605.27934 2026-05-28 cs.CL 79%

GeneralThinker: Domain-General Reasoning through Likelihood-Guided Answer-Conditioned Optimization

GeneralThinker: 通过似然引导的答案条件优化实现领域通用推理

Shengmin Piao, Sanghyun Park

机构 * Yonsei University(延世大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 提出GeneralThinker框架,利用答案似然进行密集监督和细粒度信用分配,无需领域特定验证器,在数学、STEM和通用推理等11个基准上取得最佳平均性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.02263 2026-05-28 cs.LG 79%

Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning

打破块限制:通过单调熵下降与强化学习为扩散大语言模型实现动态大小推理块

Yan Jiang, Ruihong Qiu, Zi Huang

机构 * School of Electrical Engineering and Computer Science, The University of Queensland, Brisbane, Queensland, Australia(电气工程与计算机科学学院,昆士兰大学,布里斯班,昆士兰,澳大利亚)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.LG

AI总结 针对扩散大语言模型中固定大小推理块导致的逻辑连贯性差和效率低问题,提出基于单调熵下降目标与强化学习的后训练框架b1,学习动态大小推理块以提升推理连贯性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.26924 2026-05-27 cs.CL 79%

Learning to Adapt SFT Data for Better Reasoning Generalization

学习适应SFT数据以实现更好的推理泛化

Lisong Sun, Li Wang, Chen Zhang, Jinyang Wu, Kui Zhang, Tianhao Peng, Wenjun Wu

机构 * Beihang University(北京航空航天大学) Tsinghua University(清华大学) Nanyang Technological University(南洋理工大学) Hangzhou International Innovation Institute(杭州国际创新研究院) Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算高级创新中心)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 提出DART方法,通过强化学习训练映射器将分布不匹配的SFT数据转化为模型自适应的监督,提升推理泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.26530 2026-05-27 cs.AI 79%

Which Changes Matter? Towards Trustworthy Legal AI via Relevance-Sensitive Evaluation and Solver-Grounded Reasoning

哪些变化重要?通过相关性敏感评估和求解器基础推理实现可信赖的法律AI

Chen Linze, Cai Yufan, Hou Zhe, Dong Jin Song

机构 * National University of Singapore(新加坡国立大学) Griffith University(格里菲斯大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 提出法律相关性敏感评估问题,引入统一评估套件,并设计基于形式推理的对抗多智能体框架LexGuard,以提高法律AI对法律相关变化的校准敏感性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.13770 2026-05-27 eess.IV cs.LG 79%

NeuroMambaLLM: Dynamic Graph Learning of fMRI Functional Connectivity in Autistic Brains Using Mamba and Language Model Reasoning

NeuroMambaLLM:使用Mamba和语言模型推理的自闭症大脑fMRI功能连接的动态图学习

Yasaman Torabi, Parsa Razmara, Hamed Ajorlou, Bardia Baraeinejad

机构 * Department of Electrical and Computer Engineering, McMaster University(麦基尔大学电气与计算机工程系) Department of Biomedical Engineering, University of Southern California(南加州大学生物医学工程系) Department of Electrical and Computer Engineering, University of Rochester(罗切斯特大学电气与计算机工程系) BIOSEN Group(BIOSEN集团)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.LG

AI总结 提出NeuroMambaLLM框架,结合动态潜在图学习、选择性状态空间时序建模与冻结的大语言模型,通过低秩适应实现fMRI动态功能连接的诊断分类与临床文本报告生成。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.08586 2026-05-27 cs.AI 79%

DIANOIA: Diagnostic Decomposition and Joint Optimization for Multi-Agent Reasoning

DIANOIA: 多智能体推理的诊断性分解与联合优化

Yiming Yang, Zhuoyuan Li, Fanxiang Zeng, Hao Fu, Yue Liu

机构 * Alibaba Group(阿里巴巴集团)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 提出DIANOIA框架,通过覆盖度、保真度和综合度三个可测量通道分解多智能体推理增益,并基于此设计诊断协议和对应系统,在多个基准上以更少token实现更优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.00491 2026-05-27 cs.CL 79%

From Knowledge to Inference: Formalizing Specialized Public Health Reasoning on GlobalHealthAtlas

从知识到推理:形式化GlobalHealthAtlas上的专业公共卫生推理

Zhaokun Yan, Shan Xu, Wuzheng Dong, Zhaohan Liu, Lijie Feng, Chengxiao Dai, Chen Tianqi, Binfan Liu, Yunpu Ma, Wenting Wei, Yingting Li, Yi Zhang, Tongning Wu

机构 * China Academy of Information and Communications Technology(中国信息通信技术研究院) CRRC Industrial Academy Co., Ltd.(CRRC工业学院有限公司) The University of Sydney(悉尼大学) Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Beijing University of Posts and Telecommunications(北京邮电大学) Shanghai Institute of Infectious Disease and Biosecurity(上海传染病与生物安全研究院) School of Public Health, Fudan University(复旦大学公共卫生学院)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 为解决公共卫生推理缺乏结构化监督信号和基准的问题,提出大规模多语言数据集GlobalHealthAtlas(280,210实例,15领域,17语言),并构建LLM辅助的构建与质量控制流水线及领域对齐评估器,支持安全关键型公共卫生推理的LLM训练与评估。

Journal ref ICML 2026 regular

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.08267 2026-05-27 cs.CL 79%

Med-CoReasoner: Reducing Language Disparities in Medical Reasoning via Language-Informed Co-Reasoning

Med-CoReasoner: 通过语言感知的协同推理减少医学推理中的语言差异

Fan Gao, Sherry T. Tong, Jiwoong Sohn, Jiahao Huang, Junfeng Jiang, Ding Xia, Piyalitt Ittichaiwong, Kanyakorn Veerakanjana, Hyunjae Kim, Qingyu Chen, Edison Marrese Taylor, Kazuma Kobayashi, Akiko Aizawa, Irene Li

机构 * The University of Tokyo(东京大学) ETH Zürich(苏黎世联邦理工学院) National Institute of Informatics(日本信息处理学会) Siriraj Informatics and Data Innovation Center(Siriraj信息与数据创新中心) Yale University(耶鲁大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 提出Med-CoReasoner框架,通过并行英语和本地语言推理、结构化概念抽象及概念级对齐与检索,将本地临床知识整合到英语逻辑框架中,以缩小医学推理中的多语言差距,在MultiMed-X基准上平均提升5%的多语言推理性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25856 2026-05-26 cs.HC cs.AI 79%

Explaining Too Much? Understanding How Large Language Model Reasoning Traces Influence Performance and Metacognition

解释过多?理解大型语言模型推理轨迹如何影响性能和元认知

Daniela Fernandes, Daniel Buschek, Lev Tankelevitch, Thomas Kosch, Robin Welsch

机构 * Aalto University(奥卢大学) University of Bayreuth(拜鲁特大学) Microsoft Research Cambridge(微软研究院剑桥)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 通过用户实验,研究大型语言模型展示推理轨迹(完整或摘要)对任务性能、信任、愉悦感和自我评估校准的影响,发现轨迹提升主观体验但无性能增益,且导致过度自信。

Comments 27 pages, 5 figures, 9 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.07644 2026-05-26 cs.AI 79%

FloorplanQA: A Benchmark for Spatial Reasoning in LLMs using Structured Representations

FloorplanQA:使用结构化表示进行大语言模型空间推理的基准测试

Fedor Rodionov, Abdelrahman Eldesokey, Michael Birsak, John Femiani, Bernard Ghanem, Peter Wonka

机构 * King Abdullah University of Science and Technology(国王阿卜杜勒-阿齐兹大学) Miami University(迈阿密大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 提出FloorplanQA基准,通过结构化室内场景表示评估大语言模型在距离测量、可见性、路径查找和物体放置等空间推理任务上的表现,揭示模型在物理约束和空间一致性方面的盲点。

Comments ICML 2026, Project page: https://OldDeLorean.github.io/FloorplanQA/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24635 2026-05-26 cs.CL 79%

HiMed: Incentivizing Hindi Reasoning in Medical LLMs

HiMed: 激励医疗大语言模型中的印地语推理

Dingfeng Jiang, Han Yan, Chenze Ma, Amit Kumar Jaiswal, Ang Li, Yunxiang Jiang, Xinlei Xiong, Juhao Liang, Hongru Xiao, Xiang Li, Fan Bu, Jiale Han, Ruchir Gupta, Prayag Tiwari, Benyou Wang

机构 * The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) Indian Institute of Technology (Banaras Hindu University) Varanasi(印度理工学院(班加罗尔 Hindu 大学)瓦拉纳西分校) Tongji University(同济大学) Shenzhen Research Institute of Big Data(深圳大数据研究院) Shenzhen Loop Area Institute(深圳河套学院) The Hong Kong University of Science and Technology(香港科技大学) Halmstad University(哈尔姆斯塔德大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 针对医疗大语言模型在印地语上表现不佳的问题,提出HiMed印地语医疗推理语料库与基准,并通过衰减支架奖励训练HiMed-8B模型,显著提升印地语医疗推理性能并缩小英印准确率差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24573 2026-05-26 cs.CL 79%

AstroMind: A High-Fidelity Benchmark for Spacecraft Behavior Reasoning Based on Large Language Models

AstroMind:基于大型语言模型的航天器行为推理高保真基准

Hao Liu, Siyuan Yang, Qinglei Hu, Dongyu Li

机构 * Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院) KTH Royal Institute of Technology(皇家理工学院) School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院) School of Cyber Science and Technology, Beihang University(北京航空航天大学网络空间安全学院)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 针对航天器机动行为理解问题,提出基于高保真天体动力学模拟和真实观测约束的基准AstroMind,涵盖意图推断、参数估计和威胁评估三类任务,并评估多种开源模型表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24549 2026-05-26 cs.AI 79%

PALoRA: Projection-Adaptive LoRA for Preserving Reasoning in Large Language Models

PALoRA: 投影自适应LoRA以保持大型语言模型的推理能力

Mustafa Hayri Bilgin, Mariam Barry, Albert Bifet, Azzedine Idir Ait Said, Soumya Banerjee

机构 * IT Group, Research, BNP Paribas(BNP巴黎研究院IT部门) LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工大学LTCI研究所) AI Institute, University of Waikato(瓦卡托大学人工智能研究所) Independent Researcher(独立研究员)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 提出PALoRA框架,通过奇异值微调(SVF)识别推理关键成分,并在正交约束下使用LoRA注入知识,以在保持推理能力的同时高效更新事实知识。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.19167 2026-05-25 cs.CL 79%

Evaluating Counterfactual Strategic Reasoning in Large Language Models

评估大型语言模型中的反事实策略推理

Dimitrios Georgousis, Maria Lymperaiou, Angeliki Dimitriou, Giorgos Filandrianos, Giorgos Stamou

机构 * National Technical University of Athens(希腊雅典国家技术大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 通过引入反事实变体(改变收益结构和行动标签)的囚徒困境和石头剪刀布博弈,评估大型语言模型的策略表现是否基于真正的推理而非记忆模式,并揭示其在激励敏感性、结构泛化和反事实环境中的策略推理方面的局限性。

Comments Accepted at GEM@ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15224 2026-05-25 cs.CV cs.CL 79%

PROGRESSLM: Towards Progress Reasoning in Vision-Language Models

PROGRESSLM: 迈向视觉-语言模型中的进度推理

Jianshu Zhang, Chengxuan Qian, Haosen Sun, Haoran Lu, Dingcheng Wang, Letian Xue, Han Liu

机构 * Northwestern University(西北大学) University of California, Santa Barbara(加州大学圣巴巴拉分校)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 本文提出Progress-Bench基准和ProgressLM-3B模型,通过两阶段进度推理范式,评估并提升视觉-语言模型从部分观测中推断任务进度的能力。

Comments ACL 2026 Camera Ready Version

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.17171 2026-05-25 cs.CV cs.LG 79%

FireScope: Wildfire Risk Raster Prediction with a Chain-of-Thought Oracle

FireScope: 基于思维链预言机的野火风险栅格预测

Mario Markov, Stefan Maria Ailuro, Luc Van Gool, Konrad Schindler, Danda Pani Paudel

机构 * ETH Zurich(苏黎世联邦理工学院)

专题命中 推理评测 :chain-of-thought(title);reasoning(abstract);分类 cs.LG

AI总结 提出FireScope框架,利用视觉语言模型结合强化学习和视觉监督,通过推理轨迹生成野火风险栅格,在跨大陆泛化中取得显著性能提升。

Comments CVPR 2026, Project Page: https://firescope.ai/research

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22734 2026-05-22 cs.CL 79%

ChronoMedKG: A Temporally-Grounded Biomedical Knowledge Graph and Benchmark for Clinical Reasoning

ChronoMedKG:一个具有时间基础的生物医学知识图谱和用于临床推理的基准

Md Shamim Ahmed, Farzaneh Firoozbakht, Lukas Galke Poech, Jan Baumbach, Richard Röttger

机构 * University of Southern Denmark(丹麦南部大学) University of Hamburg(汉堡大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 本文提出ChronoMedKG,一个包含460,497个证据链接三元组的生物医学知识图谱,覆盖13,431种疾病,通过时间组件如发病窗口或进展阶段,为临床推理提供时间基础,并引入ChronoTQA基准测试,验证了其在时间推理任务中的有效性。

Comments 9 pages main text plus appendices, 8 figures. Dataset and benchmark paper. ChronoMedKG released under CC BY 4.0 and ChronoTQA/code under MIT (Zenodo: 10.5281/zenodo.19697542). Under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22602 2026-05-22 cs.AI 79%

Think Thrice Before You Speak: Dual knowledge-enhanced Theory-of-Mind Reasoning for Persuasive Agents

三思而后言:基于双重知识增强的理论思维推理用于说服代理

Minghui Ma, Bin Guo, Runze Yang, Mengqi Chen, Yan Liu, Jingqi Liu, Yahan Pei, Xuehao Ma, Qiuyun Zhang, Zhiwen Yu

机构 * Northwestern Polytechnical University(西北工业大学) Peking University(北京大学) Harbin Engineering University(哈尔滨工程大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 本文提出了一种基于双重知识增强的理论思维推理方法,用于提升说服代理的对话能力,通过构建大规模标注数据集和提出TTBYS框架,提高了LLM在推理欲望、信念和说服策略方面的性能。

Comments 19 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22570 2026-05-22 cs.CV cs.AI 79%

VGenST-Bench: A Benchmark for Spatio-Temporal Reasoning via Active Video Synthesis

VGenST-Bench: 一个通过主动视频合成进行时空推理的基准

Jinho Park, Youbin Kim, Hogun Park, Eunbyung Park

机构 * Department of Artificial Intelligence, Sungkyunkwan University(全北大学人工智能系) Department of Artificial Intelligence, Yonsei University(延世大学人工智能系)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 本文提出VGenST-Bench,一个通过生成模型主动合成多样化评估场景的视频基准,旨在评估多模态大语言模型的时空推理能力,通过引入多代理流程和3x2x2视频分类体系,实现对细粒度时空理解的精准诊断。

Comments 82 pages, 91 figures (7 in main paper, 84 in appendix). Project page: https://zinosii.github.io/VGenST-Bench/

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.20665 2026-05-22 cs.CV cs.AI 79%

The Expense of Seeing: Attaining Trustworthy Multimodal Reasoning Within the Monolithic Paradigm

视见之代价:在单体范式内实现可信的多模态推理

Karan Goyal

机构 * IIIT Delhi, India(德里印度理工学院)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 本文提出了一种新的多模态评估方法,通过信息论视角揭示了多模态推理中的视见代价问题,提出了三个新指标并提出了语义充分性准则,挑战了传统多模态评估方法。

Comments Addresses practical viability of Vlabel construction. Writing is grounded. Acknowledgement is duly added

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.17123 2026-05-22 cs.CL 79%

MTR-Bench: A Comprehensive Benchmark for Multi-Turn Reasoning Evaluation

MTR-Bench:多轮推理评估的综合性基准

Xiaoyuan Li, Keqin Bao, Yubo Ma, Moxin Li, Wenjie Wang, Rui Men, Yichang Zhang, Fuli Feng, Dayiheng Liu

机构 * University of Science and Technology of China(中国科学技术大学) Alibaba Group(阿里巴巴集团) National University of Singapore(新加坡国立大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 本文提出MTR-Bench,一个包含4类、40个任务和3600个实例的综合性基准,用于评估大型语言模型的多轮推理能力,通过自动化框架实现大规模评估,并揭示了当前先进推理模型在多轮交互任务中的不足。

Comments ACL 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21975 2026-05-22 cs.LG 79%

Reasoning through Verifiable Forecast Actions: Consistency-Grounded RL for Financial LLMs

通过可验证的预测动作进行推理:面向金融大语言模型的一致性导向强化学习

Jialin Chen, Aosong Feng, Harshit Verma, Siyi Gu, Haiwen Wang, Ali Maatouk, Yixuan He, Yifeng Gao, Leandros Tassiulas, Rex Ying

机构 * Yale University(耶鲁大学) University of Texas Rio Grande Valley(德克萨斯理工大学) Arizona State University(亚利桑那州立大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.LG

AI总结 本文提出StockR1,一种结合时间序列的LLM,通过可验证的预测动作统一股票预测与金融推理,利用强化学习优化整个流程,提升金融问答和股票预测的准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.13294 2026-05-22 cs.CV cs.AI 79%

VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction

VisPhyWorld: 通过代码驱动的视频重建探测物理推理

Jiarong Liang, Max Ku, Ka-Hei Hui, Ping Nie, Wenhu Chen

机构 * University of Waterloo(滑铁卢大学) Autodesk AI Lab(Autodesk人工智能实验室) Independent Researcher(独立研究者)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 本文提出VisPhyWorld框架,通过要求模型从视觉观察生成可执行的模拟器代码来评估物理推理能力,引入VisPhyBench基准测试集,验证模型在重建外观和模拟物理运动方面的能力,发现最先进的MLLM在准确推断物理参数和模拟一致的物理动态方面存在困难。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.20912 2026-05-22 cs.AI 79%

DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning

DeFacto: 通过图像进行反事实推理以强制证据支持和忠实推理

Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

机构 * Department of Automation, Tsinghua University, Beijing, China(清华大学自动化系) Zhongguancun Academy, Beijing, China(中关村学院) School of Software, Xinjiang University, Urumqi, China(新疆大学软件学院) College of Materials Science and Engineering, Fuzhou University, Fuzhou, China(福州大学材料科学与工程学院) Institute of Automation, Chinese Academy of Sciences, Beijing, China(中国科学院自动化研究所) School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学人工智能学院) Beijing Qianjue Technology Co., Ltd., Beijing, China(北京千 jue 技术有限公司)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 本文提出DeFacto框架,通过整合正例、反事实和随机遮蔽三种训练范式,提升多模态语言模型在证据一致性方面的表现,并引入DeFacto-1.5K基准进行系统评估。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21127 2026-05-21 cs.LG 79%

Reasoning-Trace Collapse: Evaluating the Loss of Explicit Reasoning During Fine-Tuning

推理轨迹坍缩:在微调过程中显式推理能力的丧失评估

Lukas Twist, Helen Yannakoudakis, Jie M. Zhang

机构 * King’s College London(伦敦国王学院)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.LG

AI总结 本文研究了在微调过程中显式推理能力的丧失问题,提出了一种结构评估框架来区分答案正确性与推理轨迹的有效性,并发现标准监督微调会迅速抑制有效的推理轨迹,而仅关注答案的指标会掩盖这一问题。

Comments 22 pages, 3 tables, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.07926 2026-05-21 cs.AI 79%

AgentEscapeBench: Evaluating Out-of-Domain Tool-Grounded Reasoning in LLM Agents

AgentEscapeBench: 评估LLM代理在跨领域工具引导推理中的能力

Zhengkang Guo, Yiyang Li, Lin Qiu, Xiaohua Wang, Jingwen Xv, Dongyu Ru, Xiaoyu Li, Xiaoqing Zheng, Xuezhi Cao, Xunliang Cai

机构 * Fudan University(复旦大学) Meituan Longcat Team(美团Longcat团队)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 本文提出AgentEscapeBench基准测试,用于评估LLM代理在非熟悉工作流和短程交互之外维持工具引导推理的能力,通过逃亡室风格的任务测试代理在显式长距离依赖约束下推断、执行和修订新工具使用程序的能力,结果显示代理在依赖深度增加时表现显著下降。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.18034 2026-05-21 cs.CV cs.AI cs.RO 79%

Can VLMs Unlock Semantic Anomaly Detection? A Framework for Structured Reasoning

VLMs能否解锁语义异常检测?一个结构化推理的框架

Roberto Brusnicki, David Pop, Yuan Gao, Mattia Piccinini, Johannes Betz

机构 * Professorship of Autonomous Vehicle Systems TUM School of Engineering Design, Technical University of Munich Munich, Germany

专题命中 推理评测 :reasoning(title,abstract);分类 cs.AI

AI总结 本文提出SAVANT框架,通过结构化推理方法提升VLM在语义异常检测中的性能,实现对自动驾驶场景中罕见异常情况的更准确识别。

Comments 8 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.01141 2026-05-21 cs.CL 79%

Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models

字典插入提示用于多语言推理在多语言大语言模型上

Hongyuan Lu, Zixuan Li, Wai Lam

机构 * The Chinese University of Hong Kong(香港中文大学) Southeast University(东南大学)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 本文提出了一种名为字典插入提示(DIP)的新方法,通过在提示中插入词典中的英文对应词来提升多语言推理性能,实验表明在10到200种语言上效果显著。

Comments ACL *SEM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20364 2026-05-21 cs.CL 79%

When Reasoning Supervision Hurts: TTCW-Based Long-Form Literary Review Generation

推理监督有害:基于TTCW的长文本文学评论生成

Jinlong Liu, Mohammed Bahja, Mark Lee

机构 * School of Computer Science, University of Birmingham, United Kingdom(英国伯明翰大学计算机科学学院)

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 本文提出了一种基于TTCW的长文本文学评论生成方法,通过构建包含263911个长文本故事的数据集,每个故事都标注了14个TTCW维度的评分和元合成评论。实验发现,非推理微调在性能和稳定性上更优,而推理监督模型更易出现解析失败,导致生成无关或重复的推理文本,表明在固定格式评分标准下,推理监督并不总是有益的。

Comments Submit to EMNLP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20128 2026-05-20 cs.CL 79%

MixRea: Benchmarking Explicit-Implicit Reasoning in Large Language Models

MixRea: 在大型语言模型中评估显式-隐式推理的基准测试

Yuanqing Cai, Ziyi Huang, Minhao Liu, Lixin Duan, Wen Li, Yanru Zhang

机构 * DeepMind DeepSeek-AI Anthropic Qwen Touvron Team

专题命中 推理评测 :reasoning(title,abstract);分类 cs.CL

AI总结 本文提出MixRea基准测试,用于评估大型语言模型在显式和隐式推理任务中的表现,发现即使最佳模型也存在注意力不足的问题,并提出PRCP方法来改进推理能力。

Comments 12 pages, 6 figures, 4 tables

详情

展开后加载摘要…

URL PDF HTML 收藏