大模型推理能力

Instruct-ICL: Instruction-Guided In-Context Learning for Post-Disaster Damage Assessment

Instruct-ICL：基于指令的上下文学习用于灾后损害评估

Armin Zarbaft, Ehsan Karimi, Nhut Le, Maryam Rahnemoonfar

专题命中 推理评测 ：CoT(summary_cn,abstract)；chain-of-thought(abstract,abstract_cn)；reasoning(abstract)；分类 cs.LG

AI总结 本文提出Instruct-ICL方法，通过指令引导的上下文学习提升预训练多模态大语言模型在灾后视觉问答中的可靠性，实验表明结合CoT推理能显著提高回答准确性。

Comments Accepted by the 2026 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2026)

Faithful or Just Plausible? Evaluating the Faithfulness of Closed-Source LLMs in Medical Reasoning

忠实还是只是合理？评估闭源LLM在医学推理中的忠实性

Halimat Afolabi, Zainab Afolabi, Elizabeth Friel, Jude Roberts, Antonio Ji-Xu, Lloyd Chen, Egheosa Ogbomo, Emiliomo Imevbore, Phil Eneje, Wissal El Ouahidi, Aaron Sohal, Alisa Kennan, Shreya Srivastava, Anirudh Vairavan, Laura Napitu, Katie McClure

机构 * Stratified Precision ； Harvard Medical School（哈佛医学院） ； Imperial College London（帝国理工学院伦敦分校） ； National Health Service（国家健康服务系统） ； Ipsen France（Ipsen法国） ； University College London（伦敦大学学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过系统性黑盒评估，揭示闭源LLM在医学推理中的忠实性问题，发现链式推理步骤未必驱动预测，模型易受外部提示影响，强调忠实性比准确性更重要。

Journal ref Proceedings of Machine Learning Research, Vol. 297, pp. 1562-1591, 2026

Efficient LLM Reasoning via Variational Posterior Guidance with Efficiency Awareness

通过变分后验指导实现高效的LLM推理：具有效率意识

Zizhao Chen, Yuying Li, Siting Lin, Lianxi Wang

机构 * Guangdong University of Foreign Studies（广东外语外贸大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出VPG-EA框架，通过变分推断和效率感知证据下界提升LLM推理效率，实验显示在不同模型规模下效率指标提升显著。

MedHopQA: A Disease-Centered Multi-Hop Reasoning Benchmark and Evaluation Framework for LLM-Based Biomedical Question Answering

MedHopQA: 一种以疾病为中心的多跳推理基准和评估框架，用于基于大语言模型的生物医学问答

Rezarta Islamaj, Robert Leaman, Joey Chan, Nicholas Wan, Qiao Jin, Natalie Xie, John Wilbur, Shubo Tian, Lana Yeganova, Po-Ting Lai, Chih-Hsuan Wei, Yifan Yang, Yao Ge, Qingqing Zhu, Zhizheng Wang, Zhiyong Lu

机构 * National Library of Medicine, Division of Intramural Research（国家医学图书馆，院内研究部） ； University of Illinois at Urbana-Champaign, Department of Computer Science（伊利诺伊大学厄巴纳-香槟分校计算机科学系） ； University of Michigan Medical School（密歇根大学医学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 MedHopQA旨在通过多跳推理评估大语言模型在生物医学领域的表现，提供了一个以疾病为中心的基准和框架，强调组合推理、抗饱和性和抗污染性。

GRC: Unifying Reasoning-Driven Generation, Retrieval and Compression

GRC：统一推理驱动生成、检索与压缩

Zhongtao Miao, Qiyu Wu, Yoshimasa Tsuruoka

机构 * The University of Tokyo（东京大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出GRC框架，通过元潜在标记和统一训练方法，将推理驱动生成、文本表示和上下文压缩整合于单次前向传递中，提升部署效率与训练效果。

Comments Fixed typos in Eq. 4 and GPU names; added details on hybrid paged attention implementation

Social Human Robot Embodied Conversation (SHREC) Dataset: Benchmarking Foundational Models' Social Reasoning

社交人机具身对话（SHREC）数据集：评估基础模型的社会推理能力

Dong Won Lee, Yubin Kim, Denison Guvenoz, Sooyeon Jeong, Parker Malachowsky, Louis-Philippe Morency, Cynthia Breazeal, Hae Won Park

机构 * Purdue University（普渡大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出SHREC数据集，包含400个真实人机交互视频和10000多个标注，用于评估基础模型在社会推理中的能力，揭示社会机器人在情绪理解、意图跟踪等方面的社会挑战。

Comments 23 pages, 11 figures

An Execution-Verified Multi-Language Benchmark for Code Semantic Reasoning

一个经过执行验证的多语言基准用于代码语义推理

Yikun Li, Jinfeng Jiang, Ting Zhang, Chengran Yang, Chenxing Zhong, Yin Yide, Leow Wen Bin, Eng Lieh Ouh, Lwin Khin Shar, David Lo

机构 * Singapore Management University（新加坡管理大学） ； Monash University（墨尔本大学） ； Nanjing University of Science and Technology（南京理工大学） ； GovTech Singapore（新加坡政府科技局） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出TraceEval，首个经过执行验证的多语言代码语义推理基准，通过验证执行消除标注偏差，评估10个LLM在零样本下的表现，展示了其在代码语义推理中的有效性。

KEPO: Knowledge-Enhanced Preference Optimization for Multimodal Reasoning with Applications to Medical VQA

KEPO：基于知识的偏好优化用于多模态推理及其在医学VQA中的应用

Fan Yang, Rui Meng, Trudi Di Qi, Ali Ezzati, Yuxin Wen

机构 * Chapman University（查普曼大学） ； Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室） ； University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 KEPO通过质量门控的在线蒸馏和知识增强的探索策略，提升多模态推理任务的训练稳定性与推理一致性，优于强化学习和在线蒸馏基线。

CheXTemporal: A Dataset for Temporally-Grounded Reasoning in Chest Radiography

CheXTemporal：用于胸部X光影像中时间感知推理的数据集

Eva Prakash, Yunhe Gao, Chong Wang, Justin Xu, Neal Prakash, Arne Michalson, Seena Dehkharghani, Eun Kyoung Hong, Julie Bauml, Roger Boodoo, Jean-Benoit Delbrouck, Sophie Ostmeier, Curtis Langlotz

机构 * Stanford University（斯坦福大学） ； University of Oxford（牛津大学） ； University of California, Berkeley（加州大学伯克利分校） ； HOPPR ； University Hospital Zurich（苏黎世大学医院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 该研究提出CheXTemporal数据集，用于胸部X光影像中时间感知推理，包含前后X光片及时间空间标注，评估了多种视觉语言模型在零样本设定下的接地和进展分类任务，发现模型在空间接地和时间推理方面存在局限。

The Granularity Mismatch in Agent Security: Argument-Level Provenance Solves Enforcement and Isolates the LLM Reasoning Bottleneck

代理安全中的粒度不匹配：论证层面的溯源解决了执行问题并隔离了LLM推理瓶颈

Linfeng Fan, Ziwei Li, Yuan Tian, Yichen Wang, Rongsheng Li, Xiong Wang

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 学院） ； King Abdullah University of Science and Technology（国王 Abdullah 科学技术大学） ； Dongbei University of Finance and Economics（东北财经大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.AI

AI总结 本文提出PACT框架，通过论证层面的溯源解决代理安全中的粒度不匹配问题，隔离LLM推理瓶颈，提升安全性和实用性。

PlantMarkerBench: A Multi-Species Benchmark for Evidence-Grounded Plant Marker Reasoning

PlantMarkerBench: 一个多物种证据导向植物标记推理基准

Sajib Acharjee Dip, Song Li, Liqing Zhang

机构 * Department of Computer Science, Virginia Tech（弗吉尼亚理工学院计算机科学系） ； School of Plant and Environmental Sciences, Virginia Tech（弗吉尼亚理工学院植物与环境科学学院） ； Fralin Biomedical Research Institute, Virginia Tech（弗吉尼亚理工学院弗拉林生物医学研究学院） ； FBRI Cancer Research Center, Washington, DC（华盛顿特区FBRI癌症研究中心） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.CL

AI总结 本文提出PlantMarkerBench，通过整合文献检索与生物 grounding，构建了包含4种植物的基准，评估文献支持的植物标记证据解释，发现模型在功能、间接和弱支持证据上表现欠佳。

GRP: Goal-Reversed Prompting for Zero-Shot Evaluation with LLMs

GRP：基于大语言模型的零样本评估中的目标反转提示

Mingyang Song, Mao Zheng, Xuan Luo

机构 * Tencent（腾讯） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本文提出GRP方法，通过要求模型选择更差的答案来反转传统评估目标，从而提升判断准确性，实验表明其在多个基准测试中表现优异。

Comments Ongoing Work

Scalable Token-Level Hallucination Detection in Large Language Models

可扩展的令牌级幻觉检测方法在大语言模型中

Rui Min, Tianyu Pang, Chao Du, Minhao Cheng, Yi R. Fung

机构 * Sea AI Lab（Sea AI实验室） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TokenHD方法，通过可扩展的数据引擎和重要性加权策略，实现令牌级幻觉检测，实验显示小型模型在训练后性能优于大模型，且检测能力随模型规模扩大而提升。

Do Enterprise Systems Need Learned World Models? The Importance of Context to Infer Dynamics

企业系统需要学习的世界模型吗？上下文对推断动态的重要性

Jishnu Sethumadhavan Nair, Patrice Bechard, Rishabh Maheshwary, Surajit Dasgupta, Sravan Ramachandran, Aakash Bhagat, Shruthan Radhakrishna, Pulkit Pattnaik, Johan Obando-Ceron, Shiva Krishna Reddy Malay, Sagar Davasam, Seganrasan Subramanian, Vipul Mittal, Sridhar Krishna Nemala, Christopher Pal, Srinivas Sunkara, Sai Rajeswar

机构 * ServiceNow ； Mila 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨了在可配置的企业环境中，代理是否仍需学习动态规则，通过实验表明运行时发现动态比离线训练更鲁棒。

Taming Extreme Tokens: Covariance-Aware GRPO with Gaussian-Kernel Advantage Reweighting

驯服极端令牌：具有高斯核优势重加权的协方差感知GRPO

Cheng Wang, Qin Liu, Wenxuan Zhou, Muhao Chen

机构 * National University of Singapore（新加坡国立大学） ； University of California, Davis（加州大学戴维斯分校） ； University of Southern California（美国南加州大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种协方差感知的GRPO方法，通过高斯核动态降低极端令牌更新权重，以平衡探索与利用，提升大语言模型推理性能并稳定熵。

Comments ACL 2026

Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference

冰淇淋不导致溺水：对LLM在因果推断统计陷阱中的基准测试

Jin Du, Li Chen, Xun Xian, An Luo, Fangqiao Tian, Ganghua Wang, Charles Doss, Xiaotong Shen, Jie Ding

机构 * School of Statistics, University of Minnesota（明尼苏达大学统计学系） ； Data Science Institute, University of Chicago（芝加哥大学数据科学研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CausalPitfalls基准测试，评估LLM在因果推断中的能力，揭示当前LLM在统计因果推断中的局限性。

MEME: Multi-entity & Evolving Memory Evaluation

MEME：多实体与演进记忆评估

Seokwon Jung, Alexander Rubinstein, Arnas Uselis, Sangdoo Yun, Seong Joon Oh

机构 * KAIST AI（韩国科学技术院人工智能实验室） ； Tübingen AI Center, University of Tübingen（图宾根大学图宾根人工智能中心） ； NAVER AI Lab（NAVER人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究探讨多实体与演进内存系统在持续环境中的表现，发现默认配置下所有系统在依赖推理上表现不佳，仅文件型代理配合Claude Opus 4.7能部分改善，但成本高且不实用。

DarkQA: Benchmarking Vision-Language Models on Visual-Primitive Question Answering in Low-Light Indoor Scenes

DarkQA：在低光室内场景中对视觉-原始问题进行问答的视觉语言模型基准测试

Yohan Park, Hyunwoo Ha, Wonjun Jo, Tae-Hyun Oh

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； Pohang University of Science and Technology (POSTECH)（釜山科学技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 DarkQA针对低光环境下视觉语言模型的感知基本能力进行基准测试，通过多级低光条件评估，揭示模型在复杂任务中的局限性。

Comments This work has been submitted to the IEEE for possible publication

Allegory of the Cave: Measurement-Grounded Vision-Language Learning

洞穴的寓言：基于测量的视觉-语言学习

Kepeng Xu, Li Xu, Gang He, Wenxin Yu

机构 * Xidian University（西电大学） ； Southwest University of Science and Technology（西南科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了视觉-语言模型在更接近底层相机测量的视觉接口下，基于测量的视觉-语言学习是否能提升性能。PRISM-VL模型结合RAW数据、相机条件接地和曝光括号监督聚合，通过高质量数据集和基准测试，提升了BLEU、ROUGE-L和LLM-Judge的准确率。

VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference

VERDI：基于验证的LLM裁判的单次调用置信度估计方法

Jasmine Qi, Danylo Dantsev, Muyang Sun

机构 * Indeed Inc（Indeed公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 VERDI通过分解推理过程提取置信度信号，无需额外调用，提升验证型LLM裁判的可信度评估。

Comments 16 pages, 6 figures

Curriculum Learning-Guided Progressive Distillation in Large Language Models

基于课程学习的渐进蒸馏：大型语言模型中的知识蒸馏

Jincheng Cao, Fanzhi Zeng, Leqi Liu, Aryan Mokhtari

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Google Research（谷歌研究） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CLPD框架，通过结合数据难度与教师强度，改进知识蒸馏方法，实验证明其在推理任务中优于传统方法。

ClinicalBench: Stress-Testing Assertion-Aware Retrieval for Cross-Admission Clinical QA on MIMIC-IV

ClinicalBench: 用于MIMIC-IV跨入院临床问答的应力测试型断言感知检索

Alex Stinard

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 ClinicalBench通过400个问题测试43名MIMIC-IV患者，评估断言敏感类别下的检索性能，采用EpiKG知识图谱检索方法，通过六种LLM模型测试，发现断言感知检索在临床问答中提升22个百分点。

Comments 46 pages including appendices (two-column preprint format). Under review at JAMIA. Code, frozen evaluator, and benchmark released at https://huggingface.co/datasets/alexstinard/epikg-clinicalbench. ClinicalBench v2 is a 400-question MIMIC-IV stress test for assertion-aware retrieval

ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?

ExploitGym：AI代理能否将安全漏洞转化为实际攻击？

Zhun Wang, Nico Schiller, Hongwei Li, Srijiith Sesha Narayana, Milad Nasr, Nicholas Carlini, Xiangyu Qi, Eric Wallace, Elie Bursztein, Luca Invernizzi, Kurt Thomas, Yan Shoshitaishvili, Wenbo Guo, Jingxuan He, Thorsten Holz, Dawn Song

机构 * UC Berkeley（加州大学伯克利分校） ； Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所） ； UC Santa Barbara（加州大学圣巴巴拉分校） ； Arizona State University（亚利桑那州立大学） ； Anthropic（Anthropic公司） ； OpenAI ； Google（谷歌） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 ExploitGym通过大规模真实漏洞数据评估AI代理的漏洞利用能力，揭示前沿模型在复杂漏洞利用中的表现，凸显AI发展对网络安全的潜在风险。

Stargazer: A Scalable Model-Fitting Benchmark Environment for AI Agents under Astrophysical Constraints

Stargazer：一种可扩展的AI代理在天体物理约束下的模型拟合基准环境

Xinge Liu, Terry Jingchen Zhang, Bernhard Schölkopf, Zhijing Jin, Kristen Menou

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） 纠错

专题命中 推理评测 ：test-time compute(abstract)；分类 cs.AI、cs.LG

AI总结 Stargazer通过120个任务评估AI代理在动态物理约束下的模型拟合能力，揭示了数值优化与物理约束间的差距，并提供了可扩展的评估框架。

RW-Post: Auditable Evidence-Grounded Multimodal Fact-Checking in the Wild

RW-Post：可审计的证据导向多模态事实核查

Danni Xu, Shaojing Fan, Harry Cheng, Mohan Kankanhalli

机构 * School of Computing (SoC), National University of Singapore (NUS)（新加坡国立大学计算机学院（SoC）） ； National University of Singapore (NUS)（新加坡国立大学） ； Department of Electrical and Computer Engineering (ECE), National University of Singapore (NUS)（新加坡国立大学电子与计算机工程系（ECE）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 RW-Post提出一种可审计的多模态事实核查基准，通过人类事实核查文章提取证据，支持不同场景下的可控评估，提升视觉 grounding 和证据利用能力。

Comments Code and dataset will be released at https://github.com/xudanni0927/AgentFact

OASIS: A Multilingual and Multimodal Dataset for Culturally Grounded Spoken Visual QA

OASIS：一个多语言多模态数据集用于文化导向的语音视觉问答

Firoj Alam, Ali Ezzat Shahroor, Md. Arid Hasan, Zien Sheikh Ali, Hunzalah Hassan Bhatti, Mohamed Bayan Kmainasi, Shammur Absar Chowdhury, Basel Mousi, Fahim Dalvi, Nadir Durrani, Natasa Milic-Frayling

机构 * Qatar Computing Research Institute（卡塔尔计算研究 institute） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 OASIS是一个多语言多模态数据集，涵盖图像、文本和语音，旨在评估模型在现实场景中的文化导向推理能力，包含0.92M真实图像和14.8M问答对。

Comments Multimodal Foundation Models, Large Language Models, Native, Multilingual, Language Diversity, Contextual Understanding, Culturally Informed

Don't Pass@k: A Bayesian Framework for Large Language Model Evaluation

不要Pass@k：大规模语言模型评估的贝叶斯框架

Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

机构 * Department of Computer and Data Sciences, Case Western Reserve University（计算机与数据科学系，凯斯西储大学） ； Department of Physics, Case Western Reserve University（物理系，凯斯西储大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于贝叶斯的评估框架，用后验估计替代Pass@k和avg@N，提升排名稳定性与透明度，适用于二元和非二元评估。

Comments OpenReview (ICLR 2026): https://openreview.net/forum?id=PTXi3Ef4sT

Journal ref The Fourteenth International Conference on Learning Representations (ICLR), 2026

Semantic Reward Collapse and the Preservation of Epistemic Integrity in Adaptive AI Systems

语义奖励崩溃与自适应AI系统中知识完整性保护

William Parris

机构 * BDB Labs / BagelTech（BDB实验室/BagelTech） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究探讨了自适应AI系统中语义奖励崩溃问题，指出其导致知识完整性受损，并提出宪法奖励分层框架以保护不同知识属性。

Comments 15 pages including references. Position and framework paper. Companion empirical work available at arXiv:2604.17587

Context Convergence Improves Answering Inferential Questions

上下文收敛提升推断性问题的回答

Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

机构 * University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究探讨了上下文结构和质量对LLM处理推断性问题的影响，发现高收敛性句子构建的上下文能显著提升回答准确率，且按收敛性排序略有提升，表明LLM倾向于优先使用信息丰富的早期提示。

Comments Accepted at SIGIR 2026

Journal ref Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)

Overview of the MedHopQA track at BioCreative IX: track description, participation and evaluation of systems for multi-hop medical question answering

BioCreative IX MedHopQA 轨道概述：轨道描述、参与及多跳医学问答系统评估

Rezarta Islamaj, Joey Chan, Robert Leaman, Jongmyung Jung, Hyeongsoon Hwang, Quoc-An Nguyen, Hoang-Quynh Le, Harikrishnan Gurushankar Saisudha, Ganesh Chandrasekar, Rustam R. Taktashov, Nadezhda Yu. Bizyukova, Sofia I. R. Conceição, Paulo R. C. Lopes, Reem Abdel Salam, Mary Adewunmi, Zhiyong Lu

机构 * National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国家医学图书馆（NLM）、国家卫生研究院（NIH）） ； University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Korea University（韩国大学） ； VNU University of Engineering and Technology, Hanoi, Vietnam（越南河内工程大学） ； Concordia University, Montreal, QC, CA（蒙特利尔大学） ； Institute of Biomedical Chemistry (IBMC), 10 bld. 8, Pogodinskaya str., 119121 Moscow, Russia（俄罗斯生物医学化学研究所（IBMC）） ； LASIGE, Departamento de Informática, Faculdade de Ciências, Universidade de Lisboa, 1749-016 Lisbon, Portugal（葡萄牙里斯本大学 LASIGE 实验室） ； Faculty of Engineering, Computer Engineering Department Cairo University（埃及开罗大学工程学院） ； Menzies School of Health Research, Charles Darwin University, NT, Australia（澳大利亚查尔斯达尔文大学梅恩兹健康研究中心） ； CaresAI, Australia（澳大利亚 CaresAI） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文介绍了BioCreative IX MedHopQA共享任务，旨在评估大型语言模型在多跳推理中的表现，通过构建1000个挑战性问题，展示了检索增强生成策略的重要性，并提供了公开数据集和评估结果。