大模型推理能力

CityLens: Evaluating Large Vision-Language Models for Urban Socioeconomic Sensing

CityLens：评估大型视觉-语言模型用于城市社会经济感知

Tianhui Liu, Hetian Pang, Xin Zhang, Tianjian Ouyang, Zhiyuan Zhang, Jie Feng, Yong Li, Pan Hui

机构 * Information Hub, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）信息中心） ； Department of Electronic Engineering, BNRist, Tsinghua University（清华大学电子工程系） ； School of Electronic and Information Engineering, Beijing Jiaotong University（北京交通大学电子与信息工程学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 CityLens通过评估大型视觉-语言模型在城市社会经济指标预测中的表现，揭示了其在可持续城市发展中的潜力与局限性。

Comments Accepted by ICLR 2026

From Medical Records to Diagnostic Dialogues: A Clinical-Grounded Approach and Dataset for Psychiatric Comorbidity

从医疗记录到诊断对话：一种基于临床的途径和数据集用于精神疾病共病

Tianxi Wan, Jiaming Luo, Siyuan Chen, Kunyao Lan, Jianhua Chen, Haiyang Geng, Mengyue Wu

机构 * X - LANCE Lab, Shanghai Jiao Tong University, China（上海交通大学X-LANCE实验室） ； Shanghai Mental Health Center, SJTU School of Medicine, China（上海精神卫生中心，上海交通大学医学院） ； Chen Frontier Lab for AI and Mental Health, Tianqiao and Chrissy Chen Institute, Shanghai, China（陈前沿人工智能与心理健康实验室，田青和克里斯蒂娜·陈研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于临床的途径和数据集，用于生成支持精神疾病共病的多轮诊断对话，通过合成患者电子医疗记录和多智能体对话生成技术，构建了首个大规模对话数据集PsyCoTalk，提升了诊断准确性和治疗计划能力。

ArabicNumBench: Evaluating Arabic Number Reading in Large Language Models

阿拉伯数字阅读基准：评估大型语言模型在阿拉伯数字阅读任务中的表现

Anas Alhumud, Abdulaziz Alhammadi, Muhammad Badruddin Khan

机构 * Imam Mohammad Ibn Saud Islamic University Saudi Arabia（伊玛目穆罕默德·本·沙特伊斯兰大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 阿拉伯数字基准评估大型语言模型在阿拉伯数字阅读任务中的表现，揭示不同提示策略和模型在准确率上的显著差异，指出结构化输出生成的挑战。

Debugging code world models

调试代码世界模型

Babak Rahmani

机构 * Tübingen AI Center, University of Tübingen, Microsoft Research（图宾根人工智能中心、图宾根大学、微软研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 代码世界模型通过模拟程序执行来预测运行时状态，研究发现其在长周期状态跟踪中存在token预算耗尽和字符串状态处理的局限性，提出改进监督和状态表示的方向。

Comments 8 pages, 4 figures, under review in conference

Token Hidden Reward: Steering Exploration-Exploitation in Group Relative Deep Reinforcement Learning

令牌隐藏奖励：在组相对深度强化学习中引导探索-利用

Wenlong Deng, Yi Ren, Yushu Li, Boying Gong, Danica J. Sutherland, Xiaoxiao Li, Christos Thrampoulidis

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Amii（阿米人工智能研究所） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 令牌隐藏奖励通过调整组相对策略优化的学习信号，引导探索-利用平衡，提升大语言模型在推理任务中的表现。

Comments Full version of submission to 2nd AI for Math Workshop@ ICML 2025 (best paper)

GISA: A Benchmark for General Information-Seeking Assistant

GISA：通用信息检索助手的基准测试

Yutao Zhu, Xingshuo Zhang, Maosen Zhang, Jiajie Jin, Liancheng Zhang, Xiaoshuai Song, Kangzhi Zhao, Wencong Zeng, Ruiming Tang, Han Li, Ji-Rong Wen, Zhicheng Dou

机构 * Renmin University of China（中国人民大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 GISA是一个针对通用信息检索助手的基准测试，包含373个人工设计的查询，旨在评估信息检索任务中深度推理与信息聚合的能力。

Comments Project repo: https://github.com/RUC-NLPIR/GISA

Beyond Length: Context-Aware Expansion and Independence as Developmentally Sensitive Evaluation in Child Utterances

超越长度：基于上下文的扩展与独立性作为儿童言语发展的敏感评估

Jiyun Chun, Eric Fosler-Lussier, Michael White, Andrew Perrault

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于上下文的评估框架，通过扩展和独立性两个维度评估儿童言语的发展性，提升对儿童对话质量的敏感度。

On the Credibility of Evaluating LLMs using Survey Questions

关于通过调查问题评估LLM可信度的研究

Jindřich Libovický

机构 * Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics（查尔斯大学，数学与物理学院，形式与应用语言学研究所） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过调查问题评估LLM可信度，发现提示方法和解码策略显著影响结果，并引入自相关距离度量标准以评估答案一致性。

Comments Accepted to the Workshop on Multilingual and Multicultural Evaluation at EACL 2026, 12 pages, 2 figures

TRIP-Bench: A Benchmark for Long-Horizon Interactive Agents in Real-World Scenarios

TRIP-Bench：面向现实场景的长周期交互智能体基准

Yuanzhe Shen, Zisu Huang, Zhengyuan Wang, Muzhao Tian, Zhengkang Guo, Chenyang Zhang, Shuaiyu Zhou, Zengjie Hu, Dailin Li, Jingwen Xu, Kaimin Wang, Wenhao Liu, Tianlong Li, Fengpeng Yue, Feng Hong, Cao Liu, Ke Zeng

机构 * Xiaohongshu Inc.（小红书公司） ； School of Computer Science, Fudan University（复旦大学计算机学院） ； Dalian University of Technology（大连理工大学） ； Peking University（北京大学） ； Wuhan University（武汉大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI、cs.LG

AI总结 TRIP-Bench是一个面向现实场景的长周期交互智能体基准，通过真实旅行规划场景测试多工具推理与约束满足，提出GTPO方法提升智能体鲁棒性与性能。

Comments 40 pages, 6figures

MTDrive: Multi-turn Interactive Reinforcement Learning for Autonomous Driving

MTDrive: 多轮交互式强化学习用于自动驾驶

Xidong Li, Mingyu Guo, Chenchao Xu, Bailin Li, Wenjing Zhu, Yangang Zou, Rui Chen, Zehuan Wang

机构 * Li Auto Inc.（利汽车公司） ； NVIDIA（英伟达） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI、cs.LG

AI总结 MTDrive通过多轮交互式强化学习框架，结合多模态大语言模型与强化学习，提升自动驾驶轨迹规划的性能与效率。

UniFinEval: Towards Unified Evaluation of Financial Multimodal Models across Text, Images and Videos

UniFinEval: 向跨文本、图像和视频的金融多模态模型统一评估迈进

Zhi Yang, Lingfeng Zeng, Fangqi Lou, Qi Qi, Wei Zhang, Zhenyu Wu, Zhenxiong Yu, Jun Han, Zhiheng Jin, Lejie Zhang, Xiaoming Huang, Xiaolong Liang, Zheng Wei, Junbo Zou, Dongpo Cheng, Zhaowei Liu, Xin Guo, Rongjunchen Zhang, Liwen Zhang

机构 * SUFE（上海财经大学） ； Tencent（腾讯） ； Gatech（佐治亚理工学院） ； HiThink Research（慧图研究） 纠错

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 UniFinEval提出首个统一多模态基准，用于评估金融领域高信息密度下的多模态模型能力，通过五个真实金融场景和大规模数据集验证模型表现。

MiRAGE: A Multiagent Framework for Generating Multimodal Multihop Question-Answer Dataset for RAG Evaluation

MiRAGE：一种多智能体框架，用于生成多模态多跳问题-答案数据集以评估RAG系统

Chandan Kumar Sahu, Premith Kumar Chilukuri, Matthew Hetrich

机构 * ABB Inc（ABB公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 MiRAGE通过多智能体框架生成多模态多跳问题-答案数据集，提升RAG系统评估的准确性和复杂性。

Comments 12 pages, 2 figures, Submitted to ACL

Simulated Ignorance Fails: A Systematic Study of LLM Behaviors on Forecasting Problems Before Model Knowledge Cutoff

模拟无知失败：在模型知识截止前的预测问题上的系统研究

Zehan Li, Yuxuan Wang, Ali El Lahib, Ying-Jieh Xia, Xinyu Pi

机构 * University of Chicago（芝加哥大学） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了在模型知识截止前的预测问题中，模拟无知方法的局限性，发现其无法有效近似真实无知，且推理链推理和优化模型在抑制先前知识方面存在缺陷。

Recurrent Confidence Chain: Temporal-Aware Uncertainty Quantification in Large Language Models

递归置信链：大型语言模型中的时间感知不确定性量化

Zhenjiang Mao, Anirudhh Venkat

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出递归置信链方法，通过跨步骤注意力和隐藏置信机制，提升大型语言模型在不确定性量化中的性能。

Prompt-Based Clarity Evaluation and Topic Detection in Political Question Answering

基于提示的清晰度评估与政治问答主题检测

Lavanya Prahallad, Sai Utkarsh Choudarypally, Pragna Prahallad, Pranathi Prahallad

机构 * Research Spark Hub Inc. ； Emerald High School 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了基于提示的清晰度评估与政治问答主题检测，发现思维链提示显著提升清晰度和主题识别准确性，但细粒度逃避检测仍具挑战性。

Comments 6 pages, 6 tables

E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis

E²-LLM：连接神经信号与可解释的情感分析

Fei Ma, Han Lin, Yifan Xie, Hongwei Ren, Xiaoyu Shen, Wenbo Ding, Qi Tian

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Eastern Institute of Technology（东方技术研究所） ； Huawei（华为） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 E²-LLM通过整合预训练EEG编码器与Qwen-based LLM，实现了可解释的情绪分析，展示了模型扩展在情感识别和可解释性上的优势。

Comments 11 pages

Thinking with Map: Reinforced Parallel Map-Augmented Agent for Geolocalization

基于地图的思考：用于地理定位的强化并行地图增强智能体

Yuxiang Ji, Yong Wang, Ziyu Ma, Yiming Hu, Hailang Huang, Xuecai Hu, Guanhua Chen, Liaoni Wu, Xiangxiang Chu

机构 * Xiamen University（厦门大学） ； AMAP, Alibaba Group（阿里集团AMAP） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于地图的强化并行智能体，通过两阶段优化提升地理定位精度，实验显示在Acc@500m指标上显著优于现有模型。

Fine-tuning a Large Language Model for Automating Computational Fluid Dynamics Simulations

针对计算流体力学模拟的大型语言模型微调

Zhehao Dong, Zhen Lu, Yue Yang

机构 * State Key Laboratory for Turbulence and Complex Systems, College of Engineering, Peking University, Beijing 100871, China（湍流与复杂系统国家重点实验室，工程学院，北京大学，北京100871，中国） ； HEDPS-CAPT, Peking University, Beijing 100871, China（HEDPS-CAPT，北京大学，北京100871，中国） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 通过微调领域特定LLM，实现从自然语言到CFD模拟配置的自动化，提升复杂工程流程的效率和准确性。

Journal ref Theor. Appl. Mech. Lett. 15, 100594 (2025)

MALLM: Multi-Agent Large Language Models Framework

MALLM：多智能体大语言模型框架

Jonas Becker, Lars Benedikt Kaesberg, Niklas Bauer, Jan Philip Wahle, Terry Ruas, Bela Gipp

机构 * University of Göttingen（哥廷根大学） ； LKA NRW（北莱茵-威斯特法伦州实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；test-time compute(abstract)；分类 cs.CL、cs.AI

AI总结 MALLM是一个开源框架，通过提供多种配置选项，系统分析多智能体辩论的组件，促进对智能体角色、响应生成器、讨论范式和决策协议的深入理解。

Comments Accepted at EMNLP 2025 (Demo)

DAComp: Benchmarking Data Agents across the Full Data Intelligence Lifecycle

DAComp: 在全数据智能生命周期中跨领域评估数据代理

Fangyu Lei, Jinxiang Meng, Yiming Huang, Junjie Zhao, Yitong Zhang, Jianwen Luo, Xin Zou, Ruiyi Yang, Wenbo Shi, Yan Gao, Shizhu He, Zuo Wang, Qian Liu, Yang Wang, Ke Wang, Jun Zhao, Kang Liu

机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 DAComp通过210个任务评估数据代理在数据工程与分析中的能力，揭示现有代理在复杂流程编排和开放性推理中的不足。

Sloth: scaling laws for LLM skills to predict multi-benchmark performance across families

Sloth: LLM技能的缩放定律用于跨家族预测多基准性能

Felipe Maia Polo, Seamus Somerstep, Leshem Choshen, Yuekai Sun, Mikhail Yurochkin

机构 * Department of Statistics, University of Michigan（密歇根大学统计学系） ； MIT-IBM Watson AI Lab, IBM Research（MIT-IBM Watson AI实验室，IBM研究） ； Computer Science and Artificial Intelligence Laboratory, MIT（MIT计算机科学与人工智能实验室） ； Institute of Foundation Models, MBZUAI（基础模型研究所，MBZUAI） 纠错

专题命中 推理评测 ：reasoning(abstract)；test-time compute(abstract)；分类 cs.AI、cs.LG

AI总结 Sloth提出一种基于低维潜在技能的LLM缩放定律，通过跨基准相关性提升预测准确性，减少多家族训练需求。

Comments NeurIPS 2025

Chain of Unit-Physics: A Primitive-Centric Approach to Scientific Code Synthesis

单元物理链：一种以基础原理为中心的科学代码合成方法

Vansh Sharma, Venkat Raman

机构 * University of Michigan（密歇根大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出单元物理链框架，通过以基础原理为中心的多代理系统，有效解决科学代码生成中的可靠性问题，实现高精度和高效能的代码生成。

Step-Audio-R1 Technical Report

Step-Audio-R1 技术报告

Fei Tian, Xiangyu Tony Zhang, Yuxin Zhang, Haoyang Zhang, Yuxin Li, Daijiao Liu, Yayue Deng, Donghang Wu, Jun Chen, Liang Zhao, Chengyuan Yao, Hexin Liu, Eng Siong Chng, Xuerui Yang, Xiangyu Zhang, Daxin Jiang, Gang Yu

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 Step-Audio-R1 是首个实现音频领域推理能力的模型，通过MGRD框架生成基于声音特征的推理链，超越Gemini 2.5 Pro并达到Gemini 3 Pro水平。

Comments 22 pages, 5 figures. Technical Report

UMB@PerAnsSumm 2025: Enhancing Perspective-Aware Summarization with Prompt Optimization and Supervised Fine-Tuning

UMB@PerAnsSumm 2025: 通过提示优化和监督微调增强视角感知摘要

Kristin Qi, Youxiang Zhu, Xiaohui Liang

机构 * Department of Computer Science, University of Massachusetts Boston（计算机科学系，马萨诸塞大学波士顿分校） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

AI总结 UMB@PerAnsSumm 2025通过提示优化和监督微调提升视角感知摘要质量，结合关键词和引导信息优化摘要生成过程。

Comments CL4HEALTH NAACL: Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics

PsychiatryBench: A Multi-Task Benchmark for LLMs in Psychiatry

PsychiatryBench: 一个面向心理治疗的多任务基准测试

Aya E. Fouda, Abdelrahamn A. Hassan, Radwa J. Hanafy, Mohammed E. Fouda

机构 * Compumacy for Artificial Intelligence solutions（人工智能解决方案公司） ； Department of Behavioural Health- Saint Elizabeths Hospital（行为健康部门-圣伊丽莎白医院） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.AI

AI总结 PsychiatryBench通过权威教科书和病例书构建多任务基准，评估LLMs在心理治疗中的临床一致性与安全性，揭示模型在多轮随访等任务中的不足，推动专门调优和更严谨的评估方法。

PustakAI: Curriculum-Aligned and Interactive Textbooks Using Large Language Models

Shivam Sharma, Riya Naik, Tejas Gawas, Heramb Patil, Kunal Korgaonkar

机构 * Department of Computer Science and Information Systems（计算机科学与信息系统系） 纠错

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

BanglaNirTox: A Large-scale Parallel Corpus for Explainable AI in Bengali Text Detoxification

Ayesha Afroza Mohsin, Mashrur Ahsan, Nafisa Maliyat, Shanta Maria, Syed Rifat Raiyan, Hasan Mahmud, Md Kamrul Hasan

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Comments Under review, 6 pages, 1 figure, 2 tables

Evaluating Large Language Models for Stance Detection on Financial Targets from SEC Filing Reports and Earnings Call Transcripts

Nikesh Gyawali, Doina Caragea, Alex Vasenkov, Cornelia Caragea

机构 * Kansas State University（堪萨斯州立大学） ； Department of Computer Science（计算机科学系） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Pico-Banana-400K: A Large-Scale Dataset for Text-Guided Image Editing

Yusu Qian, Eli Bocek-Rivele, Liangchen Song, Jialing Tong, Yinfei Yang, Jiasen Lu, Wenze Hu, Zhe Gan

机构 * Apple（苹果公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.CL、cs.LG

Few-Label Multimodal Modeling of SNP Variants and ECG Phenotypes Using Large Language Models for Cardiovascular Risk Stratification

Niranjana Arun Menon, Yulong Li, Iqra Farooq, Sara Ahmed, Muhammad Awais, Imran Razzak

机构 * University of New South Wales, Australia（新南威尔士大学，澳大利亚） ； University of Surrey, United Kingdom（萨里大学，英国） ； Mohamed bin Zayed University of Artificial Intelligence, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋） 纠错

专题命中 推理评测 ：reasoning(abstract)；CoT(abstract)；分类 cs.AI、cs.LG