大模型推理能力

Benchmarking Frontier LLMs on Arabic Cultural and Sociolinguistic Knowledge: A Cross-Evaluation Framework with Human SME Ground Truth

前沿大语言模型在阿拉伯文化与社会语言学知识上的基准测试：基于人类专家真实标注的交叉评估框架

Sajjad Abdoli, Ghassan Al-Sumaidaee, Ahmad ElShiekh, Clayton W. Taylor, Ahmed Rashad

机构 * Perle AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出一个交叉评估框架，通过人类专家标注的103个提示-评分标准对，评估前沿LLM在埃及和伊拉克阿拉伯语文化与社会语言学知识上的表现，发现GPT-5.4是最可靠的自动评判者，文化任务比语言任务更难评分，且模型在埃及提示上表现优于伊拉克提示。

MetaSyn: A Benchmark for LLM Agents on Meta-Analysis Articles from Nature Portfolio

对Nature Portfolio元分析文章进行LLM代理基准测试

Anzhe Xie, Weihang Su, Yujia Zhou, Yiqun Liu, Min Zhang, Qingyao Ai

机构 * Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出MetaSyn数据集，包含442篇专家策划的元分析，用于评估LLM代理在检索-筛选-综合全流程中的表现，发现当前系统在筛选阶段存在严重瓶颈。

Comments 17 pages, 8 figures, 11 tables. Code and evaluation: https://github.com/THUIR/MetaSyn Dataset: https://huggingface.co/datasets/THUIR/MetaSyn Model: https://huggingface.co/BFTree/MA-Retriever

Think-Before-Speak: From Internal Evaluation to Public Expression in Multi-Agent Social Simulation

Think-Before-Speak: 从内部评估到多智能体社会模拟中的公开表达

Kaiqi Yang, Tai-Quan Peng, Sanguk Lee, Hui Liu

机构 * Michigan State University（密歇根州立大学） ； Hankuk University of Foreign Studies（韩国民法大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出TBS框架，通过分离智能体的内部推理与公开话语生成，模拟从内部评估到公开表达的路径，并在气候政策讨论中验证其机制敏感性。

Comments 8 pages of main content, 14 pages including references and appendices, 3 figures. Accepted to the KDD'26 Workshop on SciSoc Agents & LLMs

IRIS: A Real-World Benchmark for Inverse Recovery and Identification of Physical Dynamic Systems from Monocular Video

IRIS：从单目视频进行物理动态系统逆恢复与识别的真实世界基准

Rasul Khanbayov, Mohamed Rayan Barhdadi, Erchin Serpedin, Hasan Kurban

机构 * Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出IRIS基准，包含240个4K/60fps真实视频，覆盖单体和多体动力学，提供真实参数和不确定度，定义标准化评估协议，评估多种基线方法，揭示系统失败模式。

FusionFactory: Fusing LLM Capabilities with Multi-LLM Log Data

FusionFactory: 融合多LLM日志数据中的大语言模型能力

Tao Feng, Haozhen Zhang, Zijie Lei, Pengrui Han, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Nanyang Technological University（南洋理工大学） ； Meta Monetization AI（Meta 变现人工智能） ； NVIDIA（英伟达） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出FusionFactory框架，通过查询级、思维级和模型级融合策略，利用多LLM日志数据提升模型性能，在14个基准测试中均优于最佳单模型。

Journal ref TMLR 2026

As It Was: Aligning LLM Search Evaluation with Historical User Preferences

如其所是：将LLM搜索评估与历史用户偏好对齐

Ali Vardasbi, Gustavo Penha, Enrico Palumbo, Claudia Hauff, Hugues Bouchard, Mounia Lalmas

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出行为锚定的LLM评判器，通过查询-相关性-印象卡引入历史用户交互证据，在音乐搜索评估中提升与用户偏好的斯皮尔曼秩相关约5%，并在多语言数据集上提高15%的相关性。

ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation

ClarifyCodeBench: 评估大语言模型在代码生成中澄清模糊需求的能力

Zheng Fang, Dongming Jin, Yihong dong, Yongmin Li, Kechi Zhang, Zhi Jin, Ge Li

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出ClarifyCodeBench基准，通过人工标注的模糊需求、澄清问题和指标，评估LLMs主动澄清需求的能力，发现代码生成能力与需求澄清能力脱钩，且多模糊场景下性能下降。

Imprint: Online Memory Compression for Long-Horizon Egocentric QA

Imprint: 面向长程自我中心问答的在线记忆压缩

Kousik Das, Debaditya Roy

机构 * IIT, Kharagpur（印度理工学院卡哈拉格普尔分校） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出交互中心记忆框架Imprint，将长程自我中心记忆建模为在线压缩问题，利用人类记忆巩固信号选择性保留和压缩交互，在7天基准上提升QA准确率并大幅降低存储和检索开销。

Retrieved Images as Visual Thought: Training-Free Multimodal In-Context Learning for the Open-vs-Closed Gap

检索图像作为视觉思维：面向开放与封闭差距的无训练多模态上下文学习

Bingchen Huang, Zhiling Wang, Yifu Chen, Yuanchao Du

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出无训练框架ReVisIT，通过检索图像-标签对作为视觉思维单元，结合结构化类定义、多模态检索和交替注入示例，在多个基准上显著提升性能，弥合开放与封闭任务差距。

Comments 12 pages, 6 figures. Includes appendix. Introduces the MAAC-Bench benchmark

Labimus: A Simulation and Benchmark for Humanoid Dexterous Manipulation in Chemical Laboratory

Labimus: 化学实验室中类人灵巧操作的仿真与基准

Yuhan Wu, Zhao Jin, Tao Li, Yuheng Zhang, Zhichao Wang, Shuo Wang, Jun Jiang, Xiaobo Li, Yanyong Zhang, Jian Tang, Zhengping Che, Yan Xia

机构 * University of Science and Technology of China（中国科学技术大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出Labimus，首个针对有机化学实验室中类人灵巧操作的基准，通过真实到仿真建模重建30多个功能资产，定义原子操作和称重流程，揭示任务完成与实验精度之间的差距。

Comments Project page: https://labimus.github.io/

ReShift: Aha-Moment-Driven Reasoning-Level Backdoor Attacks on Vision-Language Models

ReShift: 视觉-语言模型上基于“啊哈时刻”驱动的推理级后门攻击

Zhihao Dou, Qinjian Zhao, Zhiqiang Gao, Sumon Biswas

专题命中 其他推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)

AI总结 提出ReShift框架，通过“啊哈时刻”驱动推理轨迹重定向，结合PRDC管道和SRJO策略实现隐蔽的后门攻击，理论保证熵反弹与轨迹发散的联系。

Comments ECCV 2026

Linguistic Relative Policy Optimization for Video Anomaly Reasoning

语言相对策略优化用于视频异常推理

Jiaxu Leng, Jiankang Zheng, Mengjingcheng Mo, Zhanjie Wu, Haosheng Chen, Ji Gan, Xinbo Gao

机构 * Chongqing College of Artificial Intelligence（重庆人工智能学院） 纠错

专题命中 其他推理 ：reasoning(title,abstract)

AI总结 提出语言相对策略优化（LRPO），通过从多个推理轨迹中提取群体相对语义优势，构建语言表达的异常经验先验，无需参数更新即可引导模型输出，在无调参设置下显著超越现有方法。

Comments Accepted at ICML 2026; 18 pages, 8 figures, 9 tables

Information-Regularized Attention for Visual-Centric Reasoning

信息正则化注意力用于以视觉为中心的推理

Guohao Sun, Xiaofang Wang, Yash Patel, Mengchen Liu, Zhiqiang Tao, Praveen Krishnan

机构 * FAIR at Meta（Meta 的 FAIR 部门） ； Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 其他推理 ：reasoning(title)；分类 cs.LG

AI总结 针对视觉语言模型中的对象幻觉、视觉基础弱和灾难性遗忘问题，提出信息正则化注意力机制，通过随机注意力显式调控视觉信息注入，改善表示学习稳定性。

Comments Accepted by ECCV 2026

A Mechanistic View of Authority Hierarchy in LLM Sycophancy

LLM 谄媚中权威层级的机制性视角

Emil Joswin, Srujananjali Medicherla, Priyanka Mary Mammen

机构 * Independent Research（独立研究） 纠错

专题命中 其他推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

AI总结 通过受控医疗QA实验，发现LLM按感知权威程度分级响应，机制是特定后期层中正确答案表征被权威信号主动擦除，且该擦除与权威水平成比例、抵抗均值向量干预、仅部分可逆。

CausalMix: Data Mixture as Causal Inference for Language Model Training

CausalMix: 数据混合作为语言模型训练的因果推断

Zinan Tang, Yukun Zhang, Shaomian Zheng, Zhuoshi Pan, Qizhi Pei, Dingnan Jin, Jun Zhou, Yujun Wang, Biqing Huang

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） ； Renmin University of China（中国人民大学） 纠错

专题命中 其他推理 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CausalMix框架，将数据混合优化视为因果推断问题，通过条件平均处理效应估计最优混合比例，在7B模型上提升多任务性能，并具备可解释性。

Comments 22 pages, 3 figures

Shapley in Context: Explaining Financial Language with Domain Expertise

语境中的Shapley：利用领域专业知识解释金融语言

Dangxing Chen, Pengzhan Guo

机构 * Zu Chongzhi Center, Duke Kunshan University（杜克昆山大学祖冲之中心） ； Digital Innovation Research Center, Duke Kunshan University（杜克昆山大学数字创新研究中心） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

AI总结 研究Shapley值在大型语言模型金融文本解释中的适用性，通过理论分析和实验验证其与金融领域知识的一致性。

Comments European Journal of Finance

Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use

智能体能否泛化到开放世界？揭示工具使用中静态训练的脆弱性

Song-Lin Lv, Weiming Wu, Rui Zhu, Zi-Jian Cheng, Lan-Zhe Guo

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 针对LLM智能体在真实场景中因查询、工具集和交互动态变化而性能下降的问题，形式化定义了开放世界工具使用问题，构建了四层层次的环境偏移框架，并通过实验揭示了监督微调和强化学习训练智能体在面对开放环境偏移时的脆弱性，提出了扰动增强微调策略以提升鲁棒性。

Comments Accepted by ICML 2026

Exploring the Semantic Gap in Agentic Data Systems: A Formative Study of Operationalization Failures in Analytical Workflows

探索智能体数据系统中的语义鸿沟：分析工作流中操作化失败的形成性研究

Jalal Mahmud, Eser Kandogan

机构 * Megagon Labs（Megagon实验室） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究通过跨领域分析236个分析意图，识别出153种反复出现的操作化失败，归纳为五类语义鸿沟，揭示用户分析概念与系统可用信息之间的差距，并提出未来智能体数据系统需要更丰富的语义表示。

Comparing Large Language Models on Scrum Certification-Style Questions: Accuracy, Stability, and Error Patterns

在Scrum认证风格问题上比较大型语言模型：准确性、稳定性和错误模式

Robson Alves Vilar, Emanuel Dantas Filho, Ademar França de Sousa Neto, Mirko Perkusich, Danyllo Wagner Albuquerque, João Paiva, Kyller Gorgônio, Angelo Perkusich

专题命中 其他推理 ：chain-of-thought(abstract)；分类 cs.AI

AI总结 评估GPT-5 mini、Gemini 3 Flash和DeepSeek Chat 3.2在993个Scrum认证问题上的表现，发现模型间差异显著，Gemini 3 Flash准确率最高，错误模式具有系统性。

ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces

ZO-Act: 通过一次性激活信息低秩子空间实现高效零阶微调

Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

机构 * University at Albany, SUNY（纽约州立大学奥尔巴尼分校） ； IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.LG

AI总结 提出ZO-Act方法，利用输入激活构建固定低秩子空间，仅优化系数矩阵，降低扰动维度并支持Adam优化器，实现高效零阶微调，在多个LLM上取得一致提升。

SlowBA: An efficiency backdoor attack towards VLM-based GUI agents

SlowBA：针对基于VLM的GUI代理的高效后门攻击

Junxian Li, Tu Lan, Haozhen Tan, Yan Meng, Haojin Zhu

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院） 纠错

专题命中 其他推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出SlowBA后门攻击，通过强化学习注入触发模式，诱导VLM-based GUI代理产生冗长推理链，显著增加响应延迟，同时保持任务准确性。

Comments Accepted by ECCV 2026. Codes and supplementary materials are in https://github.com/tu-tuing/SlowBA

RepoRescue: An Empirical Study of LLM Agents on Whole-Repository Compatibility Rescue

RepoRescue: LLM智能体在全仓库兼容性修复上的实证研究

Zhihao Lin, Mingyi Zhou, Zhensu Sun, Yizhuo Yang, Renyu Yang, David Lo, Li Li

专题命中 其他推理 ：reasoning(abstract)

AI总结 研究LLM智能体能否自动修复因环境演化而失效的旧仓库，提出RepoRescue基准，包含315个仓库，评估多种智能体系统，发现跨文件协调是主要难点，且系统间互补性显著。

Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs

醒来触摸！多模态大语言模型中的掩码隔离触觉对齐学习

Yoonhyung Park, Minji Kim, Sungwon Moon, Jiyoung Lee

机构 * Division of Artificial Intelligence & Software（人工智能与软件系） 纠错

专题命中 其他推理 ：reasoning(abstract)

AI总结 提出Splash框架，通过参数空间划分（休眠/关键子空间）实现非破坏性触觉模态扩展，在不增加推理开销下保持视觉语言能力，在触觉基准上达到SOTA。

Comments ECCV 2026, Project page: http://mmai.ewha.ac.kr/splash/

RF-HiT: Rectified Flow Hierarchical Transformer for General Medical Image Segmentation

RF-HiT：校正流分层变换器用于通用医学图像分割

Ahmed Marouane Djouamaa, Abir Belaala, Abdellah Zakaria Sellam, Salah Eddine Bekhouche, Cosimo Distante, Abdenour Hadid

机构 * Computer Science department Mohamed Khider University Biskra, Algeria ； ISASI, CNR \& University of Salento 73100 Lecce, Italy ； AI University of the Basque Country (UPV/EHU), Spain ； Sorbonne Center for Artificial Intelligence, Sorbonne University Abu Dhabi, UAE 纠错

专题命中 其他推理 ：reasoning(abstract)

AI总结 RF-HiT通过整合hourglass变换器骨干和多尺度分层编码器，实现高效的医学图像分割，在保持精度的同时提升效率，达到91.27%的Dice系数。