大模型推理能力

SAHM: A Benchmark for Arabic Financial and Shari'ah-Compliant Reasoning

SAHM：阿拉伯语金融与伊斯兰合规推理的基准

Rania Elbadry, Sarfraz Ahmad, Ahmed Heakl, Dani Bouch, Momina Ahsan, Muhra AlMahri, Marwa Elsaid khalil, Yuxia Wang, Salem Lahlou, Sophia Ananiadou, Veselin Stoyanov, Jimin Huang, Xueqing Peng, Preslav Nakov, Zhuohan Xie

机构 * MBZUAI ； INSAIT, Sofia University "St. Kliment Ohridski"（INSAIT，索菲亚大学"圣克莱门特·欧赫里迪斯"） ； The University of Manchester（曼彻斯特大学） ； The Fin AI（Fin AI） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SAHM基准，涵盖七个任务，包含14380个专家验证实例，评估20个LLM发现阿拉伯语流畅性不等于金融推理能力，特别是在事件因果推理上存在显著差距。

Comments 29 page

Journal ref ACL 2026

State Stream Transformer (SST) V2: Parallel Training of Nonlinear Recurrence for Latent Space Reasoning

状态流变换器（SST）V2：通过非线性递归实现潜在空间推理的并行训练

Thea Aviss

机构 * Fifth Dimension（第五维度） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 SST V2通过在解码器层中引入FFN驱动的非线性递归，实现连续潜在空间中的参数高效推理，利用学习融合在完整序列中水平流式传输潜在状态，并通过双阶段并行训练解决递归的序列依赖性，提升推理能力。

Comments 48 pages, 21 figures

Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics

用法律问题树准则评估法律推理轨迹

Jinu Lee, Kyoung-Woon On, Simeng Han, Arman Cohan, Julia Hockenmaier

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； LBOX ； Stanford（斯坦福） ； Yale（耶鲁） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出 LEGIT 数据集，用于评估 LLM 在法律领域推理轨迹的质量，发现法律问题覆盖度和正确性影响 LLM 推理能力，RAG 和带准则的 RL 分别提升整体能力与正确性。

Comments ACL 2026 Main Conference

InterChart: Benchmarking Visual Reasoning Across Decomposed and Distributed Chart Information

InterChart：跨分解与分布式图表信息的基准测试

Anirudh Iyengar Kaniyar Narayana Iyengar, Srija Mukhopadhyay, Adnan Qidwai, Shubhankar Singh, Dan Roth, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） ； IIIT, Hyderabad（海得拉巴印度理工学院） ； Mercer Mettl University（梅森-梅特尔大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 InterChart通过评估视觉语言模型在多图表间推理的能力，揭示了模型在复杂图表集成中的局限性，推动多模态推理的发展。

Comments 22 pages, 8 figures, 14 tables. Accepted at IJCNLP-AACL 2025

Journal ref Proceedings of the 14th International Joint Conference on Natural Language Processing and the 4th Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics 2025, 2046-2067

Social Bias in LLM-Generated Code: Benchmark and Mitigation

LLM生成代码中的社会偏见：基准测试与缓解

Fazle Rabbi, Lin Ling, Song Wang, Jinqiu Yang

机构 * Concordia University（康科德大学） ； Lassonde School of Engineering, York University（York大学工程学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 本文研究LLM生成代码中的社会偏见问题，通过SocialBias-Bench基准测试发现四种主流模型存在严重偏见，提出Fairness Monitor Agent (FMA)有效降低偏见并提升代码正确性。

SynQuE: Estimating Synthetic Dataset Quality Without Annotations

SynQuE：无需标注即可估计合成数据集质量

Arthur Chen, Victor Zhong

机构 * David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.LG

AI总结 本文提出SynQuE问题，通过有限未标注真实数据对合成数据集进行排序，以提升实际任务性能。引入首个综合基准，提出LENS等代理指标，显著提升复杂任务性能。

Comments Our code and dataset are available here: https://github.com/r2llab/SynQuE

ViLegalNLI: Natural Language Inference for Vietnamese Legal Texts

ViLegalNLI：越南法律文本的自然语言推理

Nhung Thi-Hong Duong, Mai Ngoc Ho, Tin Van Huynh, Kiet Van Nguyen

机构 * University of Information Technology（信息技术大学） ； Vietnam National University（越南国家大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ViLegalNLI，首个针对法律领域构建的越南语自然语言推理数据集，包含42,012个前提-假设对，涵盖多种法律领域，用于评估法律推理的结构逻辑与术语一致性。

Comments 33 pages, 17 figures

Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference

Token Arena：一个统一能量与认知的连续基准测试

Yuxuan Gao, Megan Wang, Yi Ling Yu

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Columbia University（哥伦比亚大学） ； OpenMesh AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 Token Arena通过端到端的五个核心维度评估AI推理性能，结合能耗和价格指标，揭示不同端点对模型准确性和效率的影响，提供更真实的推理评估标准。

Comments 14 pages, 1 figure, 8 tables

CaTS-Bench: Can Language Models Describe Time Series?

CaTS-Bench：语言模型能否描述时间序列？

Luca Zhou, Pratham Yashwante, Marshall Fisher, Alessio Sampieri, Zihao Zhou, Fabio Galasso, Rose Yu

机构 * Sapienza University of Rome（罗马大学） ； UC San Diego（圣地亚哥大学） ； ItalAI Labs（意大利AI实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CaTS-Bench，一个涵盖11个领域的时间序列推理基准，通过1746个人工重写描述进行评估，揭示语言模型在时间序列描述中的不足，并提出合成数据生成方法以提升性能。

Comments 9 pages, 6 figures, 4 tables in the main paper. Many more in the appendix

Generating Statistical Charts with Validation-Driven LLM Workflows

通过验证驱动的LLM工作流生成统计图表

Pavlin G. Poličar, Andraž Pevcin, Blaž Zupan

机构 * University of Ljubljana Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出一种结构化的LLM工作流，通过验证输出来生成多样且易读的统计图表，解决可视化特有的失败模式，如可读性和语义不匹配。

WildfireVLM: AI-powered Analysis for Early Wildfire Detection and Risk Assessment Using Satellite Imagery

WildfireVLM：基于卫星影像的AI分析用于早期野火检测与风险评估

Aydin Ayanzadeh, Prakhar Dixit, Sadia Kamal, Milton Halem

机构 * Department of Computer Science and Electrical Engineering（计算机科学与电气工程系） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 WildfireVLM结合卫星影像检测与语言驱动的风险评估，利用YOLOv12检测火区与烟雾，并通过多模态大语言模型生成风险评估和应急响应建议，验证其有效性并实现实时处理与长期追踪。

BanglaSocialBench: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction

BanglaSocialBench: 一个评估大语言模型在孟加拉社会互动中社会语用和文化对齐的基准

Tanvir Ahmed Sijan, S. M Golam Rifat, Pankaj Chowdhury Partha, Md. Tanjeed Islam, Md. Musfique Anwar

机构 * Jahangirnagar University（贾亨吉尔纳加尔大学） ； Rajshahi University of Engineering & Technology（拉贾沙希工程与技术大学） ； Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出BanglaSocialBench，通过情境依赖的语言使用评估孟加拉语的社会语用能力，发现当前LLM在文化对齐上存在系统性偏差。

Comments Accepted at ACL SRW 2026

High-Speed Vision Improves Zero-Shot Semantic Understanding of Human Actions

高速视觉提升人类动作的零样本语义理解

Yongpeng Cao, Yuji Yamakawa

机构 * Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所） ； Interfaculty Initiative in Information Studies, Graduate School of Interdisciplinary Information Studies, The University of Tokyo（东京大学跨学科信息研究 graduate school） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文研究高速视觉对人类动作零样本语义理解的影响，提出无需训练的管道结合预训练视频-语言模型与大语言模型进行动作比较，实验显示高帧率提升语义分离度，验证了高速感知对语义理解的重要性。

CUJBench: Benchmarking LLM-Agent on Cross-Modal Failure Diagnosis from Browser to Backend

CUJBench：跨模态故障诊断的LLM-代理基准测试

Haoming Meng

专题命中 推理评测 ：reasoning(abstract)

AI总结 CUJBench是首个结合浏览器可见故障证据与后端可观测性的跨模态故障诊断基准测试，通过LLM辅助生成管道降低标注成本，评估六种前沿模型发现跨模态综合是主要瓶颈。

Comments 10 pages, 1 figure; updated source code url

SoK: Security of Autonomous LLM Agents in Agentic Commerce

SoK：自主大语言模型代理在代理商业中的安全性

Qian'ang Mao, Jiaxin Wang, Ya Liu, Li Zhu, Cong Ma, Jiaqi Yan

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文系统分析了自主LLM代理在商业中的安全问题，提出统一的安全框架，识别12种跨层攻击向量，并提出分层防御架构以解决现有协议的授权漏洞。