语言大模型 / LLM

TSAQA: Time Series Analysis Question And Answering Benchmark

TSAQA：时间序列分析问答基准

Baoyu Jing, Sanhorn Chen, Lecheng Zheng, Boyu Liu, Zihao Li, Jiaru Zou, Tianxin Wei, Zhining Liu, Zhichen Zeng, Ruizhong Qiu, Xiao Lin, Yuchen Yan, Dongqi Fu, Jingchao Ni, Jingrui He, Hanghang Tong

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Virginia Polytechnic Institute and State University（弗吉尼亚理工学院和州立大学） ； Amazon（亚马逊） ； Meta AI ； University of Houston（休斯顿大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 提出TSAQA基准，涵盖6种时间序列分析任务（含新型PZ格式），评估LLM在13领域21万样本上的表现，最佳模型仅65.08分。

Comments Comments: 35 pages, 7 figures. Accepted to the GEM Workshop at ACL 2026

Do LLM Recommenders Know When They're Hallucinating? Auditing Confidence Calibration in Catalog Faithfulness

大语言模型推荐系统是否知道自己在产生幻觉？针对目录保真度的置信度校准审计

Srijith Ravikumar

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.LG

AI总结 该研究审计了四个零样本LLM推荐系统的幻觉率与置信度校准，发现其系统性置信不足，提出conformal弃权阈值效果有限，建议审计需同时报告校准与OOD率并采用锚定目录的提示。

LLM-Powered Automatic Translation and Urgency in Crisis Scenarios

基于大型语言模型的自动翻译与危机场景中的紧急性

Belu Ticona, Antonis Anastasopoulos

机构 * George Mason University（乔治·马歇尔大学） ； George Mason University – Archimedes AI Research Unit（乔治·马歇尔大学阿基米德人工智能研究单元） ； Athena RC, Greece（雅典RC，希腊） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了大型语言模型在危机场景中翻译的性能，发现其在保持紧急性方面存在显著缺陷，强调了对危机通信技术的特殊评估需求。

Comments Accepted to ISCRAM 2026

Auditing Automated Evaluation, Error Propagation, and Runtime Mitigation in Tool-Using Language Agents

评估工具使用语言代理：裁判可靠性、错误传播和运行时缓解在AgentProp-Bench中

Bhaskar Gurram

机构 * Zasti Inc.（Zasti公司） 纠错

专题命中 评测与基准 ：language agent(title)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文通过AgentProp-Bench评估工具使用语言代理的可靠性，发现基于子字符串的裁判与人类标注一致性较低，但三模型集成能提高一致性，同时发现参数注入导致错误传播的概率较高，运行时拦截器在GPT-4o-mini上有效减少幻觉，但对Gemini-2.0-Flash无显著影响。

Comments 11 pages, 4 figures, 8 tables. Code and data: https://github.com/bhaskargurram-ai/agenthallu-bench

Safeguarding LLM Agents from Misalignment through Provenance Analysis

通过溯源分析保护LLM智能体免受失调影响

Yining She, Yiliang Liang, Eunsuk Kang

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出基于溯源分析的ProvenanceGuard框架，通过多阶段流水线检测工具调用前的三种失调类型，在Agent-SafetyBench和WorkBench上显著降低失调错误率并减少不必要的干预。

Beyond Questions: Evaluating LLM's Knowledge Expression

超越问题：评估大型语言模型（实际）知道什么

Luca Giordano, Simon Razniewski

机构 * ScaDS.AI Dresden/Leipzig & TU Dresden, Germany（ScaDS.AI 德尔布兰德/莱比锡及德累斯顿技术大学，德国） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出开放知识评估新范式，通过开放式提示（如“告诉我关于M.L. King的一切”）评估模型自然表达的知识，并构建BeQu基准测试10,000个实体。

In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores

针对LLM公平性的在 situ 行为评估，而非标准化测试分数

Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出MAC-Fairness框架，通过多轮对话评估模型在不同身份下的行为变化，揭示稳定的行为特征，超越传统标准化测试的局限。

Comments Accepted to COLM 2026

Prompt Framing Distorts Count Based Evaluation of LLM Error Detection: Evidence from Numeric Anchoring

提示框架扭曲了基于计数的LLM错误检测评估：来自数字锚定的证据

Dekun Yang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文发现基于计数的F1分数可能因提示中的数字锚定而虚高，与跨度定位能力脱节，提出ErrorBench压力测试协议，并建议评估时应避免预置错误计数并报告跨度感知指标。

Comments 15 pages, 6 figures, 12 tables. Preprint under review

BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation

BERT-as-a-Judge: 一种更稳健的替代方法，用于高效参考基于的大语言模型评估

Hippolyte Gisserot-Boukhlef, Nicolas Boizard, Emmanuel Malherbe, Céline Hudelot, Pierre Colombo

机构 * Artefact Research Center（Artefact 研究中心） ； Diabolocom ； Cohere 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出BERT-as-a-Judge，通过编码器驱动的方法评估参考基于的生成结果，克服了传统词汇方法的局限，提供高效且可靠的评估方案。

MASLab: A Unified and Comprehensive Codebase for LLM-based Multi-Agent Systems

MASLab：基于LLM的多智能体系统的统一全面代码库

Rui Ye, Keduan Huang, Qimin Wu, Yuzhu Cai, Tian Jin, Xianghe Pang, Xiangrui Liu, Jiaqi Su, Chen Qian, Bohan Tang, Kaiqu Liang, Jiaao Chen, Yue Hu, Zhenfei Yin, Rongye Shi, Bo An, Yang Gao, Wenjun Wu, Lei Bai, Siheng Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Oxford（牛津大学） ； Princeton University（普林斯顿大学） ； Meta ； University of Michigan（密歇根大学） ； The University of Sydney（悉尼大学） ； Beihang University（北航） ； Nanyang Technological University（南洋理工大学） ； Nanjing University（南京大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出MASLab代码库，集成20余种方法，提供统一环境与标准化评估，降低研究门槛，覆盖10+基准测试和8种模型。

Comments 18 pages, 11 figures

Robust Checkpoint Selection for Multimodal LLMs via Agentic Evaluation and Stability-Aware Ranking

通过代理评估和稳定性感知排名实现多模态大语言模型的鲁棒检查点选择

Qinwu Xu, Zhuoheng Li, Jessie Salas

机构 * Meta AI 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种多阶段框架，结合了精心挑选的现实世界数据、结构化的LLM判断和多阶段排名协议，以解决多模态大语言模型检查点选择中的鲁棒决策问题，强调数据质量（特别是OCR可读性）对评估有效性的重要性。

A Closer Look at Dynamic Scene Graph Generation In the Era of Multimodal Large Language Models

多模态大语言模型时代的动态场景图生成研究

Xuanming Cui, Jaiminkumar Ashokbhai Bhoi, Chionh Wei Peng, Adriel Kuek, Ser Nam Lim

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本研究针对多模态大语言模型时代动态场景图生成的局限，从任务设置优化评估指标、基于MLLM改进模型设计，在多个数据集上实现了最优性能。

When Reasoning Hurts: Source-Aware Evaluation of Frontier LLMs for Clinical SOAP Note Generation

当推理有害：面向临床SOAP笔记生成的前沿LLM源感知评估

Faizan Faisal

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过源感知基准测试，评估推理增强型LLM在临床SOAP笔记生成中的表现，发现推理能力反而降低GPT-5.4的质量，而相同源RAG带来模型依赖的小幅提升。

MoHallBench: A Benchmark for Motion Hallucination in Video Large Language Models

MoHallBench: 视频大语言模型中运动幻觉的基准测试

Sihan Chen, Jiale Li, Jianghang Lin, Mengyuan Liu

机构 * Xiamen University（厦门大学） ； South China University of Technology（华南理工大学） ； Peking University（北京大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出MoHallBench基准，系统评估视频大语言模型中的运动幻觉，涵盖共现先验、顺序推理和相似混淆三类来源，揭示动作识别与幻觉抵抗的解耦现象。

Comments 19 pages, 5 figures

Bilingual Bias in Large Language Models: A Taiwan Sovereignty Benchmark Study

大语言模型中的双语偏差：一项台湾主权基准研究

Ju-Chun Ko

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究大语言模型在多语言环境下对政治敏感话题的语言一致性，通过对17个模型进行双语基准测试，发现显著语言偏差，提出量化指标并开源框架。

Comments 19 pages, 4 tables, benchmark code available at https://github.com/dAAAb/ai-taiwan-sovereignty-benchmark-pro

Risk Assessment and Security Analysis of Large Language Models

大语言模型的风险评估与安全分析

Xiaoyan Zhang, Dongyang Lyu, Xiaoqi Li

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 针对大语言模型在关键应用场景的安全问题，设计动态风险评估系统与分层防御系统，用熵加权计算多指标，结合多种技术，能识别隐蔽攻击并快速评估风险。

Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied Brain

Robobench：作为具身大脑的多模态大语言模型的综合评估基准

Yulin Luo, Chun-Kai Fan, Menghang Dong, Jiayu Shi, Xiangju Mi, Mengdi Zhao, Bo-Wen Zhang, Cheng Chi, Jiaming Liu, Gaole Dai, Rongyu Zhang, Ruichuan An, Kun Wu, Zhengping Che, Shaoxuan Xie, Guocai Yao, Zhongxia Zhao, Pengwei Wang, Guang Liu, Zhongyuan Wang, Tiejun Huang, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息多媒体国家重点实验室，计算机学院，北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute for Brain and Intelligence, Fudan University（脑与智能研究院，复旦大学） ； University of Science and Technology Beijing（北京科技大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究针对在动态非结构化环境中构建能感知、推理和行动的机器人的挑战，介绍RoboBench基准，涵盖多维度、多任务等，能评估多模态大语言模型，揭示其局限性并分析与下游控制关系，为量化高级认知提供支架。

Comments ECCV 2026 Camera Ready

Application of Large Language Models in Automated Question Generation: A Case Study on ChatGLM's Structured Questions for National Teacher Certification Exams

大语言模型在自动问题生成中的应用：以ChatGLM生成国家教师资格考试结构化问题为例

Ling He, Yanxin Chen, Xiaoqiang Hu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究探索ChatGLM在自动生成国家教师资格考试结构化问题中的应用，通过提示工程生成模拟题并与真题对比，专家评估显示其合理性与实用性高，但多标准考量存在局限。

Comments We are withdrawing this version as the submission was made prior to the completion of full internal coordination among all co-authors. To ensure consistency and avoid any potential misinterpretation, we have decided to withdraw the manuscript and leave it archived as a preprint record only

When Do Anchor-Based Pointwise LLM Rerankers Help? Retriever Quality, Statistical Scope, and Anchor Design

基于锚点的点式大语言模型重排序器何时有用？检索器质量、统计范围与锚点设计

Utshab Kumar Ghosh, Shubham Chatterjee

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 该研究以GCCP/PAGC为对象，复现并分析锚点式点式LLM重排序器，发现其增益源于对比打分，适用条件较窄，锚点构建可简化，检索器强度影响其效果。

Comments To be published in the 35th ACM International Conference on Information and Knowledge Management (CIKM 2026)

The Hidden Puppet Master: Predicting Human Belief Change in Manipulative LLM Dialogues

隐藏的提线人：预测操纵性大语言模型对话中的人类信念变化

Jocelyn Shen, Amina Luvsanchultem, Jessica Kim, Kynnedy Smith, Valdemar Danry, Kantwon Rogers, Hae Won Park, Maarten Sap, Cynthia Breazeal

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 本文提出PUPPET框架，通过分析1035个人类与LLM交互数据，揭示当前安全范式在检测操纵策略与信念变化幅度之间的关键断层，证明先进LLM对人类信念易感性的系统低估。

Comments Accepted to COLM 2026

FoR-SALE: Frame of Reference-guided Spatial Adjustment in LLM-based Diffusion Editing

FoR-SALE：基于参考坐标系引导的LLM驱动扩散编辑中的空间调整

Tanawan Premsri, Parisa Kordjamshidi

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Michigan State University（密歇根州立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 FoR-SALE是SLD的扩展，通过参考坐标系引导的潜在空间操作调整图像朝向与深度，在三个空间理解基准上仅单轮校正就将SOTA T2I模型性能提升最高7.0个百分点，解决了非相机视角空间表达的生成偏差问题。

Comments Published in COLM 2026. 10 main pages, 4 tables, 4 figures

READER: Dynamic LLM Provenance from Query-Varying Interactions

READER: 基于提取表示的鲁棒证据作者身份解码

Jiaxu Liu, Sunnan Mu, Dong Huang, Liuyin Wang, Jing Shao, Jie Zhang

机构 * National University of Singapore（新加坡国立大学） ； Xidian University（西安电子科技大学） ； Tsinghua University（清华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 针对黑盒LLM来源识别问题，提出READER框架，通过冻结代理LLM读取隐藏作者证据，利用贝叶斯证据累积实现多查询归因，在Agent500数据集上显著优于基线方法。

FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use

FinToolBench：评估LLM代理在真实金融工具使用中的表现

Jiaxuan Lu, Kong Wang, Yemin Wang, Qingmei Tang, Hongwei Zeng, Xiang Chen, Jiahao Pi, Shujian Deng, Lingzhi Chen, Yi Fu, Kehua Yang, Xiao Sun

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Hunan University（湖南大学） ； Xiamen University（厦门大学） ； Tencent（腾讯） ； UCAS（中国科学技术大学） ； Tongji University（同济大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 FinToolBench是首个评估金融工具学习代理真实世界表现的基准，通过760个可执行金融工具和295个严格查询，评估时效性、意图类型和合规性等关键维度。

Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why

LLM作为评判者的评估一致性指标：报告什么及为什么

Delip Rao, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文通过调查24篇近期论文，指出在二元评判标准下多数一致性指标冗余，强调Cohen's κ提供额外信息，并给出报告清单。

Comments 17 pages, 4 figures; arxiv ancillary files included

Tailored untruths: How personalisation challenges LLM safeguards

量身定制的虚假信息：个性化如何挑战大语言模型的安全防护

João A. Leite, João Luz, Silvia Gargova, Arnav Arora, Gustavo Sampaio, Ian Roberts, Carolina Scarton, Kalina Bontcheva

机构 * University of Sheffield（谢菲尔德大学） ； University of Copenhagen（哥本哈根大学） ； Big Data for Smart Society Institute (GATE)（大数据智能社会研究所（GATE）） ； University of São Paulo（圣保罗大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究LLMs针对特定角色生成虚假信息的情况，采用红队测试方法创建数据集，发现安全防护在多数情况下失效，各模型能有效定制输出，还揭示了特定语言和心理模式及安全防护有效性差异，凸显加强多语言安全防护的必要。

When LLMs Over-Answer: Measuring and Mitigating Quality Issues in LLM-Based Hardware Description Language Question Answering

当大语言模型过度回答时：测量和缓解基于大语言模型的硬件描述语言问答中的质量问题

Ziteng Hu, Jiachi Chen, Wenhao Lv, Huan Zhang, Yingjie Xia

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究基于大语言模型的硬件描述语言问答质量问题，收集相关问答帖子构建数据集并开展用户研究，发现LLMs存在过度回答倾向。据此提出多智能体框架，用特定指标评估答案质量，该框架有效提升了主流LLMs的回答质量。

Foundation Models for Credit Risk Prediction: A Game Changer?

信贷风险预测的基础模型：变革性突破？

Bart Baesens, Andreas Goethals, Stefan Lessmann, Simon De Vos, Cristián Bravo, David Martens, Victor Medina-Olivares, Christophe Mues, Maria Oskarsdóttir, Seppe vanden Broucke, Tony Van Gestel, Tim Verdonck, Wouter Verbeke

机构 * Faculty of Economics and Business, KU Leuven, Belgium（比利时库勒万大学经济与商业学院） ； School of Business and Economics, Humboldt University of Berlin, Germany（德国洪堡大学商学院） ； Department of Statistical and Actuarial Sciences, Western University, Canada（加拿大西部大学统计与精算科学系） ； Department of Engineering Management, University of Antwerp, Belgium（比利时安特卫普大学工程管理系） ； Business School, University of Edinburgh, United Kingdom（英国爱丁堡大学商学院） ； Business School, University of Southampton, United Kingdom（英国南安普顿大学商学院） ； School of Mathematical Sciences, University of Southampton, United Kingdom（英国南安普顿大学数学科学学院） ； Department of Business Informatics and Operations Management, Ghent University, Belgium（比利时根特大学商业信息与运营管理系） ； Department of Mathematics, University of Antwerp, Belgium（比利时安特卫普大学数学系） ； Department of Mathematics, KU Leuven, Belgium（比利时库勒万大学数学系） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文研究了信贷风险预测中基础模型的应用，探讨了其在小数据环境下提升预测性能的能力，并通过对比多种方法验证了基础模型在PD和LGD建模任务中的优越性。

FairCoder: Probing LLM Bias in High-Stakes Decision Making via Coding Tasks

FairCoder：通过编码任务探究高风险决策中语言模型的偏差

Yongkang Du, Jen-tse Huang, Jieyu Zhao, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； University of Southern California（南加州大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究通过FairCoder基准将决策制定设为编码任务，探究LLMs在多领域的偏差，针对现有指标不足提出FairScore指标，经实验揭示了此前未充分探索的偏差模式，凸显LLMs作决策代理的风险并提供评估框架。

HarDBench: A Benchmark for Draft-Based Co-Authoring Jailbreak Attacks for Safe Human-LLM Collaborative Writing

HarDBench: 面向安全人机协作写作的基于草稿的合著越狱攻击基准

Euntae Kim, Soomin Han, Buru Chang

机构 * Korea University（韩国大学） ； Sogang University（ソガン大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出HarDBench基准，评估大语言模型在协作写作中面对恶意草稿填充的越狱攻击的鲁棒性，并通过偏好优化实现安全-效用平衡的对齐方法。

Comments ACL 2026 Main

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 40785-40831 July 2-7, 2026

Debate2Create: Robot Co-design via Multi-Agent LLM Debate

Debate2Create: 通过多智能体大语言模型辩论实现机器人协同设计

Kevin Qiu, Marek Cygan

机构 * University of Warsaw（华沙大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 提出Debate2Create框架，利用多智能体LLM辩论和物理评估迭代优化机器人的形态与奖励函数，在MuJoCo基准上取得显著性能提升。