语言大模型 / LLM

SCOPE: Selective Conformal Optimized Pairwise LLM Judging

SCOPE: 选择性保形优化的成对LLM评判

Sher Badshah, Ali Emami, Hassan Sajjad

机构 * Faculty of Computer Science, Dalhousie University, Halifax, NS, Canada（达勒豪西大学计算机科学学院） ； Department of Computer Science, Emory University, Atlanta, GA, USA（埃默里大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出SCOPE框架，通过校准接受阈值控制非弃权判断的错误率，并引入双向偏好熵（BPE）提供无偏不确定性信号，实现可靠且高覆盖率的LLM成对评估。

Comments Accepted at ICML 2026. 23 pages (9 main plus appendix), 7 figures, 11 tables

Relevance as a Vulnerability: How Web Retrieval Degrades Safety Alignment in LLM Agents

相关性即漏洞：网络检索如何削弱LLM智能体的安全对齐

Aditya Nawal, Manit Baser, Mohan Gurusamy

机构 * Department of Electrical and Computer Engineering（电子与计算机工程系） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出AgentREVEAL框架，分析检索集成方式和内容属性如何导致LLM智能体安全退化，发现相关性是共同激活条件，并引入HarmURLBench基准。

A Fixed-Budget, Cluster-Aware Standard for LLM-as-a-Judge Evaluation: A Multi-Hop RAG Stress Test

固定预算、聚类感知的 LLM-as-a-Judge 评估标准：多跳 RAG 压力测试

Camilo Chacón Sartori, José H. García

机构 * Catalan Institute of Nanoscience and Nanotechnology（加泰罗尼亚纳米科学与纳米技术研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对多跳 RAG 系统评估中的统计偏差问题，提出一种固定预算、聚类感知的 LLM-as-a-Judge 比较标准，并通过遗传算法证据选择器 GADMEC 在 400 个多跳问题上进行压力测试，揭示聚类感知推断改变了实证结论。

Modeling Community Attitude through Reaction Tone: A Human-AI Collaborative Framework for Evaluating LLM Alignment with Linguistic Behaviors in Online Communities

通过反应语气建模社区态度：评估LLM与在线社区语言行为对齐的人机协作框架

Nuan Wen, Xuezhe Ma

机构 * Information Sciences Institute University of Southern California（南加州大学信息科学研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出CARE框架，通过细粒度言语气势分析，评估LLM模拟社区对真实新闻的反应，揭示其存在“现实主义差距”，表明当前对齐策略不足以捕捉在线群体的社会语言动态。

Comments Preprint

EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design

EngiAI: 面向LLM驱动工程设计的智能体框架与基准测试套件

Gioele Molinari, Florian Felten, Soheyl Massoudi, Mark Fuge

机构 * IDEAL Chair of Artificial Intelligence in Engineering Design（人工智能与工程设计理想 chair） ； ETH Zurich（苏黎世联邦理工学院） ； Autom8.build 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出EngiAI多智能体系统框架和包含工作流、RAG、HPC三维度的基准套件，通过监督架构协调七个专业智能体，验证了LLM在工程设计中的能力与局限。

Comments 26 pages, 10 figures, to be published at IDETC 2026

AdvJudge-Zero: Binary Decision Flips in LLM-as-a-Judge via Adversarial Control Tokens

AdvJudge-Zero：通过对抗控制令牌在LLM作为评判者中实现二元决策翻转

Tung-Ling Li, Yuhao Wu, Hongliang Liu

机构 * Palo Alto Networks（帕洛阿尔托网络公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；RLHF(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出AdvJudge-Zero方法，通过从评判模型自身分布中采样低困惑度令牌，无需梯度优化即可将LLM评判者的二元判决从“否”翻转为“是”，并基于发现的令牌池提出防御策略以增强评判鲁棒性。

MCTS-Judge: Test-Time Scaling in LLM-as-a-Judge for Code Correctness Evaluation

MCTS-Judge：LLM作为裁判在代码正确性评估中的测试时扩展

Yutong Wang, Pengliang Ji, Chaoqun Yang, Kaixin Li, Ming Hu, Jiaoyang Li, Guillaume Sartoretti

机构 * Independent Contributor（独立贡献者） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MCTS-Judge框架，利用蒙特卡洛树搜索在测试时进行多视角分解评估，显著提升LLM作为裁判在代码正确性评估中的准确性和效率。

JuICE: A Benchmark for Evaluating LLM-Judge in Identifying Cultural Errors

JuICE：评估LLM裁判识别文化错误的基准

Jiho Jin, Junho Myung, Juhyun Oh, Junyeong Park, Rifki Afina Putri, Sunipa Dev, Vinodkumar Prabhakaran, Alice Oh

机构 * KAIST（韩国科学技术院） ； Google（谷歌） ； Universitas Gadjah Mada（加查马达大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出JuICE基准，包含7470个文化语言错误标注的多语言数据集，用于评估LLM裁判在长文本中识别深层文化错误的能力，发现最强模型F1仅0.52且常遗漏本地人易识别的错误。

GradingAttack: Exposing Security Vulnerabilities in LLM Based Educational Grading Agents

GradingAttack: 揭示基于LLM的教育评分代理中的安全漏洞

Xueyi Li, Zhuoneng Zhou, Zitao Liu, Yongdong Wu

机构 * Guangdong Institute of Smart Education（广东智能教育研究院） ； Jinan University（济南大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出GradingAttack框架，通过token级和prompt级对抗攻击策略，系统评估基于LLM的教育评分代理的安全漏洞，发现其缺乏鲁棒防御。

Beyond Acoustic Emotion Recognition: Multimodal Pathos Analysis in Political Speech Using LLM-Based and Acoustic Emotion Models

超越语音情感识别：利用基于LLM和语音情感模型的政治演讲多模态Pathos分析

Juergen Dietrich

机构 * Democracy Intelligence gGmbH（民主智能有限责任公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了语音情感识别模型是否能作为政治演讲分析中Pathos维度的代理，通过TRUST多智能体大语言模型（LLM）管道进行操作。使用德国议会全体会议中Felix Banaszak的演讲作为案例研究，比较了三种分析模式：(1) emotion2vec_plus_large，一个通过后验Russell Circumplex投影得到连续唤醒度和估值的语音情感识别（SER）模型；(2) Gemini 2.5 Flash，一个分析完整演讲音频及其转录文本的LLM，以开放和上下文感知的方式进行；(3) TRUST-Pathos分数，来自三个倡导者LLM监督集合。斯皮尔曼等级相关性显示，Gemini估值与TRUST-Pathos高度相关（rho = +0.664，p < 0.001），而emotion2vec估值不相关（rho = +0.097，p = 0.499）。我们进一步通过系统评估柏林情感语音数据库（EMO-DB）使用Gemini在开放注释范式下，证明标准SER基准语料库存在表演性演讲、文化偏见和类别不兼容性。我们的结果表明，基于LLM的多模态分析在捕捉语义定义的政治情感方面比单独的语音模型更有效，而语音特征仍对低层次唤醒度估计有帮助。未来的工作将扩展这种方法到视频分析中，结合面部表情和眼神。

Comments 13 pages, 1 figure

The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study

干预的幻觉：你的LLM模拟实验实际上是一个观察性研究

Victoria Lin, Taedong Yun, Maja Matarić, John Canny, Arthur Gretton, Alexander D'Amour

机构 * Google DeepMind（谷歌DeepMind） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了大型语言模型在模拟人类行为中的潜在作用，指出在LLM模拟的合成用户中进行干预可能引起潜在用户属性的意外变化，从而导致用户漂移，影响效果估计。本文提出了使用负对照结果来检测分布变化的方法，并通过调整角色描述以减少偏倚来缓解漂移问题。

DrugRAG: Enhancing Pharmacy LLM Performance Through A Novel Retrieval-Augmented Generation Pipeline

DrugRAG: 通过一种新颖的检索增强生成流水线提升药学LLM性能

Houman Kazemzadeh, Kiarash Mokhtari Dizaji, Seyed Reza Tavakoli, Farbod Davoodi, MohammadReza KarimiNejad, Parham Abed Azad, Fatemeh Latifi, Ali Sabzi, Armin Khosravi, Siavash Ahmadi, Babak Khalaj, Mohammad Hossein Rohban, Glolamali Aminian, Zohreh Amoozgar, Tahereh Javaheri

机构 * Department of Medicinal Chemistry, Faculty of Pharmacy, Tehran University of Medical Sciences（药学系，泰赫兰医科大学） ； Department of Computer Sciences, Faculty of Mathematics and Computer Sciences, Amir Kabir University of Technology（计算机科学系，阿米尔·卡比尔技术大学） ； Department of Mathematical Sciences, Sharif University of Technology（数学科学系，沙菲克技术大学） ； Department of Computer Sciences, Missouri University of Science and Technology（计算机科学系，密苏里科学与技术大学） ； Department of Computer Engineering, Sharif University of Technology（计算机工程系，沙菲克技术大学） ； Department of Faculty of Interdisciplinary Science and Technology, Tarbiat Modares University（跨学科科学与技术学院，塔里亚特莫达res大学） ； Electronics Research Institute, Sharif University of Technology（电子研究所，沙菲克技术大学） ； Department of Electrical Engineering, Sharif University of Technology（电气工程系，沙菲克技术大学） ； The Alan Turing Institute, London, United Kingdom（艾伦·图灵研究所，伦敦，英国） ； Department of Radiation Oncology, Massachusetts General Hospital & Harvard Medical School（放射肿瘤科，麻省总医院及哈佛医学院） ； Health Informatics Lab, Metropolitan College, Boston University（健康信息学实验室，波士顿大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估了大型语言模型在药学执业资格问答任务中的性能，并开发了一种外部知识整合方法以提高准确性，通过DrugRAG流水线整合结构化药物知识，从而提升药学相关问答任务的LLM性能。

Comments 14 pages, 2 figures, 2 tables. The revised version includes McNemar's paired statistical analysis, Wilson confidence intervals, expanded methodological clarifications, a revised discussion of evidence retrieval, improved reproducibility details, and updated limitations

From Demographics to Survey Anchors: Evaluating LLM Agents for Modeling Retirement Attitudes

从人口统计学到调查锚点：评估LLM代理在建模退休态度中的表现

Rubén Garzón, Pauline Baron, Vincent Grari, Jonne Kamphorst, Michael Bernstein, Marcin Detyniecki

机构 * AI Research（AI研究） ； AXA Group Operations（AXA集团运营） ； CDSP & CEE（CDSP与CEE） ； Sciences Po（社会科学高等学院） ； Computer Science Department（计算机科学系） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文比较了基于人口统计学的LLM代理与基于调查数据的代理在预测退休态度调查中的准确性，发现仅依赖人口统计学的代理存在偏差且不够准确，而基于调查锚点的代理能更好地捕捉复杂的人类响应模式。

Comments 50 pages, 22 figures

Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents

超越协作模拟器：为LLM代理的稳健评估生成真实用户人设

Harshita Chopra, Kshitish Ghate, Aylin Caliskan, Tadayoshi Kohno, Chirag Shah, Natasha Jaques

机构 * University of Washington, Seattle, WA（华盛顿大学） ； Georgetown University, Washington, DC（乔治城大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Persona Policies，通过LLM驱动的进化程序搜索生成多样化的人设，提升模拟器在真实用户交互中的鲁棒性，实验显示在零售和航空领域取得显著性能提升。

Comments Preprint under review

AlpsBench: An LLM Personalization Benchmark for Real-Dialogue Memorization and Preference Alignment

AlpsBench: 一个面向真实对话记忆与偏好对齐的LLM个性化基准

Jianfei Xiao, Xiang Yu, Chengbing Wang, Wuqiang Zheng, Xinyu Lin, Kaining Liu, Hongxun Ding, Yang Zhang, Wenjie Wang, Fuli Feng, Xiangnan He

机构 * University of Science and Technology of China（科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 AlpsBench通过真实人类与LLM对话数据构建，包含2500个长期交互序列及验证的记忆，评估个性化信息提取、更新、检索与利用等核心任务，揭示LLM在记忆管理中的局限性。

SmartEval: A Benchmark for Evaluating LLM-Generated Smart Contracts from Natural Language Specifications

SmartEval：一个评估从自然语言规范生成的LLM智能合约质量的基准

Abhinav Goel, Agostino Capponi, Alfio Gliozzo, Chaitya Shah

机构 * Columbia University（哥伦比亚大学） ； IBM T.J. Watson Research Center（IBM T.J. Watson研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 SmartEval通过9000个生成合约与专家编写的真实实现，结合五维评估标准，验证LLM生成智能合约的质量，并发现逻辑遗漏、状态转换错误等典型故障模式，展示了生成合约在综合评分上比真实实现高出8.29分。

ScrapeGraphAI-100k: Dataset for Schema-Constrained LLM Generation

ScrapeGraphAI-100k：用于模式约束LLM生成的数据集

William Brach, Francesco Zuppichini, Marco Vinciguerra, Lorenzo Padoan

机构 * Slovak University of Technology（斯洛伐克技术大学） ； ScrapeGraphAI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ScrapeGraphAI-100k数据集，包含93695个模式约束提取事件，通过真实用户数据和结构化标注，用于评估LLM在模式约束下的生成能力。

MANTRA: Synthesizing SMT-Validated Compliance Benchmarks for Tool-Using LLM Agents

MANTRA: 为使用工具的LLM代理合成经过SMT验证的合规性基准

Ashwani Anand, Ivi Chatzi, Ritam Raha, Anne-Kathrin Schmuck

机构 * Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 MANTRA通过自动合成可机检验的合规性基准，解决LLM代理在复杂手册下的合规性验证问题，支持任意领域和长流程手册，并提供可调节的任务复杂度，生成285个任务的基准套件。

Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation

模型记住它们违反的内容：多轮LLM构思中的约束遵守

Garvin Kruthof

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨多轮LLM构思中约束遵守问题，通过DriftBench基准发现迭代压力增加结构复杂性但降低约束遵守，模型在记忆与行为上存在脱节，约束违反率高达99%。

Reliability Auditing for Downstream LLM tasks in Psychiatry: LLM-Generated Hospitalization Risk Scores

精神科下游LLM任务中的可靠性审计：LLM生成的住院风险评分

Shevya Panda, Shinjini Bose, Ananya Joshi

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了LLM在精神科住院风险评分中的可靠性问题，通过合成患者数据评估提示设计和非临床信息对预测稳定性的影响，揭示了非临床信息对模型输出的显著影响。

A Scoping Review of LLM-as-a-Judge in Healthcare and the MedJUDGE Framework

对LLM-as-a-Judge在医疗领域的综述及MedJUDGE框架

Chenyu Li, Zohaib Akhtar, Mingu Kwak, Yuelyu Ji, Hang Zhang, Tracey Obi, Yufan Ren, Xizhi Wu, Sonish Sivarajkumar, Harold P. Lehmann, Shyam Visweswaran, Michael J. Becich, Danielle L. Mowery, Renxuan Liu, Haoyang Sun, Yanshan Wang

机构 * Department of Biomedical Informatics, School of Medicine, University of Pittsburgh（匹兹堡大学医学院生物医学信息学系） ； Department of Health Information Management, School of Health and Rehabilitation Sciences, University of Pittsburgh（匹兹堡大学健康与康复科学学院健康信息管理系） ； OpenCura, Health Innovation Consortium（OpenCura健康创新联盟） ； Northwestern University, Kellogg School of Management（西北大学凯洛格管理学院） ； Intelligent Systems Program, School of Computing and Information, University of Pittsburgh（匹兹堡大学计算与信息学院智能系统项目） ； Johns Hopkins University School of Medicine Biomedical Informatics and Data Science（约翰霍普金斯大学医学院生物医学信息学与数据科学） ； Clinical and Translational Science Institute, University of Pittsburgh（匹兹堡大学临床与转化科学研究所） ； Institute for Biomedical Informatics, University of Pennsylvania（宾夕法尼亚大学生物医学信息学研究所） ； Data Science, School of Computing and Information, University of Pittsburgh（匹兹堡大学计算与信息学院数据科学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了LLM-as-a-Judge在医疗领域的应用现状，指出其在验证严谨性、偏见评估和治理方面存在不足，并提出MedJUDGE框架以提升医疗领域LLM-as-a-Judge系统的有效性与安全性。

Learning to Ask: When LLM Agents Meet Unclear Instruction

学习提问：当LLM代理遇见模糊指令

Wenxuan Wang, Juluan Shi, Zixuan Ling, Yuk-Kit Chan, Chaozheng Wang, Cheryl Lee, Youliang Yuan, Jen-tse Huang, Wenxiang Jiao, Michael R. Lyu

机构 * Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong（香港中文大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学深圳校区） ； Johns Hopkins University（约翰霍普金斯大学） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出AwN框架，通过让LLM在遇到模糊指令时主动提问以提升工具使用性能，并设计自动化评估工具ToolEvaluator，验证了在NoisyToolBench基准下的优越性。

Comments EMNLP 2025

STELLAR-E: a Synthetic, Tailored, End-to-end LLM Application Rigorous Evaluator

STELLAR-E: 一个合成、定制、端到端的LLM应用严格评估器

Alessio Sordo, Lingxiao Du, Meeka-Hanna Lenisa, Evgeny Bogdanov, Maxim Romanovsky

机构 * Deutsche Bank, Berlin Technology Center（德意志银行，柏林技术中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 STELLAR-E通过合成数据生成系统，实现无需现有数据的高质量定制数据集创建，提升LLM应用评估的效率与公平性。

Tell Me Why: Designing an Explainable LLM-based Dialogue System for Student Problem Behavior Diagnosis

告诉我原因：设计一个可解释的基于LLM的对话系统用于学生问题行为诊断

Zhilin Fan, Deliang Wang, Penghe Chen, Yu Lu

机构 * School of Educational Technology, Beijing Normal University, Beijing, China（北京师范大学教育技术学院） ； Advanced Innovation Center for Future Education, Beijing Normal University, Beijing, China（北京师范大学未来教育创新中心） ； Faculty of Education, The University of Hong Kong, Hong Kong SAR, China（香港大学教育学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于LLM的可解释对话系统，通过层次归因方法生成自然语言解释，提升教育对话系统中LLM的可解释性，实验证明其在识别支持证据方面优于基线方法。

Comments This paper has been accepted in AIED2026

Logic Jailbreak: Efficiently Unlocking LLM Safety Restrictions Through Formal Logical Expression

逻辑突破：通过形式逻辑表达高效解锁LLM安全限制

Jingyu Peng, Maolin Wang, Nan Wang, Jiatong Li, Yuchen Li, Yuyang Ye, Wanyu Wang, Pengyue Jia, Kai Zhang, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） ； Rutgers University（罗格斯大学） ； University of Science and Technology of China（中国科学技术大学） ； Universiteit van Amsterdam（阿姆斯特丹大学） ； Baidu Inc（百度公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LogiBreak方法，通过将有害提示转化为形式逻辑表达，利用对齐数据与逻辑输入之间的分布差异，有效绕过LLM安全机制，验证其在多语言数据集中的有效性。

LLM Agents Predict Social Media Reactions but Do Not Outperform Text Classifiers: Benchmarking Simulation Accuracy Using 120K+ Personas of 1511 Humans

LLM代理预测社交媒体反应但不优于文本分类器：使用120,000多个1511人的人设进行基准测试

Ljubisa Bojic, Alexander Felfernig, Bojana Dinic, Velibor Ilic, Achim Rettinger, Vera Mevorah, Damian Trilling

机构 * Institute for Artificial Intelligence Research and Development of Serbia（塞尔维亚人工智能研究与开发研究所） ； University of Belgrade, Institute for Philosophy and Social Theory, Digital Society Lab（贝尔格莱德大学，哲学与社会理论研究所，数字社会实验室） ； Complexity Science Hub, Vienna, Austria（维也纳复杂科学中心） ； Graz University of Technology, Graz, Austria（技术大学格拉茨，格拉茨，奥地利） ； University of Novi Sad, Faculty of Philosophy, Novi Sad, Serbia（诺维萨德大学，哲学学院，诺维萨德，塞尔维亚） ； University of Trier, Trier, Germany（特里尔大学，特里尔，德国） ； Vrije University Amsterdam, Amsterdam, Netherlands（阿姆斯特丹自由大学，阿姆斯特丹，荷兰） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究LLM代理预测人类社交媒体反应的准确性，发现其表现不如传统文本分类器，揭示了零样本代理在模拟极化动态中的潜力及局限性。

PolyBench: Benchmarking LLM Forecasting and Trading Capabilities on Live Prediction Market Data

PolyBench：基于实时预测市场数据的LLM预测与交易能力基准测试

Pu Cheng, Juncheng Liu, Yunshen Long

机构 * College of Electrical Engineering, Sichuan University（四川大学电气工程学院） ； School of Economics, Sichuan University（四川大学经济学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PolyBench基准测试，通过实时预测市场数据评估七种先进LLM的预测与交易能力，发现仅两种模型在严格市场状态下实现正收益，揭示了语言流畅性与真实概率推理之间的差距。

Comments 16 pages, 4 figures, 6 tables

OAEI-LLM: A Benchmark Dataset for Understanding Large Language Model Hallucinations in Ontology Matching

OAEI-LLM：用于理解本体匹配中大语言模型幻觉的基准数据集

Zhangcheng Qiang, Kerry Taylor, Weiqing Wang, Jing Jiang

机构 * Australian National University, School of Computing（澳大利亚国立大学，计算机学院） ； Monash University, Faculty of Information Technology（墨尔本大学，信息技术学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 OAEI-LLM数据集旨在通过评估本体匹配任务中大语言模型的幻觉现象，为理解LLM幻觉提供基准支持。

Comments 5 pages, 1 figure, 1 table, 1 code snippet

TA-Prompting: Enhancing Video Large Language Models for Dense Video Captioning via Temporal Anchors

TA-Prompting: 通过时间锚点增强视频大语言模型以实现密集视频描述

Wei-Yuan Cheng, Kai-Po Chang, Chi-Pin Huang, Fu-En Yang, Yu-Chiang Frank Wang

机构 * Graduate Institute of Communication Engineering, National Taiwan University（国家交通大学通信工程研究所） ； NVIDIA（NVIDIA公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；分类 cs.AI、cs.LG

AI总结 TA-Prompting通过引入时间锚点提升视频大语言模型的密集视频描述能力，有效解决时间边界识别问题，提升时间感知视频事件理解性能。

Comments 8 pages for main paper (exclude citation pages), 6 pages for appendix, totally 10 figures 7 tables and 2 algorithms. The paper is accepted by WACV 2026

Journal ref IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026

TriP-LLM: A Tri-Branch Patch-wise Large Language Model Framework for Time-Series Anomaly Detection

Yuan-Cheng Yu, Yen-Chieh Ouyang, Chun-An Lin

专题命中 评测与基准 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

Comments Accepted version of the paper published in IEEE Access (2025). Licensed under a Creative Commons Attribution 4.0 License (CC BY 4.0). Published version available at IEEE Xplore

Journal ref IEEE Access, vol. 13, pp. 168643-168653, 2025