语言大模型 / LLM

DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning

DeFacto: 通过图像进行反事实推理以强制证据支持和忠实推理

Tianrun Xu, Haoda Jing, Ye Li, Yuquan Wei, Jun Feng, Guanyu Chen, Haichuan Gao, Tianren Zhang, Feng Chen

机构 * Department of Automation, Tsinghua University, Beijing, China（清华大学自动化系） ； Zhongguancun Academy, Beijing, China（中关村学院） ； School of Software, Xinjiang University, Urumqi, China（新疆大学软件学院） ； College of Materials Science and Engineering, Fuzhou University, Fuzhou, China（福州大学材料科学与工程学院） ； Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学人工智能学院） ； Beijing Qianjue Technology Co., Ltd., Beijing, China（北京千 jue 技术有限公司） 纠错

专题命中 推理与问题求解 ：language model(abstract)；分类 cs.AI

AI总结 本文提出DeFacto框架，通过整合正例、反事实和随机遮蔽三种训练范式，提升多模态语言模型在证据一致性方面的表现，并引入DeFacto-1.5K基准进行系统评估。

AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation

AwareVLN: 基于自感知的视觉语言导航推理

Wenxuan Guo, Xiuwei Xu, Yichen Liu, Xiangyu Li, Hang Yin, Huangxing Chen, Wenzhao Zheng, Jianjiang Feng, Jie Zhou, Jiwen Lu

机构 * Tsinghua University（清华大学） 纠错

专题命中 推理与问题求解 ：language model(abstract)

AI总结 本文提出AwareVLN框架，通过自感知推理机制实现端到端的视觉语言导航，解决了传统方法在理解代理、指令和场景关系上的不足，并在多个数据集上实现了优于现有方法的性能。

Comments Accepted to CVPR 2026. Project page: https://gwxuan.github.io/AwareVLN/

GLeVE: Graph-Guided Lesion Grounding with Proposal Verification in 3D CT

GLeVE: 在3D CT中基于图的病变接地与提案验证

Shuo Jiang, Yuhao Hong, Chunbo Jiang, Weihong Chen, Huangwei Chen, Shenghao Zhu, Beining Wu, Mingxuan Liu, Zhu Zhu, Feiwei Qin, Min Tan, Yifei Chen

机构 * Zhejiang Key Laboratory of Space Information Sensing and Transmission（浙江空间信息感知与传输重点实验室） ； Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Children's Hospital, Zhejiang University School of Medicine（浙江大学医学院附属儿童医院） 纠错

专题命中 推理与问题求解 ：foundation model(abstract)

AI总结 本文提出GLeVE框架，通过图引导的病变接地和解剖学先验验证，解决3D CT中自由文本叙述与体积解剖之间的语义-空间差距问题，提升病变定位的准确性。

Comments 11 pages, 4 figures

SPIRAL: Self-Evolving Action-Conditioned Video Generation via Reflective Planning Agents

SPIRAL：通过反思规划代理实现自演化动作条件视频生成

Yu Yang, Yue Liao, Jianbiao Mei, Baisen Wang, Xuemeng Yang, Licheng Wen, Jiangning Zhang, Xiangtai Li, Liang Lv, Hanlin Chen, Botian Shi, Yong Liu, Shuicheng Yan, Gim Hee Lee

机构 * Zhejiang University（浙江大学） ； KnowledgeXLab at Shanghai AI Lab（上海人工智能实验室知识X实验室） ； National University of Singapore（新加坡国立大学） ； Chinese Academy of Sciences（中国科学院） ； Tencent Youtu Lab（腾讯优设实验室） ； Nanyang Technological University（南洋理工大学） ； Wuhan University（武汉大学） 纠错

专题命中 推理与问题求解 ：post-training(abstract)

AI总结 本文提出SPIRAL框架，通过反思规划代理实现长时域动作条件视频生成，解决传统方法在长时间视频生成中的不足，通过闭环设计和自演化机制提升视频生成的一致性和准确性。

Comments 42 Pages, 21 Figures, Project page at https://yuyang-cloud.github.io/spiral

MAP4TS: A Multi-Aspect Prompting Framework for Time-Series Forecasting with Large Language Models

MAP4TS: 一个用于基于大语言模型的时间序列预测的多方面提示框架

Suchan Lee, Jihoon Choi, Sohyeon Lee, Minseok Song, Bong-Gyu Jang, Hwanjo Yu, Soyeon Caren Han

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出MAP4TS框架，通过将经典时间序列分析融入提示设计，提升大语言模型在时间序列预测中的性能，实验表明其在多个数据集上均优于现有方法。

Comments There is a error in modeling. Thereafter, paper will be revised and re-uploaded

HIDBench: Benchmarking Large Language Models for Host-Based Intrusion Detection

HIDBench: 用于基于主机入侵检测的大型语言模型评估

Danyu Sun, Jinghuai Zhang, Yuan Tian, Zhou Li

机构 * University of California, Irvine（加州大学洛杉矶分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出HIDBench基准测试，用于评估大型语言模型在支持基于主机的入侵检测系统（HIDS）中的能力，揭示了LLM在复杂系统日志数据中的性能差异和敏感性。

Beyond Acoustic Emotion Recognition: Multimodal Pathos Analysis in Political Speech Using LLM-Based and Acoustic Emotion Models

超越语音情感识别：利用基于LLM和语音情感模型的政治演讲多模态Pathos分析

Juergen Dietrich

机构 * Democracy Intelligence gGmbH（民主智能有限责任公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了语音情感识别模型是否能作为政治演讲分析中Pathos维度的代理，通过TRUST多智能体大语言模型（LLM）管道进行操作。使用德国议会全体会议中Felix Banaszak的演讲作为案例研究，比较了三种分析模式：(1) emotion2vec_plus_large，一个通过后验Russell Circumplex投影得到连续唤醒度和估值的语音情感识别（SER）模型；(2) Gemini 2.5 Flash，一个分析完整演讲音频及其转录文本的LLM，以开放和上下文感知的方式进行；(3) TRUST-Pathos分数，来自三个倡导者LLM监督集合。斯皮尔曼等级相关性显示，Gemini估值与TRUST-Pathos高度相关（rho = +0.664，p < 0.001），而emotion2vec估值不相关（rho = +0.097，p = 0.499）。我们进一步通过系统评估柏林情感语音数据库（EMO-DB）使用Gemini在开放注释范式下，证明标准SER基准语料库存在表演性演讲、文化偏见和类别不兼容性。我们的结果表明，基于LLM的多模态分析在捕捉语义定义的政治情感方面比单独的语音模型更有效，而语音特征仍对低层次唤醒度估计有帮助。未来的工作将扩展这种方法到视频分析中，结合面部表情和眼神。

Comments 13 pages, 1 figure

Evaluating Scoring Bias in LLM-as-a-Judge

评估LLM作为裁判的评分偏见

Qingquan Li, Shaoyu Dou, Kailai Shao, Chao Chen, Haixiang Hu

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了LLM作为裁判在评分任务中的偏见问题，提出了三种新的评分偏见类型，并开发了一个框架来量化这些偏见，以改进评分提示设计。

Comments Accepted by DASFAA 2026

Frame In, Frame Out: Measuring Framing Bias in LLM-Generated News Summaries

框入框出：衡量LLM生成新闻摘要中的框架偏差

Valeria Pastorino, Nafise Sadat Moosavi

机构 * Department of Computer Science University of Sheffield (UK)（计算机科学系谢菲尔德大学（英国）） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出FIFO基准测试，用于衡量LLM生成的新闻摘要中的框架存在性，发现LLM生成的摘要在科学和公共卫生领域显示出较高的框架率，表明框架是摘要质量的一个被忽视但重要的维度。

Comments Accepted to The 15th Joint Conference on Lexical and Computational Semantics (*SEM 2026) co-located with ACL 2026

Evaluating Clinical Competencies of Large Language Models with a General Practice Benchmark

利用通用医疗基准评估大型语言模型的临床能力

Zheqing Li, Yiying Yang, Jiping Lang, Wenhao Jiang, Junrong Chen, Yuhang Zhao, Shuang Li, Dingqian Wang, Zhu Lin, Xuanna Li, Yuze Tang, Jiexian Qiu, Xiaolin Lu, Hongji Yu, Shuang Chen, Yuhua Bi, Xiaofei Zeng, Yixian Chen, Lin Yao

机构 * The Sixth Affiliated Hospital of Sun Yat-sen University（中山大学第六附属医院） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济发展实验室（深圳）） ； Xinyi People’s Hospital（新一人民医院） ； The Fifth Affiliated Hospital of Sun Yat-sen University（中山大学第五附属医院） ； School of Public Health of Sun Yat-sen University（中山大学公共卫生学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)；分类 cs.CL、cs.AI

AI总结 本文提出了一种新的评估框架，通过通用医疗基准（GPBench）评估大型语言模型在医疗实践中的能力，发现当前LLM无法独立应用于临床医疗，需持续的人类监督。

Automated Repair of TEE Partitioning Issues via DSL-Guided and LLM-Assisted Patching

通过DSL引导和LLM辅助的修补自动修复TEE分区问题

Chengyan Ma, Jieke Shi, Ruidong Han, Ye Liu, Feng Li, Yuqing Niu, David Lo

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出TEERepair框架，通过DSL编码修补规则和LLM推理代码语义，自动修复TEE应用中的分区问题，实现87.6%的修复成功率。

Comments Accepted by the ACM International Conference on the Foundations of Software Engineering (FSE 2026)

When Support Escalates Distress: Regulation and Escalation in LLM Responses to Venting and Advice-Seeking

当支持加剧压力：在LLM对倾诉和寻求建议的回应中的调节与加剧

Vivienne Bihe Chi, Adithya V Ganesan, Ryan L Boyd, Lyle Ungar, Sharath Chandra Guntuku

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究探讨了大型语言模型在不同求助风格（倾诉与寻求建议）下对压力的调节与加剧作用，通过分析Reddit帖子发现LLM回应中调节和加剧是独立的维度，且不同角色设定（默认、朋友、治疗师）对调节和加剧的影响不同。

Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents

Agentic CLEAR: 自动化多层级评估LLM代理

Asaf Yehudai, Lilach Eden, Michal Shmueli-Scheuer

机构 * IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出Agentic CLEAR框架，通过多层级细粒度分析实现LLM代理的自动化评估，提供高质量的数据驱动反馈并预测任务成功率。

Comments ACL

LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications

LLM Readiness Harness: 评估、可观测性和持续集成门禁用于LLM/RAG应用

Alexandre Cristovão Maiorano

机构 * Lumytics 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出了一种LLM和RAG应用的准备性框架，通过自动化基准测试、OpenTelemetry可观测性和持续集成质量门禁，将评估转化为部署决策流程，并通过帕累托前沿计算场景加权的准备度分数，展示了在票务路由工作流和BEIR接地任务上的评估结果。

Comments 19 pages, 4 figures, 15 tables

Diagnosis Is Not Prescription: Linguistic Co-Adaptation Explains Patching Hazards in LLM Pipelines

诊断并非处方：语言共适应解释了LLM流水线中的修补危害

Yoon Jeonghun, Kim Dongchan

机构 * KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院） ； NAVER Corp.（NAVER公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文研究了多模块LLM代理失败时，诊断与修补之间的矛盾，发现路由模块虽为瓶颈，但注入修正示例反而降低性能，而修正查询重写模块则更有效，提出了语言合同假说解释这种现象。

Comments Preprint. Under review at EMNLP 2026 (ARR)

RankJudge: A Multi-Turn LLM-as-a-Judge Synthetic Benchmark Generator

RankJudge: 一个多轮LLM-as-a-Judge合成基准生成器

Zhenwei Tang, Zhaoyan Liu, Rasa Hosseinzadeh, Tongzi Wu, Keyvan Golestan, Jesse C. Cresswell

机构 * Layer 6 AI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文提出RankJudge，一种用于评估LLM作为评判者在多轮对话中表现的合成基准生成器，通过生成带有单个缺陷的对话对，实现对评判准确性的严格评估，并通过领域覆盖和21个前沿LLM评判者评估，验证了评判排名的稳定性。

Decoding News Narratives: A Critical Analysis of Large Language Models in Framing Detection

解码新闻叙述：对大型语言模型在框架检测中的关键分析

Valeria Pastorino, Jasivan A. Sivakumar, Nafise Sadat Moosavi

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文研究了大型语言模型在框架检测中的应用，分析了不同模型在零样本、少样本和解释性提示设置下的表现，指出模型性能对提示设计敏感且易在模糊案例中出现系统性错误，并提出了一种新的跨领域新闻标题数据集以提高评估的现实性。

Journal ref Proceedings of the 3rd Workshop on Natural Language Processing for Political Sciences (PoliticalNLP 2026) @ LREC 2026, pages 17-28

Teaching Language Models to Forecast Research Success Through Comparative Idea Evaluation

通过比较想法评估教授语言模型预测研究成功的技巧

Srujan P Mule, Aniketh Garikaparthi, Manasi Patwardhan

机构 * IISER Pune（印度理工学院帕内尔） 纠错

专题命中 评测与基准 ：language model(title,abstract)；SFT(abstract,abstract_cn)；small language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究探讨了语言模型能否在无需实验的情况下预测研究想法的实证成功，通过构建基于PapersWithCode客观结果的11488对想法数据集，发现通过强化学习可提升模型性能至71.35%，证明小型语言模型可以作为有效的客观验证器，为自主科学发现提供可扩展路径。

Comments ACL 2026 Findings

Active Evidence-Seeking and Diagnostic Reasoning in Large Language Models for Clinical Decision Support

大语言模型在临床决策支持中的主动证据获取与诊断推理

Chen Zhan, Xihe Qiu, Xiaoyu Tan, Xibing Zhuang, Gengchen Ma, Yue Zhang, Shuo Li, Peifeng Liu, Xiaoxiao Ge, Liang Liu, Lu Gan

机构 * Tencent Youtu Lab（腾讯优图实验室） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究探讨了大语言模型在临床决策支持中的主动证据获取与诊断推理问题，提出了一种基于OSCE的标准化患者模拟器和可控可复现的基准测试，发现多轮证据获取会降低诊断准确性并降低支持证据质量，表明静态全上下文基准可能高估交互证据获取场景中的性能，需引入互补的交互评估以提高临床决策安全性。

Provable Joint Decontamination for Benchmarking Multiple Large Language Models

可证明的多语言模型基准测试去污染

Zhenlong Liu, Hao Zeng, Hongxin Wei

机构 * Department of Statistics and Data Science, Southern University of Science and Technology Shanghai Innovation Institute（统计与数据科学系，南方科技大学上海创新研究院） 纠错

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出了一种可证明的多语言模型基准测试去污染方法，通过联合选择过程实现全局污染率控制，提升跨模型比较的可靠性。

Healthcare LLM Benchmarks Are Only as Good as Their Explicit Assumptions

医疗LLM基准测试的可靠性仅取决于其显式假设

Naveen Raman, Santiago Cortes-Gomez, Mateo Dulce Rubio, Fei Fang, Bryan Wilder

机构 * Carnegie Mellon University（卡内基梅隆大学） ； New York University（纽约大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出医疗LLM基准测试的评估-部署差距源于隐式假设，而非基准设计问题，并通过BenchmarkCards和分阶段评估方法来解决这一问题。

Comments 13 pages, 1 figure

A Comparative Study of Language Models for Khmer Retrieval-Augmented Question Answering

一种用于柬埔寨检索增强问答的语言模型比较研究

Sereiwathna Ros, Phannet Pov, Ratanaktepi Chhor, Kimleang Ly, Wan-Sup Cho, Saksonita Khoeurn

机构 * Department of Computer Science, Chungbuk National University（Chungbuk National University 计算机科学系） ； Department of Big Data, Chungbuk National University（Chungbuk National University 大数据系） ； General Department of Information and Communication Technology, Ministry of Post and Telecommunications（邮电部信息和通信技术总局） ； Department of Management Information Systems, Chungbuk National University（Chungbuk National University 管理信息系统系） ； BigDatalabs Co., Ltd（BigDatalabs 公司） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 本文针对低资源非拉丁语种柬埔寨语言，比较了多种语言模型在检索增强问答任务中的性能，发现检索器选择是影响效果的关键因素，生成器在不同指标上表现各异。

Comments 14 pages, 1 figure,

Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications

自动化自我测试作为质量门：基于证据的LLM应用发布管理

Alexandre Cristovão Maiorano

机构 * Lumytics 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出了一种自动化自我测试框架，通过五个实证基础的维度（任务成功率、研究环境保持、P95延迟、安全通过率和证据覆盖）实现基于证据的发布决策（PROMOTE/HOLD/ROLLBACK），并通过长期案例研究评估了该框架在多代理对话AI系统中的有效性。

Comments 20 pages, 6 figures, 12 tables

Autonomous LLM Agents & CTFs: A Second Look

自主大语言模型代理与CTF：再看一次

Youness Bouchari, Matteo Boffa, Marco Mellia, Idilio Drago, Thanh Minh Bui, Dario Rossi

机构 * Politecnico di Torino（托尔托纳理工大学） ； Università di Torino（托尔托纳大学） ； Huawei Technologies France（华为法国技术） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文重新审视了大语言模型代理在自动化进攻性安全任务中的表现，通过在30个基于网络的CTF挑战中测试不同架构的代理，发现通用代理在性能上与定制架构相当，并揭示了当前代理在某些类别中的持续障碍。

Comments Accepted at DeMeSSAI Workshop @ IEEE EuroS&P 2026

AutoBaxBuilder: Bootstrapping Code Security Benchmarking

AutoBaxBuilder: 通过代码安全基准测试进行代码安全性评估

Tobias von Arx, Niels Mündler, Mark Vero, Maximilian Baader, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） ； INSAIT, Sofia University "St. Kliment Ohridski"（INSAIT，索菲亚大学"圣克莱门特·奥赫里德斯基"） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AutoBaxBuilder，一种自动化生成代码安全基准测试任务的流水线，通过结合LLM的代码理解能力与可靠性检查，构建功能测试和端到端的安全性探测利用，从而提高代码安全性的评估效率和准确性。

Comments ICML 2026

SWE-Mutation: Can LLMs Generate Reliable Test Suites in Software Engineering?

SWE-Mutation：LLMs能否在软件工程中生成可靠的测试套件？

Yuxuan Sun, Yuze Zhao, Yufeng Wang, Yao Du, Zhiyuan Ma, Jinbo Wang, Mengdi Zhang, Kai Zhang, Zhenya Huang

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； University of Science and Technology of China（中国科学技术大学） ； Beihang University（北航） ； School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； NeoShell AI ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SWE-Mutation基准，用于评估LLM生成的测试套件质量，通过系统性地变异解决方案来测试测试套件的可靠性，并发现当前LLM在生成可靠且具有判别力的测试套件方面存在不足。

Comments 24 pages, 8 figures

Journal ref ACL 2026 Findings

RAGCap-Bench: Benchmarking Capabilities of LLMs in Agentic Retrieval Augmented Generation Systems

RAGCap-Bench: 评估代理检索增强生成系统中LLM能力的基准测试

Jingru Lin, Chen Zhang, Stephen Y. Liu, Haizhou Li

机构 * National University of Singapore（新加坡国立大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出RAGCap-Bench，用于评估代理检索增强生成系统中中间任务的细粒度能力，通过分析现有系统输出识别常见任务和核心能力，设计针对性评估问题，实验表明增强中间能力的模型能获得更好的整体性能。

Exploring Code Analysis: Zero-Shot Insights on Syntax and Semantics with LLMs

探索代码分析：利用大语言模型进行语法和语义的零样本洞察

Wei Ma, Zhihao Lin, Shangqing Liu, Qiang Hu, Ye Liu, Wenhan Wang, Cen Zhang, Liming Nie, Li Li, Yang Liu, Lingxiao Jiang

机构 * Singapore Management University（新加坡国立大学） ； Blekinge Institute of Technology（布莱金厄学院） ； Beihang University（北航） ； State Key Laboratory of Novel Software Technology, Nanjing University（南京大学软件新技术国家重点实验室） ； The University of Tokyo（东京大学） ； University of Alberta（阿尔伯塔大学） ； Nanyang Technological University（南洋理工大学） ； Shenzhen Technology University（深圳技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了大语言模型在代码分析中的应用，通过评估21种最先进的LLM在四种语言中的九项任务，揭示了LLM在语法解析、静态语义推断和动态推理方面的性能，发现其在跨语言泛化方面有优势，但动态推理仍有限，提出了一个经过验证的评估框架。

Comments Accepted at ACM Transactions on Software Engineering and Methodology (TOSEM)

AtelierEval: Agentic Evaluation of Humans & LLMs as Text-to-Image Prompters

AtelierEval: 人类与LLM作为文本到图像提示器的代理评估

Hanjun Luo, Zhimu Huang, Sylvia Chung, Yiran Wang, Yingbin Jin, Jialin Li, Jiang Li, Xinfeng Li, Hanan Salam

机构 * New York University Abu Dhabi（纽约大学阿布扎克校区） ； Nanyang Technological University（南洋理工大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 评测与基准 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出AtelierEval，首个统一基准，通过360个专家设计的任务量化提示能力，引入技能基于的记忆增强代理评估器，实现与人类专家的高相关性，验证了提示器在图像增强方向的优越性。

Comments Accepted by ICML 2026

GS-QA: A Benchmark for Geospatial Question Answering

GS-QA：一个地理空间问答的基准测试

Majid Saeedan, Muhammad Shihab Rashid, Ahmed Eldawy, Vagelis Hristidis

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出GS-QA基准测试，用于评估地理空间问答系统，通过结合多个来源的信息，涵盖广泛的空间对象、谓词和答案类型，展示了现有方法在处理复杂空间谓词和多源推理时的局限性。