语言大模型 / LLM

TrojanGYM: A Detector-in-the-Loop LLM for Adaptive RTL Hardware Trojan Insertion

TrojanGYM：一种检测器在环的大语言模型用于自适应RTL硬件木马插入

Saideep Sreekumar, Zeng Wang, Akashdeep Saha, Weihua Xiao, Minghao Shao, Muhammad Shafique, Ozgur Sinanoglu, Ramesh Karri, Johann Knechtel

机构 * NYU Tandon School of Engineering（纽约大学Tandon工程学院） ； NYU Abu Dhabi（纽约大学阿布扎克分校） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 提出TrojanGYM框架，利用大语言模型智能体自动生成多样化的硬件木马，暴露基于GNN的检测器盲点，并设计鲁棒检测器Robust-GNN4TJ，在生成的基准上将检测率从0%提升至60%。

From Detection to Recovery: Operational Analysis on LLM Pre-training with 504 GPUs

从检测到恢复：504 GPU上LLM预训练的运营分析

Daemyung Kang, Eunjin Hwang, Hanjeong Lee, HyeokJin Kim, Hyunhoi Koo, Jeongkyu Shin, Jeongseok Kang, Jihyun Kang, Jinho Heo, Joongi Kim, Junbum Lee, Jungseung Yang, Kyujin Cho, Youngsook Song

机构 * Lablup Inc.（Lablup公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文通过分析一个63节点NVIDIA B200生产集群（504 GPU）55天的Prometheus时间序列数据和73天的运营日志，提出了三项定量分析，揭示了多信号检测策略、存储I/O瓶颈和自动重试恢复机制的有效性。

Comments 42 pages, 19 figures, 16 tables. Lablup Technical Report

COGNITION: From Evaluation to Defense against Multimodal LLM CAPTCHA Solvers

认知：从评估到对抗多模态大语言模型CAPTCHA求解器

Junyu Wang, Changjia Zhu, Yuanbo Zhou, Lingyao Li, Xu He, Mingkui Wei, Junjie Xiong

机构 * Missouri University of Science and Technology（密苏里科技大学） ； University of South Florida（佛罗里达州立大学） ； Visa Inc.（Visa公司） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究多模态大语言模型如何削弱视觉CAPTCHA的安全性，评估7种主流MLLM在18种CAPTCHA任务中的表现，揭示其解决能力及防御策略。

Comments Accepted by USENIX Sec'26

CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

仓颉基准：在低资源通用编程语言上评估大语言模型

Junhang Cheng, Fang Liu, Jia Li, Chengru Wu, Nanxiang Jiang, Li Zhang

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CangjieBench，用于评估大语言模型在低资源通用编程语言上的表现，通过248个高质量样本覆盖文本到代码和代码到代码任务，发现语法受限生成在准确性和计算成本之间取得最佳平衡。

Comments Accepted by ESEM 2026

How Significant Are the Real Performance Gains? An Unbiased Evaluation Framework for GraphRAG

实际性能提升有多显著？GraphRAG的无偏评估框架

Qiming Zeng, Hao Luo, Yuhao Lin, Yicheng Jin, Yuxiang Wang, Fangcheng Fu, Xiao Yan, Jiawei Jiang

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, Peking University（北京大学计算机学院） ； Centre for Perceptual and Interactive Intelligence (CPII)（感知与交互智能中心） ； OceanBase 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对GraphRAG现有评估框架的不相关问题与评估偏差缺陷，提出无偏评估框架并发现代表性GraphRAG方法的性能提升远小于此前报告结果，呼吁开展科学评估。

Beyond Representational Similarity: Source-Conditioned Description-Length Gain for Generative Plagiarism Detection and Candidate Source Reranking

超越表征相似性：面向生成式剽窃检测与候选源重排序的源条件描述长度增益

Peijia Guo, Wenxuan Xie, ZiGuang Li, Ming Li

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对生成式剽窃检测难题，提出源条件描述长度增益（SCDG）框架，在PAN基准等测试中优于现有基线，可有效检测大量改写后的源复用。

SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs

SimulCost: 一个用于自动化物理模拟的代价感知基准与工具包

Yadi Cao, Sicheng Lai, Jiahe Huang, Yang Zhang, Zach Lawrence, Rohan Bhakta, Izzy F. Thomas, Mingyun Cao, Chung-Hao Tsai, Zihao Zhou, Yidong Zhao, Hao Liu, Alessandro Marinoni, Alexey Arefiev, Rose Yu

机构 * University of California San Diego（加州大学圣地亚哥分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； California Institute of Technology（加州理工学院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对现有LLM评估忽略工具使用代价的问题，提出SimulCost基准，通过单轮和多轮参数调优任务比较LLM与传统扫描方法在准确性和计算代价上的表现，发现LLM在高精度任务中初始猜测不可靠且多轮模式效率更低。

Comments post conference revision version at ICML; update: removed CGYRO due to bug in cases search. Will add back soon

Universal One-third Time Scaling in Learning Peaked Distributions

学习尖峰分布中的普适三分之一时间缩放

Yizhou Liu, Ziming Liu, Cengiz Pehlevan, Jeff Gore

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过理论分析和实验验证，揭示了使用softmax和交叉熵学习尖峰分布时，损失和梯度呈幂律衰减，导致损失时间缩放指数为1/3的普适瓶颈，为神经缩放现象提供了机理解释。

Comments Camera-ready version, ICML 2026

MoDAl: Self-Supervised Neural Modality Discovery via Decorrelation for Speech Neuroprosthesis

MoDAl: 基于去相关的自监督神经模态发现用于语音神经假体

Yuanhao Chen, Peter Chin

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出MoDAl框架，通过对比学习和对齐损失与去相关损失之间的协同作用，从多脑区发现互补神经模态，在Brain-to-Text Benchmark '24上将词错误率从26.3%降至21.6%。

Comments Accepted at ICMI 2026

When Outputs Disperse, Does Epistemic Revision Follow? A Black-Box Diagnostic for Machine Collectives

当输出分散时，认知修正会随之而来吗？面向机器集体的黑盒耦合诊断方法

Molood Arman

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出黑盒耦合诊断方法，评估LLM集体输出分散度干预与认知立场修正的关联，发现不同模型的错误前提恢复效应存在显著差异，建议报告立场转变及保留前提率。

Comments Reviewed at Collective Intelligence 2026 (CI 2026) Conference. Revised version incorporating reviewer feedback

Moral Semantics Survive Machine Translation: Cross-Lingual Evidence from Moral Foundations Corpora

道德语义在机器翻译中得以保留：来自道德基础语料库的跨语言证据

Maciej Skorski

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了基于LLM的翻译是否能弥合道德价值观分类中语言特定标注语料库的差距，通过波兰语案例展示直接翻译能有效保留微妙的道德线索，为资源匮乏语言的道德研究提供了可行路径。

Comments Accepted to GoodIT'26

Beyond Borrowed Histories: Person-Aligned User Simulation for Interactive Role-Playing Evaluation

超越借用的历史：用于交互式角色扮演评估的人物对齐用户模拟

Yuhang Zhu, Mingxuan Du, Benfeng Xu, Jie Gao, Lingyun Yu, Hongtao Xie

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对现有RPA评估基准的局限，提出基于用户模拟器的PALATE基准，通过个性化评分标准和多轮自由对话评估，生成针对特定用户-RPA对的可解释评估。

Comments 29 pages, 3 figures, including supplementary material. Resources: https://github.com/Zhuyh1139/PALATE

Between Suppression and Collapse: Evaluating Narrative Unlearning with LENS

在抑制与崩溃之间：用LENS评估叙事去学习

Viktoriia Makovska, George Fletcher

机构 * Ukrainian Catholic University（乌克兰天主教大学） ； Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型再现虚假叙事问题，引入LENS评估协议，通过实验评估两个叙事，涵盖四个模型，用SCE分数评估，发现选定检查点可减少叙事再现，有实体恢复副作用，证明LENS是成功的诊断协议。

DRIP-R: A Benchmark for Decision-Making and Reasoning Under Real-World Policy Ambiguity in the Retail Domain

DRIP-R：零售领域决策与推理在现实政策模糊性下的基准测试

Hsuvas Borkakoty, Sebastian Pohl, Cheng Wang, Bei Chen, Yufang Hou

机构 * Interdisciplinary Transformation University Austria（跨学科转型大学奥地利） ； Amazon Berlin（亚马逊柏林） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 DRIP-R基准测试通过现实零售政策模糊性构建无唯一正确解决方案的场景，评估LLM在模糊政策下的决策与推理能力，揭示其固有的系统性挑战。

Comments 10 pages

REAP: Automatic Curation of Coding Agent Benchmarks from Interactive Production Usage

REAP：从交互生产使用自动整理编码代理基准

Smriti Jha, Matteo Paltenghi, Chandra Maddila, Vijayaraghavan Murali, Shubham Ugare, Satish Chandra

机构 * Meta, USA（Meta公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 REAP通过自动化流程从真实开发者与代理交互中构建生产基准，解决评估信号不可靠问题，通过LLM分类和多轮稳定性检查确保基准可信。

Comments Accepted at ASE 2026 Industry Showcase

From "Help" to Helpful: A Hierarchical Assessment of LLMs in Mental e-Health Applications

从‘帮助’到‘有用’：对LLMs在心理健康电子服务中的分层评估

Philipp Steigerwald, Jens Albrecht

机构 * Technische Hochschule Nürnberg – Georg Simon Ohm（纽伦堡技术大学——格奥尔格·西蒙·欧姆学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估了11种LLM在生成德国咨询邮件主题行中的表现，发现德国微调能提升性能，同时探讨了心理健康AI部署中的隐私、偏见和问责制等伦理问题。

Comments Accepted for the Springer CCIS post-proceedings of ICT4AWE 2025

Can AI Agents Really Complete RTL-to-GDS? Lessons from Benchmarking Tool-Interactive EDA Workflows

人工智能代理真的能完成从RTL到GDS的转换吗？基准测试工具交互式EDA工作流程的经验教训

Jinyuan Deng, Zhengrui Chen, Xufeng Wei, Tianyu Xing, Chenyi Wen, Qi Sun, Cheng Zhuo

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 研究探讨人工智能代理在EDA工作流程中的表现，提出FluxBench进行系统评估，涵盖多种场景并评估多项能力，引入Token ROI指标。结果显示不同代理系统架构性能有差距，特定领域技能不是提升性能的唯一关键，系统设计和基础模型能力也很重要。

PennySynth: RAG-Driven Data Synthesis for Automated Quantum Code Generation

PennySynth：基于RAG的数据合成用于自动量子代码生成

Minghao Shao, Nouhaila Innan, Hariharan Janardhanan, Muhammad Kashif, Alberto Marchisio, Muhammad Shafique

机构 * eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD)（eBRAIN实验室，工程系，纽约大学阿布扎比分校） ； Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute（量子与拓扑系统中心（CQTS），NYUAD研究所） ； Department of Computer Science and Engineering, NYU Tandon School of Engineering（计算机科学与工程系，纽约大学坦顿工程学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出PennySynth框架，通过检索增强生成和代码感知嵌入，利用13,389个PennyLane指令-代码对数据集，在QHack竞赛中实现52%-68%的pass@5，显著提升量子代码生成的结构有效性和功能正确性。

Comments Accepted at the IEEE International Conference on Quantum Computing and Engineering (QCE), 2026

Reducing Hallucinations in Complex Question Answering using Simple Graph-based Retrieval-Augmented Generation (long version)

减少复杂问答中的幻觉：使用基于简单图的检索增强生成（长版）

Christopher J. Wedge, Joshua Stutter, Danny Dixon, Jacek Cała

机构 * National Innovation Centre for Data（数据创新研究中心） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出一种轻量级图结构支持的检索增强生成系统，通过结合向量搜索和图查询工具，在复杂问答任务中将幻觉答案数量减半，并显著提升事实正确性的精确率和召回率。

Comments 25 pages; expanded limitations section, corrected typos throughout and missing values in appendix table 1

Improving Answer Extraction in Context-based Question Answering Systems Using LLMs

利用大语言模型改进基于上下文的问答系统中的答案提取

Hafez Abdelghaffar, Ahmed Alansary, Ali Hamdi

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有问答系统在复杂或模糊查询下答案提取不准确的问题，提出基于微调预训练大语言模型的方法，在SQuAD1.1数据集上取得ROUGE-L 86.84%、BLEU 28.24%、BERTScore 95.38%的高性能。

Comments 7 pages, IMSA2026

Evaluating LLMs When They Do Not Know the Answer: Statistical Evaluation of Mathematical Reasoning via Comparative Signals

评估LLMs在不知道答案时的性能：通过比较信号进行数学推理的统计评估

Zihan Dong, Zhixian Zhang, Yang Zhou, Can Jin, Ruijia Wu, Linjun Zhang

机构 * Rutgers University（罗格斯大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种统计高效的方法，通过结合标准结果与成对比较信号，提升LLM数学推理能力评估的准确性和稳定性。

LVSum: A Benchmark for Timestamp-Aware Long Video Summarization

LVSum：一个用于时间感知长视频摘要的基准测试

Alkesh Patel, Melis Ozyildirim, Ying-Chang Cheng, Ganesh Nagarajan

机构 * Apple（苹果公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LVSum基准测试，用于评估长视频摘要中时间对齐的性能，通过引入新的评估指标揭示现有MLLM在时间理解上的系统性差距。

Comments 25 pages, 5 tables, 3 figures

Multi-Agent Routing as Set-Valued Prediction: A WildChat Benchmark and Cost-Aware Evaluation

多智能体路由作为集值预测：一个WildChat基准与成本感知评估

Ananto Nayan Bala, Faisal Muhammad Shah

机构 * Ahsanullah University of Science and Technology（阿萨努拉科学与技术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出基于WildChat的多智能体路由基准，包含3000个提示和12个智能体目录，采用集值评估指标和成本感知加权路由，实验表明监督方法优于零样本LLM。

Comments 9 pages, 8 figures

DeepTutor: Towards Agentic Personalized Tutoring

DeepTutor：迈向代理式个性化辅导

Bingxi Zhao, Jiahao Zhang, Xubin Ren, Zirui Guo, Tianzhe Chu, Yi Ma, Chao Huang

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 DeepTutor通过结合引用基础问题辅导与难度校准的问题生成，提出一个统一的开放源码框架，利用静态知识和动态学习者记忆实现个性化适应，并在五个领域大学课程中评估个性化教学效果。

Comments Tech Report, work in progress. Code available at https://github.com/HKUDS/DeepTutor

ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety

ROK-FORTRESS：衡量地缘政治转译对国家安全和公共安全的影响

Michael S. Lee, Yash Maurya, Drew Rein, Bert Herring, Jonathan Nguyen, Kyungho Song, Udari Madhushani Sehwag, Jiyeon Cho, Kaustubh Deshpande, Yeongkyun Jang, Jiyeon Joo, Minn Seok Choi, Evi Fuelle, Christina Q. Knight, Joseph Brandifino, Max Fenkell

机构 * Scale AI 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ROK-FORTRESS基准，通过英韩语言对和美韩地缘政治轴，评估语言与地缘政治交互对国家安全的影响，发现韩语版本存在压制效应，且模型间表现差异显著。

Comments 16 pages main text + appendix (74 pages total), 4 figures and 2 tables in main text; dataset at https://huggingface.co/datasets/ScaleAI/ROK-FORTRESS_public

Estimating Individual Tree Height and Species from UAV Imagery

利用无人机影像估计单株树木高度和树种

Jannik Endres, Etienne Laliberté, David Rolnick, Arthur Ouaknine

机构 * Mila – Quebec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） 纠错

专题命中 评测与基准 ：foundation model(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出BIRCH-Trees基准，结合三种森林类型数据，引入DINOvTree模型，通过Vision Foundation Model实现高度和树种同时预测，实验表明其在参数效率和预测精度上表现优异。

Comments Accepted to ECCV 2026. Project page: https://RolnickLab.github.io/DINOvTree

MedCase-Structured: A Text-to-FHIR Dataset for Benchmarking Diagnostic Reasoning in Clinically Realistic EHR Settings

MedCase-Structured：用于在临床真实EHR环境中基准测试诊断推理的文本到FHIR数据集

Valentina Bui Muti, Eugénie Dulout, Ziquan Fu

机构 * System Inc.（系统公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一个从非结构化文本生成临床真实HL7 FHIR R4数据集的流水线，构建MedCase-Structured数据集，发现LLMs在结构化FHIR输入上的诊断准确性低于纯文本，强调部署对齐基准测试的重要性。

Comments Accepted to ICML 2026 Structured Data for Health Workshop

RARE: Redundancy-Aware Retrieval Evaluation Framework for High-Similarity Corpora

RARE：面向高相似性语料的冗余感知检索评估框架

Hanjun Cho, Jay-Yoon Lee

机构 * Allganize ； Seoul National University（首尔国立大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 RARE通过分解文档为原子事实和增强LLM生成数据，构建更真实的基准，揭示当前评估体系无法捕捉的鲁棒性差距。

Comments Accepted to ACL 2026 (Main Conference)

ReportLogic: Evaluating Logical Quality in Deep Research Reports

ReportLogic: 评估深度研究报告的逻辑质量

Jujia Zhao, Zhaoxin Huan, Zihan Wang, Xiaolu Zhang, Jun Zhou, Suzan Verberne, Zhaochun Ren

机构 * Leiden Institute of Advanced Computer Science, Leiden University（莱顿先进计算机科学研究所，莱顿大学） ； Ant Group（蚂蚁集团） ； CISPA Helmholtz Center for Information Security（信息安全霍普夫中心） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出ReportLogic基准，通过可审计性视角量化报告逻辑质量，包含宏观逻辑、阐述逻辑和结构逻辑三层评估，并训练开源LogicJudge进行可扩展评估。

Comments Accepted by ACL 2026 main

WASIL: In-the-Wild Arabic Spoken Interactions with LLMs

WASIL：真实场景下阿拉伯语口语交互与LLMs

Zien Sheikh Ali, Hamdy Mubarak, Soon-Gyo Jung, Hunzalah Hassan Bhatti, Firoj Alam, Shammur Absar Chowdhury

机构 * Qatar Computing Research Institute, Qatar（卡塔尔计算研究所） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出WASIL数据集，包含真实阿拉伯语口语交互数据，包含音频、ASR假说、助手回复及显式喜欢/不喜欢反馈，用于评估LLMs在真实场景下的表现。

Comments Spoken Prompts, Multilingual LLMs, Speech-based Evaluation, Dialectal Speech, Low-resource Languages, Conversational AI, Speech-to-Text QA, Real-world Interaction, Spoken Language Understanding