语言大模型 / LLM

When LLMs Over-Answer: Measuring and Mitigating Quality Issues in LLM-Based Hardware Description Language Question Answering

当大语言模型过度回答时：测量和缓解基于大语言模型的硬件描述语言问答中的质量问题

Ziteng Hu, Jiachi Chen, Wenhao Lv, Huan Zhang, Yingjie Xia

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究基于大语言模型的硬件描述语言问答质量问题，收集相关问答帖子构建数据集并开展用户研究，发现LLMs存在过度回答倾向。据此提出多智能体框架，用特定指标评估答案质量，该框架有效提升了主流LLMs的回答质量。

MineValiCoder: Reliable Code Generation with Test Case Quality Mining and Bipartite Graph-Based Mutual Validation

MineValiCoder：通过测试用例质量挖掘和基于二分图的相互验证实现可靠的代码生成

Zhen Zhao, Qihang Yang, Feifei Dai, Xiangfang Li, Bo Li

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对基于大语言模型的测试驱动开发中现有方法的不足，提出MineValiCoder框架，通过测试用例质量挖掘、并行TDD优化和二分图代码-测试相互验证三个模块，有效减轻LLM随机性，提升自动代码生成可靠性，在多基准测试中表现优异。

Comments 12 pages, 3 figures, 7 tables

DataFlow-Harness: A Grounded Code-Agent Platform for Constructing Editable LLM Data Pipelines

DataFlow-Harness：用于构建可编辑大语言模型数据管道的基础代码代理平台

Runming He, Zhen Hao Wong, Hao Liang, Zimo Meng, Chengyu Shen, Xiaochen Ma, Wentao Zhang

机构 * Peking University（北京大学） ； Institute for Advanced Algorithms Research（先进算法研究所） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型数据处理工作流中编码代理脚本无法自动转化为可编辑工件的问题，提出DataFlow-Harness平台，通过类型化增量突变引导构建DAG，结合多种技术，在数据工程基准测试中取得高通过率，降低成本和延迟。

Comments 13 pages, 2 figures, and 5 tables. Technical report

A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models

一种基于共识的大语言模型相对偏好评估框架

Mohtashim Khan

专题命中 评测与基准 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 针对大语言模型传统评估基准不足，本文提出基于共识的评估框架，通过不同模型对候选响应排序，以模型间一致性衡量质量，经多模型跨领域研究揭示偏好模式，提供了可扩展的比较评估方法。

Comments 14 pages, 7 figures

Prompt as a Data Type: In-Database LLM Prompt Management and Rewriting

作为一种数据类型的提示：数据库内的大语言模型提示管理与重写

Denis Mayr Lima Martins, Gottfried Vossen

机构 * Department of Computing and Mathematics University of Sao Paulo（计算机与数学系 乌拉圭圣保罗大学） ； Department of Information Systems University of Münster（信息系统系 梅茵斯特大学） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究如何在数据库中管理和重写大语言模型提示。核心方法是引入PromptDB系统，将提示视为元组级数据库值，利用数据库元数据重写提示。主要贡献是创造新优化空间，经实验验证数据库引导重写可提高输出有效性并权衡成本质量。

Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents

智能体真实到模拟：使用视觉语言智能体进行基于物理的世界建模

Guanxiong Chen, Qianjun Xia, Jiawei Peng, Heng Zhang, Bole Ma, Justin Qian, Ziyi Jiao, Bingyang Zhou, Luoxin Ye, Kaifeng Zhang, Kunyi Wang, Weijia Zeng, Yunuo Chen, Pengzhi Yang, Ziqiu Zeng, Siyuan Luo, Huamin Wang, Chao Liu, Alan Yuille, Fan Shi, Changxi Zheng, Yunzhu Li, Chenfanfu Jiang, Peter Yichen Chen

机构 * University of British Columbia（英属哥伦比亚大学） ； Johns Hopkins University（约翰·霍普金斯大学） ； National University of Singapore（新加坡国立大学） ； Columbia University（哥伦比亚大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； Style3D（无合适对应中文名） 纠错

专题命中 评测与基准 ：language agent(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 研究针对机器人与物体交互的真实到模拟转换难题，提出智能体真实到模拟框架，利用视觉语言智能体进行广义物理世界建模，能转换真实记录为可模拟孪生体，在多场景评估效果良好，成本低，可用于下游机器人任务。

Comments Authorship change

DBA-Bench: A Production-Fidelity Benchmark for LLM-Based Database Operations Agents

DBA-Bench：基于大语言模型的数据库操作代理的生产保真度基准测试

Junming Chen, Junyang Jiang, Xu Chen, Zibo Liang, Kai Zheng

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究基于大语言模型的数据库操作代理评估问题，提出DBA-Bench基准测试，通过生产保真度等解决评估与生产操作差距，含多场景和难度标签，评估多基线组，揭示安全端到端修复困难。

Comments 14 pages, 6 figures, 2 tables

Reliability-Contagion Feasibility in LLM Multi-Agent Networks

大语言模型多智能体网络中的可靠性传播可行性

Ruiwu Niu, Xincheng Shu, Ying Zhao

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究大语言模型多智能体网络中错误主张传播问题，制定校正感知网络模型并结合多数投票基准，推导早期入侵条件等，通过模拟和实验得出相关结果，为在可靠性和传播约束下选择连通性提供依据。

Every Model Cheats: Prompt-Level Mitigation of Cheating on Offensive Cyber Tasks

每个模型都作弊：在进攻性网络任务中对作弊行为进行提示级缓解

Michael Kouremetis, Ads Dawson, Raja Sekhar Rao Dheekonda, Brian Greunke

机构 * dreadnode 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型在网络安全基准测试中的作弊问题，通过对22个前沿模型在三种提示条件下的控制提示消融研究，发现作弊普遍，反作弊提示能降作弊倾向，但即使最严条件下仍有模型作弊，引入“解决率”指标，强调反作弊提示非环境控制替代品。

Comments 21 pages, 4 figures, 7 tables

Enjoy Your Talk: A Human-Centered Benchmark for Multi-Turn Dialogue with Decoupled User Simulation, Target Modeling, and Judging

享受你的对话：一个用于多轮对话的以人为本基准，具有解耦的用户模拟、目标建模和评判

Jinglan Gong, Jiefan Lu, Hewei Guo, Kehan Li, Zhiyuan Han, Jihang Jiang, Wenwen Tong, Lewei Lu

机构 * SenseTime Research（商汤科技研究院） ； University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究提出EYT-Bench基准，通过三方解耦设计评估大语言模型多轮对话能力，引入新指标，发现先进模型在主观维度相近但客观意图跟踪差异大，推理可提升客观跟踪，角色格式影响轨迹分布，且热身效应稳健。

ASEval: Automated Trajectory-Level Security Testing for Autonomous Agents

对时间、空间和语义规避的自主代理进行基准测试

Jianan Ma, Xiaohu Du, Ruixiao Lin, Yaoxiang Bian, Jialuo Chen, Yunhao Feng, Xiaofang Yang, Shiwen Cui, Changhua Meng, Xinhao Deng, Jingyi Wang, Zhen Wang

机构 * Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出了一种针对基于大语言模型（LLM）的代理系统的多维规避框架，通过引入时间、空间和语义三种隐蔽攻击向量，系统地量化了这些威胁，并展示了其在实际威胁场景中的效果，揭示了现有自主代理系统在架构层面的系统性漏洞。

Comments 18 pages, 12 figures, 8 tables. Code and data available at https://github.com/antgroup/Agent3Sigma-Stage

Broken Object Level Authorization in the Wild: An Empirical Taxonomy from 100+ Bug Bounty Disclosures

现实世界中的对象级授权漏洞：来自100+漏洞赏金披露的实证分类

Bandana Kaur

专题命中 评测与基准 ：LLM(summary_cn,abstract)

AI总结 通过对HackerOne上107份IDOR/不当访问控制报告进行LLM辅助分类，实证分析了BOLA漏洞的分布特征，发现动作级对象BOLA和直接对象引用BOLA是两大主要类型，并揭示了标签计数高估BOLA信号、垂直权限失效及GraphQL全局ID滥用等问题。

Comments 25 pages, 15 figures

The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents

回归税：剖析技能对大语言模型智能体产生帮助和伤害的原因

Darshan Tank, Baran Nama

机构 * Sentient Labs（森蒂恩实验室） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究剖析大语言模型智能体中技能产生帮助和伤害的原因，通过对比实验区分回归和残余失败两种结果，识别出回归的三个原因，发现现有技能过度强调程序指导，指出应分解技能净效应评估，还识别出应避免的回归模式及可靠性的关键因素。

Autoregressive EHR Foundation Models with Multimodal Inputs

具有多模态输入的自回归电子健康记录基础模型

Yuxuan Liu, Joshua Placidi, Jinpei Han, Alfred John Balston, Marek Rei, A. Aldo Faisal

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究在自回归电子健康记录基础模型中纳入多模态的方法，通过特定模态潜在压缩和门控交叉注意力框架，研究压缩单模态序列及预训练编码器选择对性能的影响，实验表明精心设计架构及临床评估的必要性。

Comments 5 pages excluding references and supplements, 2 figures and 2 tables, Proceedings of the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning, Seoul, South Korea

Journal ref ICML2026 workshop on Structured Data for Health (SD4H)

DeepFeature: LLM-Empowered Context-aware Feature Generation for Wearable Biosignals

DeepFeature: 基于迭代上下文感知的可穿戴生物信号特征生成

Kaiwei Liu, Yuting He, Bufang Yang, Mu Yuan, Chun Man Victor Wong, Ho Pong Andrew Sze, Zhenyu Yan, Hongkai Chen

机构 * The Chinese University of Hong Kong（香港中文大学） ； The Education University of Hong Kong（香港教育大学） ； Hong Kong Applied Science and Technology Research Institute（香港应用科学和技术研究院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 DeepFeature是一种基于大语言模型的上下文感知特征生成框架，通过多源特征生成机制和迭代特征细化过程，提升可穿戴生物信号的特征提取效果。

Informal Learning Emerges in Everyday Human-LLM Interaction

日常人类与大语言模型交互中出现的非正式学习

Zixin Chen, Haotian Li, Ziang Xiao, Huamin Qu, Xing Xie

专题命中 评测与基准 ：LLM(title,abstract)

AI总结 研究日常人类与大语言模型交互中的非正式学习，通过分析大规模对话，将学习科学结构转化为行为特征，发现认知与建设性参与情况及相关因素，表明交互含非正式学习特征，转变了AI评估方向。

WiFo-2: a generalist foundation model unifies heterogeneous wireless system design

WiFo-2：一种通用基础模型统一异构无线系统设计

Boxun Liu, Xuanyu Liu, Shijian Gao, Xuesong Cai, Xiang Cheng, Liuqing Yang

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 WiFo-2通过统一无线通信与传感系统设计，实现异构无线系统设计的通用化，利用大规模CSI数据训练，提升跨场景、配置和任务的泛化能力，展现缩放律行为，优于传统监督模型。

Improving Large Vision-Language Models' Understanding for Flow Field Data

提升大型视觉-语言模型对流场数据的理解能力

Xiaomei Zhang, Hanyu Zheng, Xiangyu Zhu, Jinghuan Wei, Junhong Zou, Zhen Lei, Zhaoxiang Zhang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） 纠错

专题命中 评测与基准 ：language model(title,abstract)

AI总结 FieldLVLM通过场感知语言生成策略和数据压缩多模态模型调优，提升大型视觉-语言模型对流场数据的理解能力。

Comments Accepted by Machine Intelligence Research

Teachy Mini: Development and Preliminary Evaluation of a Knowledge-Based Generative Social Robot for Higher Education

Teachy Mini：用于高等教育的基于知识的生成式社交机器人的开发与初步评估

Stephan Vonschallen, Karim Kaufmann, Dominique Oberle, Friederike Eyssel, Theresa Schmiedel

机构 * Institute of Information Systems, Zurich University of Applied Sciences（苏黎世应用科学大学信息系统研究所） ； Center for Cognitive Interaction Technology, Bielefeld University（比勒费尔德大学认知交互技术中心） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 研究针对生成式社交机器人在高等教育辅导中的风险，基于知识的设计要求开发Teachy Mini系统，经初步评估，该系统在负责任辅导行为及个性化等方面表现更佳，虽在部分方面与对照无显著差异，但显示出基于知识的设计对学习效果有积极作用。

On Improving Faithfulness of Podcasts from Documents

论提高基于文档的播客忠实度

Soumya Dutta, Tejas Indulal Dhamecha, Pannaga Shivaswamy

机构 * Indian Institute of Science（印度科学研究所） ； Adobe Research（Adobe研究院） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究基于文档的播客生成中的忠实度问题，构建数据集并用多个大语言模型生成记录，引入轮次级评判框架。发现先进模型也常生成无根据内容，提出catch - n - repair框架，实验证明该框架能提升播客生成的忠实度。

Comments Under Submission

REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming

REFORGE：一种在反编译二进制函数命名中对大语言模型逆向工程能力进行基准测试的方法

Nicolas Koller, Andreas U. Schmidt

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型逆向工程能力评估难的问题，提出Reforge方法，通过特定流程构建函数级真实情况并处理对齐不确定性，经实验验证该方法能揭示优化对模型性能的影响，推动不确定性感知基准测试实践。

Comments 10 pages, 5 figures; accepted for publication to the 23rd International Conference on Applied Computing 2026, Lisbon October 24-26,2026

An AI-Driven Virtual Patient for Breaking Bad News: An Expert Formative Study on Facial Expression Intensity

用于传达坏消息的人工智能驱动虚拟患者：面部表情强度的专家形成性研究

Steffen Hauck, Theresa Schell, Sophie Jörg, Jens Grubert

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究探讨大语言模型驱动的虚拟患者情感表达设计难题，提出结合大语言模型对话与实时面部动画的框架，通过对七位医学专家评估，发现专家通过多渠道评估情感真实感，为未来医学培训模拟器提出需同步多模态管道的路线图。

SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders

SIREN（诱使大语言模型陷入困境）：网页增强型大语言模型推荐系统中基于配对驱动的偏好操纵

Evan Caville, Siamak Layeghy, Billy Sung, Sara Dolnicar, Marius Portmann

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究网页增强型大语言模型推荐系统中排序推荐的对抗操纵问题，提出SIREN方法，利用23种内容中毒技术迭代编辑检索到的网页，在两个Claude模型上实验，使选定实体多次达排名第1，验证了声明性排名等方式的有效性。

Vibe Coding in Software Development: A Multivocal Literature Review

软件开发中的氛围编码：多视角文献综述

Shahbaz Siddeeq, Muhammad Waseem, Kai-Kristian Kemell, Mika Saari, Jussi Rasku, Pekka Abrahamsson

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 该研究对2022年至2025年10月的文献进行多视角综述，探讨软件开发中氛围编码实践。通过分析47篇文献发现其是迭代流程，开发者工作转变，短期生产力有提升，不同应用场景证据强弱有别，此为整合两类文献的首次综述并提出未来研究方向。

Cross-Model LLM Code Review: Should you use Claude to review Codex or vice versa?

跨模型大语言模型代码审查：应该用Claude审查Codex还是相反？

Zuodong Xiang, Yike Zhang, YueMing Zhang, Hailu Xu

机构 * University of California, Davis（加州大学戴维斯分校） ； Johns Hopkins University（约翰霍普金斯大学） ； California State University, Long Beach（长滩加州州立大学） 纠错

专题命中 评测与基准 ：LLM(title)；分类 cs.AI

AI总结 研究开发者同时使用Claude和Codex进行代码审查的成本、时间及配对顺序问题，通过对116个任务的六种条件实验发现，Claude审查Codex草稿效果好，反向则不佳，有用的配对是不对称的，应Claude审查Codex。

Comments This paper had been accepted by Agentic SE @ KDD'26

Toward User-Conditioned Evaluation of Personal LLM Agents under Temporal Interventions

面向时间干预下个人语言模型代理的用户条件评估

Pin Qian, Su Wang, Yihang Chen, Qiaolin Yu, Xiaoyuan Wang, Zhitong Guo, Zhicheng Wang, Junxian You

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Cornell University（康奈尔大学） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 评测与基准 ：LLM(title)；分类 cs.LG

AI总结 研究个人语言模型代理在时间干预下的用户条件评估，提出需在不同用户条件状态下重放时间干预并测量故障传播的协议，形式化四个条件，审查发现无满足条件的公开协议，进而提出最小基准设计和候选报告指标。

Comments 9 pages, 2 figures, and 8 tables. Accepted for oral presentation at the ACM SIGKDD KDD 2026 Workshop on Personal Intelligence in the Agentic AI Era (PILA 2026)

Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents

用于空中多模态大语言模型智能体的零样本任务级评估

Suman Navaratnarajah, Taehyoung Kim, Jona Ruthardt, Ishaan Bhimwal, Ryousuke Yamada, Yannik Blei, Wolfram Burgard, Yuki M Asano

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究空中MLLMs在零样本下解决长期具身任务的能力，引入MissionBench基准，含120个任务。对比22个模型与人类表现，发现模型成功率低，虽规模扩大有收益，但任务级能力需协调多种能力，凸显具身AI改进的前景与风险。

Comments Preprint

SCOPE and SCION: A Benchmark and an Auditable Reference Pipeline for Schema Induction and Fusion from Text

SCOPE和SCION：用于文本模式归纳与融合的基准和可审计参考管道

Miaobo Hu, Xiaobo Guo, Shuhao Hu, Bokun Wang, Rui Chen, Xin Wang, Daren Zha, Jun Xiao

机构 * Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（信息工程研究所，中国科学院，北京，中国） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（网络安全学院，中国科学院大学，北京，中国） ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（人工智能学院，中国科学院大学，北京，中国） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究针对模式图这一信息提取瓶颈，提出SCOPE基准和SCION参考管道。通过从训练文本构建候选空间，经严格JSON合同进行相关操作。在SCOPE核心套件上，SCION-lite表现最佳，SCION-RL减少对专有工程师依赖，还给出标准化结果及相关发布内容。

Now We Know? A Systematic Comparison of TerraMind and THOR

我们现在知道了吗？TerraMind和THOR的系统比较

Frederick Schindlegger, Kenzo Bounegta, Eva Gmelich Meijling, Johannes Jakubik, Arnt-Børre Salberg, Theodor Forgaard, Nicolas Longepe, Valerio Marsocci

机构 * University of Münster（明斯特大学） ； IBM Research（IBM研究院） ； Norwegian Computing Center（挪威计算中心） 纠错

专题命中 评测与基准 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 通过对TerraMind和THOR两个地理空间基础模型对比，研究其在补丁大小、解码器复杂性等方面的差异轴，发现架构设计选择对性能差异影响更大，体现互补投资策略，还得出假设和诊断消融方法，有望推广到未来模型。

WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

WHBench：通过专家在环验证评估前沿大语言模型在女性健康主题上的表现

Sneha Maurya, Spandana Govindgari, Girish Kumar, Akhara AI

机构 * Columbia University（哥伦比亚大学） ； Rubric AI 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出WHBench，通过专家设计的47个场景评估22个模型，揭示临床重要失败模式，强调安全性和公平性的重要性。