语言大模型 / LLM

LLM Trainer: Automated Robotic Data Generation via Demonstration Augmentation using LLMs

LLM Trainer：利用大语言模型通过演示增强自动生成机器人数据

Abraham George, Amir Barati Farimani

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出LLM Trainer，一种利用大语言模型的世界知识将少量人类演示自动扩展为大规模机器人数据集的管道，通过离线标注和在线关键姿势重定向生成新轨迹，并采用汤普森采样优化标注。

Comments 9 pages, 5 figures, 4 tables. Accepted in ICRA 2026

Business Utility of Large Language Models as Exploratory Data Analysis Agents

大型语言模型作为探索性数据分析代理的商业实用性

Rafał Łabędzki, Patryk Miziuła, Hubert Rutkowski, Szymon Betlewski, Cezary Depta, Szymon Janowski, Jarosław Kochanowicz, Jan Kanty Milczek

机构 * deepsense.ai ； SGH Warsaw School of Economics（SGH沃兹尼亚克经济学院） ； Bydgoszcz University of Science and Technology（比得戈茨茨理工大学） ； Google（谷歌） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 通过基于代理的供应链模拟基准，评估LLM作为EDA代理在商业环境中的平均性能与可重复性，提出风险调整指标Business utility，发现多数配置不可靠，GPT-5.4表现最佳。

The Refusal--Compliance Tradeoff: A Large-Scale Safety Behavior Audit of Large Language Models

拒绝-顺从权衡：大型语言模型的大规模安全行为审计

Alif Al Hasan, Sumon Biswas

机构 * Department of Computer and Data Sciences（计算机与数据科学系） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；post-training(abstract)

AI总结 本研究通过调整组合方法隔离模型敏感性与数据集毒性混淆，审计了21个开源权重LLM在四个安全基准上的拒绝与顺从失败模式，发现模型采用不同校准策略、人口保护不平等以及拒绝与顺从倾向在模型家族内稳定。

Benchmarking Large Language Models for Cryptanalysis and Side-Channel Vulnerabilities

大型语言模型在密码分析和侧信道漏洞方面的基准测试

Utsav Maskey, Chencheng Zhu, Usman Naseem

机构 * Macquarie University（麦考瑞大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本研究通过零样本和少样本设置及思维链提示，评估大型语言模型在多种加密算法生成的密文上的解密成功率，揭示其在侧信道场景中的能力与局限，并讨论欠泛化相关攻击的风险。

Comments EMNLP'25 Findings

Truthful AI Advisors: A Pre-Specified Benchmark for Large Language Model Honesty Under Preference Misalignment

诚实的人工智能顾问：偏好错位下大语言模型诚实性的预设基准

Hamidreza Hasani Balyani, Seyed Pouyan Mousavi Davoudi, Alireza Amiri-Margavi, Amin Gholami Davodi, Arshia Gharagozlou

机构 * Amazon Lab126, HW Tech Org.（亚马逊实验室126，硬件技术组织） ； Computational Modeling and Simulation University of Pittsburgh（计算建模与仿真大学匹兹堡分校） ； Mathematics & Statistics Department University of Minnesota Duluth（数学与统计学系明尼苏达大学 Duluth 分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 通过Crawford-Sobel廉价谈话模型构建基准，评估大语言模型在偏好冲突时是否诚实，发现模型过度揭示信息，偏离策略最优。

Comments 19 pages. Code and data: https://github.com/iHamidHasani/cheap-talk-llm-benchmark

MCP-Persona: Benchmarking LLM Agents on Real-World Personal Applications via Environment Simulation

MCP-Persona：通过环境模拟在真实个人应用上基准测试LLM智能体

Wenhao Wang, Peizhi Niu, Gongyi Zou, Xiyuan Yang, Jingxing Wang, Haoting Shi, Yaxin Du, Jingyi Chai, Xianghe Pang, Shuo Tang, Yanfeng Wang, Siheng Chen

机构 * Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有基准忽略个人社交应用中工具与个人账户或本地数据库交互的挑战，提出MCP-Persona基准，通过模拟真实个性化MCP工具评估LLM智能体性能，实验表明现有智能体在个性化工具使用上存在显著困难。

Comments ICML 2026 Camera Ready

Evolutionary Discovery of Bivariate Bicycle Codes with LLM-Guided Search

基于LLM引导搜索的双变量自行车码的进化发现

Juan Cruz-Benito, Andrew W. Cross, David Kremer, Ismael Faro

机构 * IBM Research（IBM研究院） ； IBM T. J. Watson Research Center（IBM T.J. 巴特勒研究中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 提出一种LLM引导的进化工作流，通过变异生成双变量自行车码和扰动变体的Python程序，在约1650次迭代中筛选约2×10^5个候选码，发现了465个不同候选码，包括非CSS扰动码和CSS码，展示了LLM引导的程序进化在结构化量子码发现中的实用性。

DECK: A Consistency x Confidence Taxonomy of LLM Hallucinations

DECK: LLM幻觉的一致性×置信度分类法

Mohit Singh Chauhan

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；pretraining(abstract)；分类 cs.CL

AI总结 提出一种基于样本间一致性和词级置信度的2×2分类法（DECK），将LLM幻觉分为四个行为区域，每个区域对应可检测的评分器家族，并通过实验验证其有效性及识别出输出级不确定性评估的普遍盲点。

Comments 18 pages, 3 figures, 5 tables

FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search

FALAT: 通过依赖引导搜索追踪LLM智能体轨迹中的失败

Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen

机构 * SPEAR Lab（SPEAR实验室） ； Concordia University（康科德大学） ； DePaul University（德保罗大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 提出FALAT框架，通过依赖引导搜索方法，在LLM智能体轨迹中识别导致失败的关键步骤和责任智能体。

Accuracy, Stability, and Repeated-Run Reliability of Large Language Models on Deterministic Programming Tasks

大型语言模型在确定性编程任务上的准确性、稳定性和重复运行可靠性

Yongxi Zhou, Lai Yun Choi, Jiaxi Wen, Wenbo Ye

机构 * Northeastern University, Massachusetts, USA（东北大学，马萨诸塞州，美国） ； University of Southern California, California, USA（南加州大学，加利福尼亚州，美国） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 通过重复运行评估协议，发现运行级通过率高估了无重试覆盖率高达17.8个百分点，且差距在中等性能系统中最大，表明稳定性分析是准确性报告的必要补充。

MLLM-Microscope: Unlocking Hidden Structure Within Multimodal Large Language Models

MLLM-Microscope：解锁多模态大语言模型中的隐藏结构

Ravil Mussabayev, Rustam Mussabayev

机构 * Satbayev University（萨特拜耶夫大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MLLM-Microscope系统，通过分析线性度、内在维度和各向异性，揭示多模态大语言模型中隐藏的表示结构，并基于ScienceQA数据集评估LLaVA-NeXT和OmniFusion，发现模态融合方式显著影响模型内部工作机理。

Large Language Model Guided Incentive Aware Reward Design for Cooperative Multi-Agent Reinforcement Learning

大语言模型引导的激励感知奖励设计用于合作多智能体强化学习

Dogan Urgun, Gokhan Gungor

机构 * Department of Electrical and Electronics Engineering（电气与电子工程系） ； Karabuk University（卡拉博克大学） ； Department of Mechatronics Engineering（机械工程系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出利用大语言模型自动生成可执行奖励程序，结合多智能体近端策略优化训练，在Overcooked-AI环境中显著提升合作任务回报。

CapBencher: Give Your LLM Benchmark a Built-in Alarm for Test-Set Overfitting

CapBencher: 为您的LLM基准测试内置测试集过拟合警报

Takashi Ishida, Thanawat Lodkaew, Ikko Yamane

机构 * National Institute of Advanced Industrial Science and Technology, Japan（日本国家先进工业科学与技术研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CapBencher方法，通过向答案注入随机性（准备多个逻辑正确但仅一个作为解）来降低贝叶斯准确率，从而在公开基准测试时防止测试集过拟合并检测泄露或作弊。

Comments ICML 2026 camera ready version

When Does Multi-Agent RL Improve LLM Workflows? Workflow, Scale, and Policy-Sharing Tradeoffs

多智能体强化学习何时能改进LLM工作流？工作流、规模与策略共享的权衡

Yifan Zeng, Yiran Wu, Yaolun Zhang, Wentian Zhao, Kun Wan, Qingyun Wu, Huazheng Wang

机构 * Oregon State University（俄勒冈州立大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Adobe Inc.（Adobe公司） ； AG2AI, Inc.（AG2AI公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 研究多智能体LLM工作流中端到端强化学习训练的效果，发现改进依赖于工作流、任务和规模，策略共享不提供统一稳定性而是重新分配失败模式。

Capturing LLM Capabilities via Evidence-Calibrated Query Clustering

通过证据校准的查询聚类捕捉LLM能力

Fangzhou Wu, Sandeep Silwal, Qiuyi Zhang

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Elorian AI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出ECC算法，利用有限后验模型比较校准先验语义嵌入，通过Bradley-Terry模型参数化能力轮廓，联合学习灵活的能力感知聚类结构，显著提升LLM能力排序质量。

Comments 45 pages

Context-Aware Workflow Decomposition for Automated Mobile UI Annotation Using Multimodal Large Language Models

基于多模态大语言模型的上下文感知工作流分解用于自动移动界面标注

Athar Parvez, Muhammad Jawad Mufti, Muqaddas Gull, Omar Hammad

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 提出一种将标注任务分解为多个上下文感知阶段的工作流方法，通过结构化提示、模式约束JSON输出和元素特定指令，在MUIAnno数据集上评估不同分解策略，发现两步工作流在精度上最优。

Do Gender Cues Affect LLM Value Trade-offs? Evidence from a Controlled Decision Benchmark

性别线索是否影响LLM价值权衡？来自受控决策基准的证据

Yangyang Liu, Dong Yu, Pengyuan Liu

机构 * Beijing Language and Culture University（北京语言大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过构建受控基准RVDB，研究性别线索是否导致大语言模型在价值决策中产生系统性翻转，并发现性别效应集中在价值边界模糊和决策严重性高的情境下，且模型自我归因常掩盖性别影响。

Algorithmic algorithm development with LLMs: A Case Study on LLM-Usage for Contraction Order Optimization in Tensor Networks

基于LLM的算法开发：以张量网络收缩顺序优化中LLM使用为例

Fabian Hoppe, Melven Röhrig-Zöllner, Philipp Knechtges

机构 * German Aerospace Center (DLR), Institute of Software Technology, department High-Performance Computing（德国航空航天中心（DLR）软件技术研究所高性能计算部门） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 通过OpenEvolve对张量网络收缩顺序优化的案例研究，探讨了基于LLM的算法开发，重点分析了LLM选择、评估指标和测试实例等设计因素，强调了验证引导的进化编码代理的潜力以及人类科学家在评估、验证和解释方面的重要性与挑战。

Comments Submitted to the proceedings of the deRSE26 conference

CRAB-Bench: Evaluating LLM Agents under Complex Task Dependencies and Human-aligned User Simulation

CRAB-Bench：在复杂任务依赖和人类对齐用户模拟下评估LLM智能体

Danqing Wang, Akshay Sivaraman, Lei Li

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出CRAB-Bench和RUSE框架，通过约束图生成复杂任务依赖和基于人类行为研究的用户模拟，评估LLM智能体在真实服务场景中的表现，发现最佳模型仅达61%通过率，用户模拟导致性能下降高达57%。

A Finite-Calibration Regime Map for LLM Judge Panels

有限校准机制图：LLM评审团面板

Bin Zhu, Yanghui Rao

机构 * School of Computer Science and Engineering（计算机科学与工程学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究在有限人工标注预算下，低维堆叠器与联合输出表对LLM评审团面板的校准权衡，提出有限校准面板选择方法，实验表明多数评审输出可加或冗余。

Comments Work in Progress

LLM-Driven Co-Evolutionary Automated Heuristic Design for Bi-Component Coupled Combinatorial Optimization

LLM驱动的双组件耦合组合优化的协同进化自动启发式设计

Mingen Kuang, Xudong Deng, Xi Lin, Ye Fan, Jianyong Sun, Jialong Shi

机构 * Xi’an Jiao Tong University（西安交通大学） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CoEvo-AHD框架，利用大语言模型协同进化两个算子种群，通过合作评估和联合交叉发现互补逻辑，解决旅行窃贼问题等耦合组合优化问题。

LISTEN to Your Preferences: An LLM Framework for Multi-Objective Selection

LISTEN 你的偏好：面向多目标选择的LLM框架

Adam S. Jovine, Tinghan Ye, Francis Bahk, Jingjing Wang, Matthew Ford, David B. Shmoys, Peter I. Frazier

机构 * Cornell University（康奈尔大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出LISTEN框架，利用LLM作为决策代理，通过迭代优化内部偏好模型（LISTEN-U参数法或LISTEN-T非参数法）从自然语言中学习用户隐含偏好，实现多目标选择。

Comments Accepted at IJCAI-ECAI 2026 (the 35th International Joint Conference on Artificial Intelligence)

Beyond the Crowd: LLM-Augmented Community Notes for Governing Health Misinformation

超越众包：基于LLM增强的社区笔记治理健康错误信息

Jiaying Wu, Zihang Fu, Haonan Wang, Fanxiao Li, Jiafeng Guo, Preslav Nakov, Min-Yen Kan

机构 * National University of Singapore（新加坡国立大学） ； Yunnan University（云南大学） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全国家重点实验室，计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 针对X平台社区笔记在健康错误信息治理中延迟高的问题，提出CrowdNotes+框架，通过LLM增强笔记生成与评估，显著提升正确性、有用性和证据效用。

Comments ACL 2026

OpenHospital: A Thing-in-itself Arena for Evolving and Benchmarking LLM-based Collective Intelligence

OpenHospital: 一个用于进化和基准测试基于LLM的集体智能的物自体竞技场

Peigen Liu, Rui Ding, Yuren Mao, Ziyan Jiang, Yuxiang Ye, Yunjun Gao, Ying Zhang, Renjie Sun, Longbin Lai, Zhengping Qian

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； Laboratory for Statistical Monitoring and Intelligent Governance of Common Prosperity, Zhejiang Gongshang University（浙江工商大学共同富裕统计监测与智能治理实验室） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） ； Alibaba Cloud（阿里云） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出OpenHospital交互式竞技场，通过医生代理与患者代理的互动进化集体智能，采用数据在代理自身范式快速提升能力并提供医学熟练度和系统效率的基准测试。

Ev-Trust: An Evolutionarily Stable Trust Mechanism for Decentralized LLM-Based Multi-Agent Service Economies

Ev-Trust: 一种面向去中心化基于LLM的多智能体服务经济的演化稳定信任机制

Jiye Wang, Shiduo Yang, Ting Qiao, Jiayu Qin, Jianbin Li, Yu Wang, Yuanhe Zhao

机构 * School of Control and Computer Engineering, North China Electric Power University（控制与计算机工程学院，华北电力大学） ； State Grid Corporation of China（国家电网公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对去中心化LLM多智能体服务经济中欺诈成本降低、服务质量评估困难和服务内容不稳定三大脆弱性，提出Ev-Trust信任机制，通过交叉验证门、方差标准化漂移度量和信任信号嵌入收益函数，实现合作策略的演化稳定，实验表明恶意参与减少约60%，欺诈率降低约50%。

Comments 19 pages, 9 figures

Simulating Macroeconomic Expectations in Survey Experiments with LLM-based Economic Agents

基于LLM的经济主体在调查实验中模拟宏观经济预期

Jianhao Lin, Lexuan Sun, Yixin Yan

机构 * Lingnan College, Sun Yat-sen University（中山大学岭南学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一个利用基于大语言模型的经济主体（LLM Agents）模拟调查实验中宏观经济预期的框架，通过复现三种代表性调查设计验证其有效性，发现LLM Agents能生成与人类高度相似的预期分布并捕捉定性模式，其中先验信息对匹配分布至关重要。

Make a Video Call with LLM: A Measurement Campaign over Six Mainstream Apps

用LLM进行视频通话：对六个主流应用的测量活动

Jiayang Xu, Xiangjie Huang, Zijie Li, Antariksh Verma, Zili Meng

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过自定义测试平台和在线平台，从质量、延迟、内部机制和系统开销四个维度对六个主流AI视频聊天应用进行基准测试，发现AI视频通话的网络延迟影响小于人类视频通话，AI代理能力对用户体验影响最大。

Agent Tools Orchestration Leaks More: Dataset, Benchmark, and Mitigation

Agent工具编排泄露更多：数据集、基准测试与缓解措施

Yuxuan Qiao, Dongqin Liu, Hongchang Yang, Wei Zhou, Songlin Hu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)；prompting(abstract)

AI总结 研究LLM代理在编排多个工具时泄露敏感结论的风险（TOP-R），构建了包含1000个实例的基准TOP-Bench，并提出TOP-Align后训练方法以缓解泄露。

Comments 17 pages, 2 figures. Dataset and code are available at https://github.com/1Ponder/TOP-R

Trust-Calibrated Code Review: A Participatory Design Study of Review Workflows for LLM-Generated Multi-File Changes

信任校准的代码审查：针对LLM生成的多文件变更的审查工作流程的参与式设计研究

Lo Gullstrand Heander, Agnia Sergeyuk, Ilya Zakharov, Emma Söderberg, Nikita Mukhortov

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本研究通过参与式设计，发现审查LLM生成的多文件变更的核心挑战是信任校准，提出了三级审查工作流程和七项设计构造，并通过验证调查表明其能降低审查工作量。

Comments Submitted to ESEM SEIP 2026

Improving LLM-Based Go Code Review through Issue-List Generation and Context Augmentation

通过问题列表生成和上下文增强改进基于LLM的Go代码审查

Kexin Sun, Yucong Guan, Jiaqi Sun, Hongyu Kuang, Guoping Rong, Dong Shao, He Zhang, Xiaoxing Ma, Christoph Treude

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出问题列表审查范式，结合三种上下文增强方法，并通过候选集成和精炼引导剪枝提升LLM代码审查效果，在Go代码审查中显著优于基线方法。