语言大模型 / LLM

Finetuning Large Language Models for Vulnerability Detection

微调大型语言模型用于漏洞检测

Alexey Shestov, Rodion Levichev, Ravil Mussabayev, Evgeny Maslov, Anton Cheshkov, Pavel Zadorozhny

机构 * Sber AI Lab（Sber AI实验室） ； Huawei Russian Research Institute（华为俄罗斯研究院） ； Satbayev University（萨特拜耶夫大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过微调WizardCoder模型，优化训练流程并处理类别不平衡，在漏洞检测任务上提升了ROC AUC和F1指标，展示了预训练LLM在源代码分析中的迁移学习潜力。

SkillAdaptor: Self-Adapting Skills for LLM Agents from Trajectories

SkillAdaptor：基于轨迹的LLM智能体自适应技能

Zhuoyun Yu, Xin Xie, Wuguannan Yao, Chenxi Wang, Lei Liang, Xiang Qi, Shumin Deng

机构 * Zhejiang University（浙江大学） ； Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部） ； Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SkillAdaptor，一种无训练的步骤级技能自适应框架，通过显式故障归因和针对性更新，提升LLM智能体在长程交互任务中的表现。

Comments Work in progress

Fake News Detection After LLM Laundering: Measurement and Explanation

LLM清洗后的假新闻检测：测量与解释

Rupak Kumar Das, Jonathan Dodge

机构 * College of IST Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究测量检测器在识别LLM改写假新闻时的有效性，发现检测器难以检测LLM改写的假新闻，并通过LIME解释发现情感偏移是检测失败的原因之一。

AI-IoT-Robotics Integration: Survey of Frameworks, Emerging Trends, and the Path Toward Connected Robotics

AI-IoT-机器人集成：框架、新兴趋势及迈向互联机器人的路径综述

Ranulfo Bezerra, Satoshi Tadokoro, Kazunori Ohno

机构 * Tohoku University（东大大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；SLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文综述了人工智能、物联网和机器人三者融合的现状，提出了模块化系统架构，并强调了小语言模型（SLM）和大型语言模型（LLM）在分布式认知与自主决策中的作用，为下一代互联机器人和物理AI生态系统提供了概念和技术路线图。

Comments 15 pages, 3 figures, 3 tables. Published in IEEE Internet of Things Journal

Journal ref IEEE Internet of Things Journal, vol. 13, no. 10, pp. 20398-20412, 15 May15, 2026

Consistent and Distinctive: LLM Benchmark Efficiency via Maximum Independent Set Prompt Selection on Similarity Graphs

一致且独特：基于相似图最大独立集提示选择的LLM基准测试效率

Denica Kjorvezir, Marko Djukanović, Ana Gjorgjevikj, Gjorgjina Cenikj, Tome Eftimov

机构 * Computer Systems Department, Jožef Stefan Institute, Ljubljana, Slovenia（计算机系统部，乔塞夫·斯塔芬研究所，卢布尔雅那，斯洛文尼亚） ； Jožef Stefan International Postgraduate School, Ljubljana, Slovenia（乔塞夫·斯塔芬国际研究生学院，卢布尔雅那，斯洛文尼亚） ； Center for Astrophysics and Cosmology, University of Nova Gorica, Nova Gorica, Slovenia（天体物理与宇宙学中心，诺瓦戈里察大学，诺瓦戈里察，斯洛文尼亚） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于相似图最大独立集的提示选择框架，通过选择多样且非冗余的子集，在保持LLM排名一致性的同时显著减少基准测试成本。

How to Correctly Report LLM-as-a-Judge Evaluations

如何正确报告LLM作为评估者的评估结果

Chungpa Lee, Thomas Zeng, Jongwon Jeong, Jy-yong Sohn, Kangwook Lee

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对LLM作为评估者时存在偏差的问题，提出一种插件式校正框架，实现无偏估计和统计原理的不确定性量化，并证明在分布偏移下仍保持无偏性。

Journal ref International Conference on Machine Learning (ICML) 2026

Beyond Isolated Behaviors: Hierarchical User Modeling for LLM Personalization

超越孤立行为：面向LLM个性化的层次化用户建模

Liang Wang, Xinyi Mou, Xiaoyou Liu, Tiannan Wang, Yuqing Wang, Zhongyu Wei

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Shanghai Innovation Institute（上海创新研究院） ； OPPO 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对LLM个性化中用户行为缺乏层次结构的问题，提出基于布迪厄实践理论的PHF框架，通过实践-惯习-场域三层建模，并实现轻量级模型无关方法PHF_Compass，在LaMP基准上取得一致提升。

From Outliers to Errors: Auditing Pali-to-English LLM Translations with Multi-Reference Adjudication

从异常到错误：使用多参考裁决审计巴利语到英语的LLM翻译

Máté Metzger, Nadnapang Phophichit, Hansa Dhammahaso

机构 * Independent Researcher（独立研究者） ； Nibbana Meditation Centre（尼布达冥想中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对大语言模型翻译古典语言时误将合理变异标记为错误的问题，提出基于多个人类翻译参考包络和嵌入漂移阈值筛选、再由LLM评审团裁决的审计方法，并应用于巴利语-英语翻译。

Comments Preprint. This manuscript has not yet been peer reviewed

Less Is More? When Dataset Context Hurts LLM-Generated Dataset Descriptions

少即是多？当数据集上下文损害LLM生成的数据集描述时

Lisa-Yao Gan, Arunav Das, Johanna Walker, Klaus Diepold, Elena Simperl

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 通过大规模消融实验，研究不同数据集上下文（标题、模式、代表性数据）对LLM生成数据集描述质量的影响，发现模式单独使用会降低叙事质量，而代表性数据部分改善但未提升整体面向人类的质量。

Comments Accepted to ICDE26 KDExLLM Workshop

Real-Time Group Dynamics with LLM Facilitation: Evidence from a Charity Allocation Task

基于LLM辅助的实时群体动态：来自慈善分配任务的证据

Aaron Parisi, Nithum Thain, Alden Hallak, Vivian Tsai, Crystal Qian

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 通过两项激励相容的慈善分配实验（N=879），研究LLM辅助对群体共识、分配结果和参与感知的影响，发现LLM虽未提升共识但被偏好，且存在算法引导和包容性幻觉风险。

LLM Trainer: Automated Robotic Data Generation via Demonstration Augmentation using LLMs

LLM Trainer：利用大语言模型通过演示增强自动生成机器人数据

Abraham George, Amir Barati Farimani

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出LLM Trainer，一种利用大语言模型的世界知识将少量人类演示自动扩展为大规模机器人数据集的管道，通过离线标注和在线关键姿势重定向生成新轨迹，并采用汤普森采样优化标注。

Comments 9 pages, 5 figures, 4 tables. Accepted in ICRA 2026

Business Utility of Large Language Models as Exploratory Data Analysis Agents

大型语言模型作为探索性数据分析代理的商业实用性

Rafał Łabędzki, Patryk Miziuła, Hubert Rutkowski, Szymon Betlewski, Cezary Depta, Szymon Janowski, Jarosław Kochanowicz, Jan Kanty Milczek

机构 * deepsense.ai ； SGH Warsaw School of Economics（SGH沃兹尼亚克经济学院） ； Bydgoszcz University of Science and Technology（比得戈茨茨理工大学） ； Google（谷歌） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 通过基于代理的供应链模拟基准，评估LLM作为EDA代理在商业环境中的平均性能与可重复性，提出风险调整指标Business utility，发现多数配置不可靠，GPT-5.4表现最佳。

The Refusal--Compliance Tradeoff: A Large-Scale Safety Behavior Audit of Large Language Models

拒绝-顺从权衡：大型语言模型的大规模安全行为审计

Alif Al Hasan, Sumon Biswas

机构 * Department of Computer and Data Sciences（计算机与数据科学系） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；post-training(abstract)

AI总结 本研究通过调整组合方法隔离模型敏感性与数据集毒性混淆，审计了21个开源权重LLM在四个安全基准上的拒绝与顺从失败模式，发现模型采用不同校准策略、人口保护不平等以及拒绝与顺从倾向在模型家族内稳定。

Benchmarking Large Language Models for Cryptanalysis and Side-Channel Vulnerabilities

大型语言模型在密码分析和侧信道漏洞方面的基准测试

Utsav Maskey, Chencheng Zhu, Usman Naseem

机构 * Macquarie University（麦考瑞大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本研究通过零样本和少样本设置及思维链提示，评估大型语言模型在多种加密算法生成的密文上的解密成功率，揭示其在侧信道场景中的能力与局限，并讨论欠泛化相关攻击的风险。

Comments EMNLP'25 Findings

Truthful AI Advisors: A Pre-Specified Benchmark for Large Language Model Honesty Under Preference Misalignment

诚实的人工智能顾问：偏好错位下大语言模型诚实性的预设基准

Hamidreza Hasani Balyani, Seyed Pouyan Mousavi Davoudi, Alireza Amiri-Margavi, Amin Gholami Davodi, Arshia Gharagozlou

机构 * Amazon Lab126, HW Tech Org.（亚马逊实验室126，硬件技术组织） ； Computational Modeling and Simulation University of Pittsburgh（计算建模与仿真大学匹兹堡分校） ； Mathematics & Statistics Department University of Minnesota Duluth（数学与统计学系明尼苏达大学 Duluth 分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 通过Crawford-Sobel廉价谈话模型构建基准，评估大语言模型在偏好冲突时是否诚实，发现模型过度揭示信息，偏离策略最优。

Comments 19 pages. Code and data: https://github.com/iHamidHasani/cheap-talk-llm-benchmark

MCP-Persona: Benchmarking LLM Agents on Real-World Personal Applications via Environment Simulation

MCP-Persona：通过环境模拟在真实个人应用上基准测试LLM智能体

Wenhao Wang, Peizhi Niu, Gongyi Zou, Xiyuan Yang, Jingxing Wang, Haoting Shi, Yaxin Du, Jingyi Chai, Xianghe Pang, Shuo Tang, Yanfeng Wang, Siheng Chen

机构 * Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有基准忽略个人社交应用中工具与个人账户或本地数据库交互的挑战，提出MCP-Persona基准，通过模拟真实个性化MCP工具评估LLM智能体性能，实验表明现有智能体在个性化工具使用上存在显著困难。

Comments ICML 2026 Camera Ready

Evolutionary Discovery of Bivariate Bicycle Codes with LLM-Guided Search

基于LLM引导搜索的双变量自行车码的进化发现

Juan Cruz-Benito, Andrew W. Cross, David Kremer, Ismael Faro

机构 * IBM Research（IBM研究院） ； IBM T. J. Watson Research Center（IBM T.J. 巴特勒研究中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 提出一种LLM引导的进化工作流，通过变异生成双变量自行车码和扰动变体的Python程序，在约1650次迭代中筛选约2×10^5个候选码，发现了465个不同候选码，包括非CSS扰动码和CSS码，展示了LLM引导的程序进化在结构化量子码发现中的实用性。

DECK: A Consistency x Confidence Taxonomy of LLM Hallucinations

DECK: LLM幻觉的一致性×置信度分类法

Mohit Singh Chauhan

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；pretraining(abstract)；分类 cs.CL

AI总结 提出一种基于样本间一致性和词级置信度的2×2分类法（DECK），将LLM幻觉分为四个行为区域，每个区域对应可检测的评分器家族，并通过实验验证其有效性及识别出输出级不确定性评估的普遍盲点。

Comments 18 pages, 3 figures, 5 tables

FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search

FALAT: 通过依赖引导搜索追踪LLM智能体轨迹中的失败

Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen

机构 * SPEAR Lab（SPEAR实验室） ； Concordia University（康科德大学） ； DePaul University（德保罗大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 提出FALAT框架，通过依赖引导搜索方法，在LLM智能体轨迹中识别导致失败的关键步骤和责任智能体。

Accuracy, Stability, and Repeated-Run Reliability of Large Language Models on Deterministic Programming Tasks

大型语言模型在确定性编程任务上的准确性、稳定性和重复运行可靠性

Yongxi Zhou, Lai Yun Choi, Jiaxi Wen, Wenbo Ye

机构 * Northeastern University, Massachusetts, USA（东北大学，马萨诸塞州，美国） ； University of Southern California, California, USA（南加州大学，加利福尼亚州，美国） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 通过重复运行评估协议，发现运行级通过率高估了无重试覆盖率高达17.8个百分点，且差距在中等性能系统中最大，表明稳定性分析是准确性报告的必要补充。

MLLM-Microscope: Unlocking Hidden Structure Within Multimodal Large Language Models

MLLM-Microscope：解锁多模态大语言模型中的隐藏结构

Ravil Mussabayev, Rustam Mussabayev

机构 * Satbayev University（萨特拜耶夫大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MLLM-Microscope系统，通过分析线性度、内在维度和各向异性，揭示多模态大语言模型中隐藏的表示结构，并基于ScienceQA数据集评估LLaVA-NeXT和OmniFusion，发现模态融合方式显著影响模型内部工作机理。

Large Language Model Guided Incentive Aware Reward Design for Cooperative Multi-Agent Reinforcement Learning

大语言模型引导的激励感知奖励设计用于合作多智能体强化学习

Dogan Urgun, Gokhan Gungor

机构 * Department of Electrical and Electronics Engineering（电气与电子工程系） ； Karabuk University（卡拉博克大学） ； Department of Mechatronics Engineering（机械工程系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出利用大语言模型自动生成可执行奖励程序，结合多智能体近端策略优化训练，在Overcooked-AI环境中显著提升合作任务回报。

CapBencher: Give Your LLM Benchmark a Built-in Alarm for Test-Set Overfitting

CapBencher: 为您的LLM基准测试内置测试集过拟合警报

Takashi Ishida, Thanawat Lodkaew, Ikko Yamane

机构 * National Institute of Advanced Industrial Science and Technology, Japan（日本国家先进工业科学与技术研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CapBencher方法，通过向答案注入随机性（准备多个逻辑正确但仅一个作为解）来降低贝叶斯准确率，从而在公开基准测试时防止测试集过拟合并检测泄露或作弊。

Comments ICML 2026 camera ready version

When Does Multi-Agent RL Improve LLM Workflows? Workflow, Scale, and Policy-Sharing Tradeoffs

多智能体强化学习何时能改进LLM工作流？工作流、规模与策略共享的权衡

Yifan Zeng, Yiran Wu, Yaolun Zhang, Wentian Zhao, Kun Wan, Qingyun Wu, Huazheng Wang

机构 * Oregon State University（俄勒冈州立大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Adobe Inc.（Adobe公司） ； AG2AI, Inc.（AG2AI公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 研究多智能体LLM工作流中端到端强化学习训练的效果，发现改进依赖于工作流、任务和规模，策略共享不提供统一稳定性而是重新分配失败模式。

Capturing LLM Capabilities via Evidence-Calibrated Query Clustering

通过证据校准的查询聚类捕捉LLM能力

Fangzhou Wu, Sandeep Silwal, Qiuyi Zhang

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Elorian AI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出ECC算法，利用有限后验模型比较校准先验语义嵌入，通过Bradley-Terry模型参数化能力轮廓，联合学习灵活的能力感知聚类结构，显著提升LLM能力排序质量。

Comments 45 pages

Context-Aware Workflow Decomposition for Automated Mobile UI Annotation Using Multimodal Large Language Models

基于多模态大语言模型的上下文感知工作流分解用于自动移动界面标注

Athar Parvez, Muhammad Jawad Mufti, Muqaddas Gull, Omar Hammad

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 提出一种将标注任务分解为多个上下文感知阶段的工作流方法，通过结构化提示、模式约束JSON输出和元素特定指令，在MUIAnno数据集上评估不同分解策略，发现两步工作流在精度上最优。

Do Gender Cues Affect LLM Value Trade-offs? Evidence from a Controlled Decision Benchmark

性别线索是否影响LLM价值权衡？来自受控决策基准的证据

Yangyang Liu, Dong Yu, Pengyuan Liu

机构 * Beijing Language and Culture University（北京语言大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过构建受控基准RVDB，研究性别线索是否导致大语言模型在价值决策中产生系统性翻转，并发现性别效应集中在价值边界模糊和决策严重性高的情境下，且模型自我归因常掩盖性别影响。

Algorithmic algorithm development with LLMs: A Case Study on LLM-Usage for Contraction Order Optimization in Tensor Networks

基于LLM的算法开发：以张量网络收缩顺序优化中LLM使用为例

Fabian Hoppe, Melven Röhrig-Zöllner, Philipp Knechtges

机构 * German Aerospace Center (DLR), Institute of Software Technology, department High-Performance Computing（德国航空航天中心（DLR）软件技术研究所高性能计算部门） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 通过OpenEvolve对张量网络收缩顺序优化的案例研究，探讨了基于LLM的算法开发，重点分析了LLM选择、评估指标和测试实例等设计因素，强调了验证引导的进化编码代理的潜力以及人类科学家在评估、验证和解释方面的重要性与挑战。

Comments Submitted to the proceedings of the deRSE26 conference

CRAB-Bench: Evaluating LLM Agents under Complex Task Dependencies and Human-aligned User Simulation

CRAB-Bench：在复杂任务依赖和人类对齐用户模拟下评估LLM智能体

Danqing Wang, Akshay Sivaraman, Lei Li

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出CRAB-Bench和RUSE框架，通过约束图生成复杂任务依赖和基于人类行为研究的用户模拟，评估LLM智能体在真实服务场景中的表现，发现最佳模型仅达61%通过率，用户模拟导致性能下降高达57%。

A Finite-Calibration Regime Map for LLM Judge Panels

有限校准机制图：LLM评审团面板

Bin Zhu, Yanghui Rao

机构 * School of Computer Science and Engineering（计算机科学与工程学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究在有限人工标注预算下，低维堆叠器与联合输出表对LLM评审团面板的校准权衡，提出有限校准面板选择方法，实验表明多数评审输出可加或冗余。

Comments Work in Progress