语言大模型 / LLM

UtilityMax Prompting: A Formal Framework for Multi-Objective Large Language Model Tasks

UtilityMax Prompting：多目标大语言模型任务的形式化框架

Ofir Marom

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：prompting(title,title_cn)；LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 提出UtilityMax Prompting框架，用影响图和期望效用最大化将多目标LLM任务形式化，在MovieLens 1M数据集上相比自然语言基线提升了精度和NDCG。

LLM-Foraging: Large Language Models for Decentralized Swarm Robot Foraging

LLM-Foraging：基于大规模语言模型的去中心化蚁群觅食

Peihan Li, Joanna Gutierrez, Fabian Hernandez, Qi Lu, Lifeng Zhou

机构 * Drexel University（德雷塞尔大学） ； The University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德谷分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出LLM-Foraging，通过在CPFA状态机中加入LLM战术决策器，使蚁群觅食控制器在无训练状态下适应不同配置，优于传统GA优化方法。

LLM-AUG: Robust Wireless Data Augmentation with In-Context Learning in Large Language Models

LLM-AUG: 基于大语言模型上下文学习的鲁棒无线数据增强

Pranshav Gajjar, Manan Tiwari, Sayanta Seth, Vijay K. Shah

机构 * NextG Wireless Lab, North Carolina State University, NC（NextG无线实验室，北卡罗来纳州立大学，NC） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文提出LLM-AUG框架，利用大语言模型的上下文学习生成合成样本，提升无线通信任务在低样本下的性能，实验显示其在干扰分类任务中表现优异。

Harnessing Multiple Large Language Models: A Survey on LLM Ensemble

利用多个大语言模型：关于LLM集成的综述

Zhijun Chen, Xiaodong Lu, Jingzheng Li, Pengpeng Chen, Zhuoran Li, Kai Sun, Yuankai Luo, Qianren Mao, Ming Li, Likang Xiao, Dingqi Yang, Xiao Huang, Yikun Ban, Hailong Sun, Philip S. Yu

机构 * State Key Laboratory of Complex & Critical Software Environment, Beihang University, Beijing, China（复杂与关键软件环境国家重点实验室，北京航空航天大学，北京，中国） ； Zhongguancun Laboratory, Beijing, China（中关村实验室，北京，中国） ； Aviation System Engineering Institute of China, Beijing, China（中国航空系统工程研究院，北京，中国） ； Xi’an Jiaotong University, Xi’an, China（西安交通大学，西安，中国） ； Nanjing University, Nanjing, China（南京大学，南京，中国） ； Tsinghua University, Beijing, China（清华大学，北京，中国） ； University of Macau, Macau SAR, China（澳门大学，澳门特别行政区，中国） ； The Hong Kong Polytechnic University, Hong Kong, China（香港理工大学，香港，中国） ； University of Illinois at Chicago, Chicago, USA（伊利诺伊大学香槟分校，芝加哥，美国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文系统回顾了LLM集成的最新发展，介绍了分类方法，讨论了相关研究问题，并提出了未来研究方向。

Comments 12 pages, 2 figures, codebase: https://github.com/junchenzhi/Awesome-LLM-Ensemble

Can Large Language Models Imitate Human Speech for Clinical Assessment? LLM-Driven Data Augmentation for Cognitive Score Prediction

大型语言模型能否用于临床评估中的语音模仿？基于LLM的数据增强用于认知评分预测

Si-Belkacem Yamine Ketir, Lenard Paulo Tamayo, Shohei Hisada, Shaowen Peng, Shoko Wakamiya, Eiji Aramaki

机构 * Télécom SudParis（Telecom SudParis） ； Nara Institute of Science and Technology（奈良科学技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出基于LLM的数据增强框架，通过生成不同风格的口语独白来提升语音认知评分预测。采用相似性引导的增强策略，有效减少少数低分群体的预测误差，同时保持多数群体性能。

Comments 11 pages, 6 figures

LLM Psychosis: A Theoretical and Diagnostic Framework for Reality-Boundary Failures in Large Language Models

LLM精神病：一种理论和诊断框架，用于大语言模型中现实边界失败

Ashutosh Raj

机构 * NeuraCare AI ； IIT Ropar（罗帕理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出LLM精神病理论框架，用于描述大语言模型认知崩溃现象，通过五个特征定义诊断工具LCIS，分析不同严重等级的失败模式。

Can Large Language Models Resolve Real Java Merge Conflicts? An Evaluation with a Calibrated LLM-as-Judge

大语言模型能否解决真实的Java合并冲突？一项使用校准后的LLM作为评判者的评估

Bowen Shen

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)

AI总结 该研究针对真实Java合并冲突，构建仅用推理信号的LLM求解器，经校准的LLM评判者评估发现，其解决冲突的覆盖和匹配开发者方案的表现优于传统工具AutoMerge，但结构正确性仍需确定性检查保障。

3D-PLOT-LLM: Part-Level Object Tokens for 3D Large Language Models

3D-PLOT-LLM: 用于三维大语言模型的部件级对象标记

Jintang Xue, Xinyu Wang, Yixing Wu, Jingwen Chen, C. -C. Jay Kuo

机构 * University of Southern California（南加州大学） ； Ohio State University（俄亥俄州立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)

AI总结 提出3D-PLOT-LLM，通过重组输入标记流使部件可直接通过LLM词汇寻址，无需分割解码器或边界框，在部件级基准上超越现有方法。

Occupational Prompting Reveals Cultural Bias in Large Language Models

职业提示揭示大型语言模型中的文化偏见

Maksim E. Eren, Andrea Brennen, Ryan C. Barron, Eric Michalak

机构 * U.S. Government（美国政府） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)

AI总结 通过职业提示（如会计师、教师）替代国籍提示，研究开源LLM在价值观调查中的响应，发现不同职业导致文化地图内偏移，表明职业角色引发结构化价值模式。

REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge

REAL: 面向LLM评判的回归感知强化学习

Yasi Zhang, Tianyu Chen, Mingyuan Zhou, Oscar Leong, Ying Nian Wu, Michal Lukasik

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； The University of Texas at Austin（得克萨斯大学奥斯汀分校） ； Google Research Now at Google DeepMind（谷歌研究 现在在谷歌深Mind） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出REAL框架，通过广义策略梯度将回归目标融入强化学习，优化LLM作为评分器的数值评估，在多个规模模型上超越SFT和标准RL方法。

Comments Accepted to ICML 2026. The first two authors contributed equally

Igniting Creative Writing in Small Language Models: LLM-as-a-Judge versus Multi-Agent Refined Rewards

Xiaolong Wei, Bo Lu, Xingyu Zhang, Zhejun Zhao, Dongdong Shen, Long Xia, Dawei Yin

机构 * Beihang University（北航） ； Baidu Inc.（百度公司） ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；language model(title,abstract)；small language model(title,abstract)；large language model(abstract)

Comments EMNLP 2025 Main

How Hypocritical Is Your LLM judge? Listener-Speaker Asymmetries in the Pragmatic Competence of Large Language Models

你的LLM裁判有多虚伪？大型语言模型在语用能力中的听众-说话人不对称性

Judith Sieker, Sina Zarrieß

机构 * Computational Linguistics, Department of Linguistics（计算语言学系，语言学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文研究了大型语言模型在语用能力中的听众与说话人角色差异，发现模型在作为听众判断语言输出适当性时表现优于作为说话人生成语用恰当语言，揭示了当前LLM在语用判断与生成方面的弱关联性。

Comments Accepted at ACL 2026 (findings)

An Empirical Evaluation of LLM-Generated Code Security Across Prompting Methods

LLM生成代码安全性的提示方法实证评估

Mohammed Kharma, Ahmed Sabbah, Mohammad Alkhanafseh, Mohammad Hammoudeh, David Mohaisen

机构 * Department of Computer Science, Birzeit University（计算机科学系，巴勒斯坦比泽大学） ； King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过跨5个LLM和4种编程语言的实证评估，提出弱点感知零样本链式思考（WA-0CoT）提示策略，发现提示方法虽影响弱点类别分布，但无法显著降低漏洞频率或密度。

Comments 40 pages, 22 tables, 8 figures

LaCy: What Small Language Models Can and Should Learn is Not Just a Question of Loss

LaCy: 小型语言模型能学且应学的不仅仅是损失问题

Szilvia Ujváry, Louis Béthune, Pierre Ablin, João Monteiro, Marco Cuturi, Michael Kirchhof

机构 * Apple（苹果公司） ； University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：SLM(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 研究在预训练中，小型语言模型（SLM）应学习哪些token以及应通过<CALL>委托哪些token，提出结合损失和事实性信号的LaCy方法，提升SLM在级联生成中的事实准确性。

Comments 40 pages, 26 figures, 10 tables, preprint. v3-v4: new results for RAG, ablations and additional analysis

LLM-Enhanced Log Anomaly Detection: A Comprehensive Benchmark of Large Language Models for Automated System Diagnostics

基于大语言模型的日志异常检测：一种全面的大型语言模型基准测试，用于自动化系统诊断

Disha Patel

机构 * Department of Computer Science（计算机科学系） ； California State University, Fullerton（加州州立大学弗雷斯诺分校） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文通过四个公开数据集评估了基于大语言模型和传统方法的日志异常检测，发现微调的Transformer模型在F1分数上表现最佳，而基于提示的LLM在零样本设置中展现出显著优势，且无需标注数据。

Comments 5 pages, 4 tables, code available at https://github.com/disha8611/llm-log-anomaly-benchmark

LCC-LLM: Leveraging Code-Centric Large Language Models for Malware Attribution

LCC-LLM：利用代码导向的大语言模型进行恶意软件归因

Christopher G. Pedraza Pohlenz, Hassan Jalil Hadi, Ali Hassan, Ali Shoker

机构 * CyberSaR, King Abdullah University of Science and Technology（CyberSaR，国王阿卜杜勒·阿齐兹大学科学与技术学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(title)；language model(title)；分类 cs.AI

AI总结 本文提出LCC-LLM，一种代码导向的恶意软件归因和多任务静态恶意软件分析框架，通过构建包含34000个PE样本的LCCD数据集，结合静态分析与多源安全知识，提升恶意软件归因的可靠性与实用性。

How Do Large Language Models Judge Social Attraction? Evidence from Theory-Grounded Persona Ratings Across Multiple LLMs and Humans

大型语言模型如何评判社交吸引力？来自跨多个LLM与人类的基于理论的人格特质评分的证据

Hasan Mahmud, Khawaja Abaid Ullah, Mohammad Javad Khojasteh, Jamison Heard, Prabu David

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文探究LLMs能否评估社交吸引力，经三项研究发现，34个LLM评分稳定且与人类排序一致，但LLMs对吸引力与无吸引力档案的评分偏差更大，且两者均无性别呈现的显著整体效应。

Comments 9 pages, 2 figures, 2 tables. Includes technical supplement

Language Models as Interfaces, Not Oracles: A Hybrid LLM-ML System for Pediatric Appendicitis

语言模型作为接口而非预言机：用于小儿阑尾炎的混合LLM-ML系统

Soheyl Bateni, Maryam Abdolali

机构 * K. N. Toosi University of Technology（K.N. Toosi技术大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出ClaMPAPP混合系统，利用LLM从自由文本中提取结构化特征，再由XGBoost分类器进行诊断，在两个独立队列中优于端到端LLM，提高了诊断稳定性和可审计性。

Rethinking LLM-as-a-Judge: Representation-as-a-Judge with Small Language Models via Semantic Capacity Asymmetry

重新思考大语言模型作为评判器：通过语义能力不对称利用小语言模型进行表示作为评判器

Zhuochun Li, Yong Zhang, Ming Li, Yuelyu Ji, Yiming Zeng, Ning Cheng, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao, Daqing He

机构 * Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司） ； University of Pittsburgh（匹兹堡大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； University of Connecticut（康涅狄格大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；language model(title,abstract)；small language model(title)；large language model(abstract)

AI总结 研究探讨小语言模型能否作高效评估器，基于语义能力不对称假设提出“表示作为评判器”范式，通过INSPECTOR框架实例化，实验显示其在推理基准测试中性能出色，为可扩展评估提供了更优选择。

Journal ref ICLR 2026

Breaking the Mirror: Activation-Based Mitigation of Self-Preference in LLM Evaluators

打破镜像：基于激活的LLM评估者自我偏好缓解方法

Dani Roytburg, Matthew Bozoukov, Matthew Nguyen, Jou Barzdukas, Simon Fu, Narmeen Oozeer

机构 * University of Virginia（弗吉尼亚大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学） ； School of Computer Science（计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 针对LLM评估者自我偏好偏见，提出轻量级引导向量方法，在推理时无需重训练即可将不公正自我偏好降低97%，但存在稳定性问题。

Comments Presented at {Mechanistic Interpretability, Evaluations, Reliable-ML} Workshops, NeurIPS 2025

Effect of Abstractions and Prompting Strategies on LLM-Guided High-Performance Optimizations

抽象与提示策略对大语言模型（LLM）指导的高性能优化的影响

Jiří Klepl, Maty'aš Brabec, Martin Kruliš

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(title)；large language model(abstract)；language model(abstract)

AI总结 本文探究传统抽象对LLM指导并行HPC应用优化的影响，以PolyBench为基准评估发现，获特定优化目标的LLM生成C代码的性能与有效性优于成熟框架，建议探索可验证的替代优化方法。

Comments This preprint has not undergone peer review or any post-submission improvements or corrections

RAG-TESTER: Automated End-to-End Testing of Retrieval-Augmented Large Language Models

RAG-TESTER：检索增强型大语言模型的自动化端到端测试工具

Ange Maiztegi, Jon Ayerdi, Miren Illarramendi, Aitor Arrieta

机构 * Mondragon University（蒙德拉贡大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract)；分类 cs.AI

AI总结 RagTester是针对RAG系统的自动化端到端测试方法，通过生成测试用例、利用LLM评估结果，在24种配置中20种优于基线，可有效检测RAG的交互故障并支持部署评估。

Facial-Expression-Aware Prompting for Empathetic LLM Tutoring

面向情感的提示方法用于共情LLM辅导

Shuangquan Feng, Laura Fleig, Ruisen Tu, Philip Chi, Edmund Bu, Melinda Ozel, Junhua Ma, Teng Fei, Virginia R. de Sa

机构 * Neurosciences Graduate Program, University of California San Diego（加州大学圣地亚哥分校神经科学研究生项目） ； Department of Cognitive Science, University of California San Diego（加州大学圣地亚哥分校认知科学系） ； Department of Computer Science and Engineering, University of California San Diego（加州大学圣地亚哥分校计算机科学与工程系） ； Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣地亚哥分校电气与计算机工程系） ； Department of Mathematics, University of California San Diego（加州大学圣地亚哥分校数学系） ； Face the FACS ； Halıcıoğlu Data Science Institute, University of California San Diego（Halıcıoğlu数据科学研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(title)；large language model(abstract)；language model(abstract)

AI总结 本文研究了在LLM辅导中整合面部表情信号以提升共情响应的效果，通过四种不同方法对比发现，基于动作单元的条件化能提升对面部表情的共情响应，而引导峰值帧选择优于随机帧输入。

SciCustom: A Framework for Custom Evaluation of Scientific Capabilities in Large Language Models

SciCustom: 一个用于大型语言模型科学能力定制评估的框架

Yiyang Gu, Junwei Yang, Junyu Luo, Ye Yuan, Bin Feng, Yingce Xia, Shufang Xie, Kaili Liu, Bohan Wu, Qi Shi, Haoran Li, Beier Xiao, Zhiping Xiao, Xiao Luo, Weizhi Zhang, Philip S. Yu, Zequn Liu, Ming Zhang

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab, Peking University（多媒体信息处理国家重点实验室，计算机学院，PKU-Anker LLM实验室，北京大学） ； Zhongguancun Academy（中关村学院） ； IDEA ； Xidian University（西安电子科技大学） ； Peking University（北京大学） ； University of Washington（华盛顿大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文提出SciCustom框架，通过从大规模科学数据中自定义构建基准，评估LLM在特定科学任务中的能力，无需专家标注或合成问题生成，展示了细粒度科学能力差异。

Comments Accepted to ACL 2026 Main Conference

CodeUltraFeedback: An LLM-as-a-Judge Dataset for Aligning Large Language Models to Coding Preferences

Martin Weyssow, Aton Kamanda, Xin Zhou, Houari Sahraoui

专题命中 评测与基准 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；SFT(abstract)

Small Language Model as Data Prospector for Large Language Model

Shiwen Ni, Haihong Wu, Di Yang, Qiang Qu, Hamid Alinejad-Rokny, Min Yang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；small language model(title,abstract)；LLM(abstract)

On Cost-Effective LLM-as-a-Judge Improvement Techniques

关于成本效益的LLM作为评判者的改进技术

Ryan Lail, Luke Markham

专题命中 评测与基准 ：LLM(title,title_cn)；RLHF(abstract,abstract_cn)；language model(abstract)；prompting(abstract)

AI总结 研究通过集成评分、任务特定标准注入等四种技术提高LLM评判准确性，在RewardBench 2上达到85.8%准确率，成本效益显著。

Comments Accepted at the ICML 2026 workshops "Statistical Frameworks for Uncertainty in Agentic Systems" and "Combining Theory and Benchmarks: Towards a Virtuous Cycle to Understand and Guarantee Foundation Model Performance". 13 pages, 9 figures

How to Ask the AI: A User Perspective Survey for Large Language Model Prompting

如何向AI提问：大型语言模型提示工程的用户视角调查

Yiqun Zhang, Yunfan Zhang, Mingjie Zhao, Sen Feng, Yiu-ming Cheung

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；LLM(abstract,abstract_cn)

AI总结 该研究从用户视角开展大型语言模型提示工程调查，提出提示有效性评估策略、应用工作流并维护开源项目，为用户制定适配场景的有效提示提供可操作指南。

Comments Accepted to TAI

Simulation Code Generation for Fluid Systems using Large Language Models: Benchmarking Models and Prompting Strategies

基于大语言模型的流体系统仿真代码生成：模型与提示策略的基准测试

Jan Marius Stürmer, Jascha Knack, Tobias Koch, Andreas Weinmann

机构 * German Aerospace Centre (DLR)（德国航空航天中心） ； Technische Hochschule Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用技术大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本研究通过系统比较10种大语言模型与6种提示策略，评估其将流体系统模型图表示转换为WNTR、Modelica代码的能力，为相关设计流程提供指导，同时指出仿真保真度仍存差距。

FairJudge: An Adaptive, Debiased, and Consistent LLM-as-a-Judge

FairJudge: 一种自适应、去偏且一致的LLM作为评判者

Bo Yang, Lanfei Feng, Yunkui Chen, Yu Zhang, Xiao Xu, Shijian Li

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；分类 cs.CL

AI总结 针对LLM评判系统在适应性、偏见和一致性上的局限，提出FairJudge，通过可学习正则化策略和课程式SFT-DPO-GRPO训练范式，实现自适应、去偏和一致评估。