语言大模型 / LLM

MAP4TS: A Multi-Aspect Prompting Framework for Time-Series Forecasting with Large Language Models

MAP4TS: 一个用于基于大语言模型的时间序列预测的多方面提示框架

Suchan Lee, Jihoon Choi, Sohyeon Lee, Minseok Song, Bong-Gyu Jang, Hwanjo Yu, Soyeon Caren Han

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出MAP4TS框架，通过将经典时间序列分析融入提示设计，提升大语言模型在时间序列预测中的性能，实验表明其在多个数据集上均优于现有方法。

Comments There is a error in modeling. Thereafter, paper will be revised and re-uploaded

How well do Large Language Models Recognize Instructional Moves? Establishing Baselines for Foundation Models in Educational Discourse

大型语言模型如何识别教学行为？为教育对话的基础模型建立基准

Kirk Vanacore, Rene F. Kizilcec

机构 * National Tutoring Observatory（国家辅导观察所） ； Cornell University（康奈尔大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；foundation model(title,abstract)；LLM(abstract)

AI总结 研究评估了六种LLM在分类真实课堂教学行为任务中的基准性能，发现少样本提示显著提升表现，但存在可靠性限制。

WuYuEval: A Multi-Level Benchmark for Large Language Models in Solid Waste Management

WuYuEval：面向固体废物管理的大语言模型多级基准测试

Yi Zhang, Hongyang Wang, Zheng Hao Leong, Zihao Wu, Kaijun Lin, Zhixing Pan, Qixun Huangfu, Wei Ren, Wenyan Wu, Fangyun Wang, Wenting Yu, Hengyu Lin, Muling Yang, Zongguo Wen

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 WuYuEval是面向固体废物管理的多级基准测试，含基础与专家模块，评估33个LLM的SWM能力，发现其在专业任务表现差，为开发专用基础模型提供依据。

ConfidenceBench: Evaluating Confidence Calibration in Large Language Models

ConfidenceBench：评估大语言模型中的置信度校准

Matthew ffrench-Constant, Daniel Yang, Xinmeng Huang, Sanyam Kapoor

机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Pennsylvania（宾夕法尼亚大学） ； New York University（纽约大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 研究针对大语言模型在特定场景下仅靠准确性不足的问题，提出ConfidenceBench校准基准，用Brier分数评估15个前沿LLMs口头置信度，经实验发现模型准确性与校准差异大，证明口头置信度校准是LLM可靠性重要维度，补充了基于准确性的评估。

JailMeter: An Evidence-Based Evaluation Framework for Jailbreak Attacks on Large Language Models

JailMeter：一种基于证据的大语言模型越狱攻击评估框架

Qingjia Huang, Jingyu Zhang, Jianguo Wu, Yakai Li, Weijuan Zhang, Yankai Rong, Junyi Yao, Shengzhi Zhang, Xiaoqi Jia

专题命中 评测与基准 ：SLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；small language model(abstract)

AI总结 针对大语言模型越狱攻击评估标准和方法不一致的问题，提出基于证据评估框架JailMeter，受信息瓶颈理论启发用双反馈优化过滤噪声，在JailMeter-Eva上评估准确率达97.27%，还提炼出JailMeter\textsubscript{SLM}降低计算成本。

Simplicity Paradox: Debunking myths about prompting and datasets for LLM evaluation

简单性悖论：揭穿关于大语言模型评估中提示和数据集的神话

Inder Preet, Shuxin Lin, Dhaval Patel

专题命中 评测与基准 ：LLM(title,summary_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究大语言模型评估中提示和数据集相关问题，通过对8种提示技术在10个MCQA数据集上的实证研究，发现基线提示常优于复杂技术，还研究了相关关键现象，表明LLM评估社区或使提示工程过复杂，存在性能差距，为模型改进提供机会。

CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity

CreativityPrism：大语言模型创造力的跨域评估框架

Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

机构 * University of Pittsburgh（匹兹堡大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Notre Dame（诺特丹大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；post-training(abstract)

AI总结 提出CreativityPrism框架，整合发散思维、创意写作和逻辑推理三个领域的八项任务，从质量、新颖性和多样性三个维度评估LLM创造力，发现前沿模型在创意写作和逻辑推理上领先，但在发散思维上无显著优势，且各维度间相关性弱。

Comments Published in Transactions on Machine Learning Research (06/2026)

Single and Multi Truth Data Fusion using Large Language Models

使用大型语言模型的单真值与多真值数据融合

Hira Beril Kucuk, Norman W Paton, Jiaoyan Chen, Zhenyu Wu

机构 * Department of Computer Science University of Manchester（计算机科学系曼彻斯特大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 研究利用大型语言模型（LLM）解决表格数据的单真值和多真值数据融合问题，通过多种提示策略在三个基准数据集上实验，结果表明LLM方法优于传统无监督方法。

CalBrief: A Pilot Diagnostic Benchmark for Evidence-Calibrated Scientific Briefing with Large Language Models

CalBrief：面向大型语言模型证据校准科学简报的试点诊断基准

Yu Fu, Yongqi Kang, Yong Zhao

机构 * Sichuan University（四川大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 提出CalBrief基准，通过16个科学证据包和96个人工验证要点，诊断LLM在证据校准简报中的不足，发现保守性主要源于标签空间扩展而非信号注入。

Do Large Language Models Always Tell The Same Stories?

大型语言模型总是讲述相同的故事吗？

Thennal DK, Hans Ole Hatzel

机构 * University of Hamburg（汉堡大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 通过对比框架和人类故事数据集，研究10种LLM生成故事的叙事相似性，发现LLM故事比人类故事更相似，前沿模型趋向于“平均”通用叙事，且常见缓解策略无效。

Would a Large Language Model Pay Extra for a View? Inferring Willingness to Pay from Subjective Choices

大型语言模型会为景观付费吗？从主观选择中推断支付意愿

Manon Reusens, Sofie Goethals, Toon Calders, David Martens

机构 * Department of Engineering Management, University of Antwerp（安特卫普大学工程管理系） ； Department of Computer Science, University of Antwerp（安特卫普大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 研究在旅行助手场景下，通过多分类逻辑模型分析LLM的主观选择，推断其支付意愿并与人类基准比较，发现LLM在属性层面存在系统偏差且高估支付意愿，但通过条件化偏好可改善。

PoliticsBench: Benchmarking Political Values in Large Language Models with Multi-Turn Roleplay

PoliticsBench: 通过多轮角色扮演基准测试大型语言模型中的政治价值观

Rohan Khetan, Ashna Khetan

机构 * Northville High School, Northville, USA（北维尅高中） ； Department of Computer Science, Stanford University, Stanford, USA（斯坦福大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 提出PoliticsBench，一个多阶段角色扮演基准，通过20个演化场景评估LLM的细粒度价值表达，发现场景提示比直接提问能引发更广泛和强烈的价值表达。

Comments 7 pages, 5 tables, 5 figures, 4 appendix pages. Accepted to the ICML 2026 Trustworthy AI for Good Workshop

Few-Shot Large Language Models for Actionable Triage Categorization of Online Patient Inquiries

少样本大语言模型在在线患者咨询可操作分诊中的应用

Liqi Zhou, Jiafu Li

机构 * seas.upenn.edu（宾夕法尼亚大学塞as学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文研究少样本条件下大语言模型在在线患者咨询分诊中的应用，通过构建不同数据集比较TF-IDF和BioBERT与六个LLM在0-shot、4-shot和12-shot条件下的表现，发现Claude Haiku 4.5在12-shot条件下达到0.475的宏F1值，优于监督基线模型。

Comments 4 figures, 19 tables, 23 pages (including appendix and reference)

RTLC -- Research, Teach-to-Learn, Critique: A three-stage prompting paradigm inspired by the Feynman Learning Technique that lifts LLM-as-judge accuracy on JudgeBench with no fine-tuning

RTLC -- 研究、教以学、批判：一种受费曼学习技术启发的三阶段提示范式，无需微调即可提升LLM-as-judge在JudgeBench上的准确性

Andrea Morandi

机构 * Cisco（思科） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(title,abstract)；分类 cs.CL、cs.AI

AI总结 RTLC通过三阶段提示方法提升LLM在JudgeBench上的准确性，无需微调或外部工具，其核心方法包括研究、教以学和批判三个阶段，显著提升客观正确性评分的准确性。

Bridging the Linguistic Divide: A Survey on Leveraging Large Language Models for Machine Translation

弥合语言鸿沟：大型语言模型在机器翻译中的应用综述

Baban Gain, Dibyanayan Bandyopadhyay, Asif Ekbal, Trilok Nath Singh

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； IIT Patna（印度理工学院帕纳布） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)

AI总结 本文综述了大型语言模型在机器翻译中的应用，探讨了提示方法、参数高效微调、合成数据生成等技术，分析了低资源翻译中的挑战与对策，以及文档级和语篇级翻译方法的发展。

Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study

Yuan Sui, Mengyu Zhou, Mingjie Zhou, Shi Han, Dongmei Zhang

专题命中 评测与基准 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract,comments)

Comments This paper has been accepted as a full paper at WSDM 2024. Explore the MS research blog of our work at https://www.microsoft.com/en-us/research/blog/improving-llm-understanding-of-structured-data-and-exploring-advanced-prompting-methods/

Greener Than Humans? Environmental Attitudes in Large Language Models

比人类更绿色？大语言模型中的环境态度

Stefanie Kunkel, Tilman Hartwig, Marcus Voss, Emma K. Schütt, Angelika Gellrich

机构 * University of Tübingen（图宾根大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 通过构建基准评估31个LLM的环境认知、情感和行为建议，发现多数模型比德国调查受访者更倾向环保态度，但存在语境敏感性和谄媚偏移。

Comments Code can be found at https://gitlab.opencode.de/uba-ki-lab/llm-questionnaire-benchmarking-framework Benchmark data and results can be found at https://zenodo.org/records/20445903

LLM Surgery: Efficient Knowledge Unlearning and Editing in Large Language Models

Akshaj Kumar Veldanda, Shi-Xiong Zhang, Anirban Das, Supriyo Chakraborty, Stephen Rawls, Sambit Sahu, Milind Naphade

专题命中 评测与基准 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

Can Small Language Models Reliably Resist Jailbreak Attacks? A Comprehensive Evaluation

小型语言模型能否可靠抵御越狱攻击？一项综合评估

Zhibo Wang, Wenhui Zhang, Huiyu Xu, Zeqing He, Ziqi Zhu, Kui Ren

专题命中 评测与基准 ：SLM(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；large language model(abstract)

AI总结 本文通过评估59个SLMs对12种越狱方法的抵御能力，发现多数SLMs存在高ASR，漏洞与训练细节相关，且现有防御效果有限，凸显SLM需采用设计即安全的方法。

Comments Accepted by ACM CCS 2026

Music Recommendation with Large Language Models: Challenges, Opportunities, and Evaluation

基于大语言模型的音乐推荐：挑战、机遇与评估

Elena V. Epure, Yashar Deldjoo, Bruno Sguerra, Markus Schedl, Manuel Moussallam

机构 * Deezer Research（Deezer研究机构） ； Johannes Kepler University Linz（约翰·凯撒大学林茨分校） ； Linz Institute of Technology（林茨技术研究所） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 探讨音乐推荐系统从依赖信息检索框架向LLM驱动转变面临的挑战与机遇，通过回顾LLMs对音乐相关建模的重塑、审视自然语言处理评估实践，勾勒成功与风险维度，为音乐推荐系统评估提供跨学科视角。

Comments Under review with the ACM Transactions on Recommender Systems (TORS)

A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems

大语言模型漏洞的生命周期与应用栈调查：攻击、风险、防御与开放问题

Seyed Bagher Hashemi Natanzi, Bo Tang

机构 * Worcester Polytechnic Institute（伍斯特理工学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 本文通过生命周期与应用栈视角系统化梳理大语言模型系统的漏洞，涵盖数据收集、预训练、对齐、供应链、检索、推理、工具执行和部署等阶段，分析攻击、风险与防御，并提出安全研究议程。

When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

当数据库失败时：提示LLM对话代理在任务导向对话中安全恢复

Mohammad Alijanpour Shalmani, Alale Rezvani Boroujeni, Jiann Shiun Yuan

机构 * College of Engineering and Computer Science, University of Central Florida（中佛罗里达大学工程与计算机科学学院） ； Department of Marketing, University of Central Florida（中佛罗里达大学市场营销系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对任务导向对话中后端数据库失败导致LLM产生不安全响应的问题，提出基于提示的轻量级恢复策略，无需重训练即可将幻觉率降低42-50%。

Comments Accepted at SIGDIAL 2026

Large Language Models as Optimizers: A Survey of Direct vs. Tool-Augmented Approaches and Their Performance Frontiers

大型语言模型作为优化器：直接方法与工具增强方法的调查及其性能前沿

Roko Peran, Luka Hobor, Mihael Kovac, Mario Brcic

机构 * University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 综述LLM作为优化器的三种范式（直接优化、工具增强优化、工具创造优化），分析性能前沿与推理差距，探讨直接优化的未来潜力与工具增强优化的可审计性之间的权衡。

Comments 6 pages, 1 figure, 2 tables, accepted at 49th ICT and Electronics Convention, MIPRO - https://mipro.hr; Paper ID: #23463

Culturally uneven urban perception in large language models

大型语言模型通过文化不平等的基线感知城市

Rong Zhao, Wanqi Liu, Zhizhou Sha, Nanxi Su, Yecheng Zhang, Ying Long

机构 * Centre for Advanced Spatial Analysis (CASA), UCL, London, UK（高级空间分析中心（CASA），伦敦大学学院，英国） ； School of Architecture, Tsinghua University, Beijing, China（清华大学建筑学院，北京，中国） ； Department of Computer Science, UT Austin, Austin, TX, USA（得克萨斯大学奥斯汀分校计算机科学系，奥斯汀，德克萨斯，美国） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本研究通过全球平衡的街景样本测试前沿LLM的城市感知，发现中性提示实际上偏向欧美文化，且文化提示能改变情感评价但无法恢复人类语义多样性。

Zero-shot Large Language Models for Automatic Readability Assessment

零样本大语言模型用于自动可读性评估

Riley Grossman, Yi Chen

机构 * New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文提出零样本提示方法用于自动可读性评估，并首次全面评估了使用大语言模型作为无监督方法的性能，通过测试10种不同开源大语言模型在14种不同数据集上的表现，证明了方法在14个数据集中优于先前方法，同时提出LAURAE结合LLM和可读性公式得分提升鲁棒性。

Comments Accepted to ACL 2026 (Main Conference)

FinTrace: Holistic Trajectory-Level Evaluation of LLM Tool Calling for Long-Horizon Financial Tasks

FinTrace: LLM工具调用在长周期金融任务中的轨迹级综合评估

Yupeng Cao, Haohang Li, Weijin Liu, Wenbo Cao, Anke Xu, Lingfei Qian, Xueqing Peng, Minxue Tang, Zhiyuan Yao, Jimin Huang, K. P. Subbalakshmi, Zining Zhu, Jordan W. Suchow, Yangyang Yu

机构 * Stevens Institute of Technology（斯蒂文斯理工学院） ； Independent Researcher（独立研究者） ； The FinAI（FinAI） ； Duke University（杜克大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文提出FinTrace基准，通过800个专家标注的轨迹评估LLM工具调用，揭示模型在信息利用和最终答案质量上的不足，并通过FinTrace-Training数据集提升中间推理能力，但最终答案质量仍受限。

When Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey Responses

当合成用户失效时：LLM模拟人类调查回复的跨领域基准测试

Zihan Chen, Di Zhu, Lei Nico Zheng

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； University of Massachusetts Boston（马萨诸塞大学波士顿分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究构建跨领域基准与评估框架，发现LLM模拟人类调查回复存在个体表现逊于基线、过度确定人口统计特征等失效问题，且无法通过更大模型纠正，会误导细分目标决策。

Comments 19 pages, 5 figures, 4 tables. Preprint; under review

Who Gets the Reward & Who Gets the Blame? Evaluation-Aligned Training Signals for Multi-LLM Agents

谁获得奖励 & 谁受到责备？面向多LLM智能体的评估对齐训练信号

Chih-Hsuan, Yang, Tanwi Mallick, Le Chen, Krishnan Raghavan, Amal Gueroudji, Ian T. Foster, Rajeev Thakur

机构 * Argonne National Laboratory（阿贡国家实验室） ； University of Chicago（芝加哥大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出一个理论框架，结合合作博弈归因与过程奖励建模，将系统级评估转化为智能体信用和消息级信号，用于多LLM智能体训练。

Comments Accepted at the NeurIPS 2025 Workshop on Bridging Language, Agent, and World Models for Reasoning and Planning (LAW 2025)

Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency

临床推理图：LLM诊断推理的结构化评估揭示能力与一致性无关

Nisarg A. Patel

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过从LLM诊断痕迹中提取结构化图（5种节点和7种边），分析50例临床病例，发现图相似性在相似病例与不相似病例间无显著差异，表明LLM具备诊断能力但缺乏推理一致性。

Comments Spotlight Paper, Proceedings of the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning (ICML), Seoul, South Korea

Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data

超越均值：从小型试点数据对齐基于LLM的调查模拟器的三轴保真度

Eun Cheol Choi, Youngrae Kim, Prabhu Pugalenthi, Hong-En Chen, Bo-Ruei Huang

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对LLM模拟社会调查响应时的系统偏差，提出结构、边际和个体三轴保真度框架，通过提示、修正和微调三种方法对比，发现微调小型试点数据可实现平衡保真度，但保真度水平因子样本而异。

Comments 11 pages, 8 tables, 3 figures; Pluralistic Alignment @ ICML 2026 Workshop