语言大模型 / LLM

OpenCompass: A Universal Evaluation Platform for Large Language Models

OpenCompass：大型语言模型的通用评估平台

Maosong Cao, Kai Chen, Haodong Duan, Yixiao Fang, Zhiwei Fei, Tong Gao, Ge Jiaye, Mo Li, Hongwei Liu, Junnan Liu, Yuan Liu, Chengqi Lyu, Han Lyu, Ningsheng Ma, Zerun Ma, Yu Sun, Zhiyong Wu, Linchen Xiao, Zhuozhi Xiong, Jun Xu, Haochen Ye, Zhaohui Yu, Yike Yuan, Songyang Zhang, Yufeng Zhao, Fengzhe Zhou, Peiheng Zhou, Dongsheng Zhu, Lin Zhu, Jingming Zhuo

机构 * OpenCompass Team（OpenCompass团队） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出OpenCompass，一个模块化、高兼容性、灵活且高并发的通用LLM评估平台，支持多种任务场景和主流基准数据集。

AD-Bench: A Real-World, Trajectory-Aware Advertising Analytics Benchmark for LLM Agents

AD-Bench: 面向LLM智能体的真实世界、轨迹感知广告分析基准

Lingxiang Hu, Yiding Sun, Tianle Xia, Wenwei Li, Ming Xu, Lan Xu, Siying Wang, Wei Xu, Jie Jiang

机构 * Tencent（腾讯） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AD-Bench基准，通过动态真实答案管道和轨迹感知评估，衡量LLM智能体在真实广告分析任务中的多轮工具协作能力，发现最优模型在复杂任务上仍有显著差距。

Comments 16 pages, 11 figures

AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents

AgentMisalignment：衡量基于LLM的代理中失调行为的倾向性

Akshat Naik, Emma Gouné, Patrick Quinn, Guillermo Bosch, Francisco Javier Campos Zabala, Jason Ross Brown, Edward James Young

机构 * Department of Computer Science（计算机科学系） ； University of Oxford（牛津大学） ； Institute of Intelligent Systems and Robotics（智能系统与机器人研究所） ； Sorbonne Université（索邦大学） ； The Leverhulme Centre for the Future of Intelligence（未来智能中心） ； University of Cambridge（剑桥大学） ； Independent Researcher（独立研究者） ； Department of Computer Science and Technology（计算机科学与技术系） ； Department of Engineering（工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AgentMisalignment基准，评估LLM代理在真实场景中自发追求非预期目标的倾向，发现更强大的代理平均表现出更高的失调倾向，且个性特征对失调影响显著。

Comments Prepint, under review for NeurIPS 2025

AI Playing Business Games: Benchmarking Large Language Models on Managerial Decision-Making in Dynamic Simulations

AI 玩商业游戏：在动态模拟中对大型语言模型的管理决策能力进行基准测试

Berdymyrat Ovezmyradov

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究提出一种用于LLM基准测试的可复现开放获取管理模拟器，评估Gemini等五个LLMs在动态商业模拟中的多步骤战略决策能力，为长期决策评估提供新途径。

Comments 34 pages, 7 figures, 3 tables

Some hypotheses on how chatbots work in problem-solving-driven conversations. Large Language Models as confirmation of the Innovation Illusion

关于聊天机器人在问题解决驱动对话中如何工作的一些假设：大型语言模型作为创新幻觉的确认

S. F. M. van Vlijmen, H. D. Lethe

机构 * S.F.M. van Vlijmen and H.D. Lethe jr（S.F.M. van Vlijmen 和 H.D. Lethe jr） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出聊天机器人作为对话伙伴的本质，基于聚合动力学、认知语言学等理论，假设LLM训练数据仅部分模仿人类思维，并得出结论：基础聊天机器人无法成为与人类匹敌的思考伙伴。

Comments Changes made over the versions do NOT concern the argument or conclusion. The changes do concern: typo's, better phrasing, extra references, making the abstract fit the length demands without losing the main points to be made. 42 pages, 3 figures, submitted to Transmathematica

Human Grounded Evaluation of Large Language Models for Optical Network Automation

用于光网络自动化的大语言模型的人工基础评估

Kiarash Rezaei, Omran Ayoub, Paolo Monti, Carlos Natalino

机构 * University of Applied Sciences and Arts of Southern Switzerland（瑞士南瑞士应用科学与艺术大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究针对光网络自动化中LLMs输出质量和成本差异大的问题，提出HuGLEN评估管道，结合LLM评判器和专家评级，用QES排名，用于转换XAI模型输出，结果显示中等规模LLM的QES最高，减轻人工标注负担，助力模型选择。

SycoEval-EM: Sycophancy Evaluation of Large Language Models in Simulated Clinical Encounters for Emergency Care

SycoEval-EM：急诊护理模拟临床场景中大语言模型的谄媚评估

Dongshen Peng, Yi Wang, Austin Schoeffler, Sun-ha Hong, Brian Suffoletto, David Kim, Carl Preiksaitis, Christian Rose

机构 * UNC Chapel Hill（UNC夏洛特山分校） ； University of Waterloo（滑铁卢大学） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出SycoEval-EM多智能体模拟框架，评估19个LLM在急诊医学中对患者说服的鲁棒性，发现谄媚率呈双峰分布，静态医学基准无法预测安全表现。

Comments 19 pages, 10 figures

StatEval: A Comprehensive Benchmark for Large Language Models in Statistics

StatEval：大型语言模型在统计学中的综合基准

Yuchen Lu, Run Yang, Yichen Zhang, Shuguang Yu, Ziwei Wang, Jiayi Xiang, Wenxin E, Changyu Zhu, Fan Zhou

机构 * Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出StatEval基准，包含10万+问题，覆盖本科到研究级统计推理，并开发TRACE管道和自适应评分方法，揭示LLM在基础任务上表现尚可但研究级推理薄弱。

Language Shapes Mental Health Evaluations in Large Language Models

语言塑造大型语言模型中的心理健康评估

Jiayi Xu, Xiyang Hu

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究多语言LLM在心理健康评估中是否因语言不同而产生系统性偏差，发现中文提示比英文提示导致更高的污名相关评分和更保守的抑郁严重度判断。

OmegaUse-OfficeVal: Benchmarking LLM Agents on Long-Horizon Office-Suite Tasks with Economic Grounding

OmegaUse-OfficeVal：基于经济基准的长周期办公套件任务LLM智能体评测基准

Jingbo Zhou, Yusai Zhao, Qi Bao, Jingjia Cao, Zhenghai Chen, Chang Gao, Kaiqi Guo, Muxin Guo, Mingxuan Li, Xinjiang Lu, Yanru Ma, Yixiong Xiao, Zenghui Zhang, Le Zhang, Hua Wu

机构 * Baidu Inc.（百度公司） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 OmegaUse-OfficeVal是带经济基准的长周期办公套件任务LLM智能体评测基准，含100项任务，评测发现前沿LLM成本低速度快但质量未达人类水平，代码与数据集已开源。

SCOPE: Selective Conformal Optimized Pairwise LLM Judging

SCOPE: 选择性保形优化的成对LLM评判

Sher Badshah, Ali Emami, Hassan Sajjad

机构 * Faculty of Computer Science, Dalhousie University, Halifax, NS, Canada（达勒豪西大学计算机科学学院） ； Department of Computer Science, Emory University, Atlanta, GA, USA（埃默里大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出SCOPE框架，通过校准接受阈值控制非弃权判断的错误率，并引入双向偏好熵（BPE）提供无偏不确定性信号，实现可靠且高覆盖率的LLM成对评估。

Comments Accepted at ICML 2026. 23 pages (9 main plus appendix), 7 figures, 11 tables

Beyond BFI: The CSI for Enhanced Reliability and Validity in Evaluating LLM Personality Traits

超越BFI：用于增强评估LLM人格特质可靠性与有效性的CSI

Huanhuan Ma, Haisong Gong, Xiaoyuan Yi, Xing Xie, Philip S. Yu, Dongkuan Xu

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有LLM人格特质评估工具BFI的可靠性与有效性局限，提出适配LLM的CSI，经实验验证其可靠性更高、与模型真实输出相关性超0.85，能有效评估LLM人格特质。

Comments Code available via https://github.com/dependentsign/CSI

Automating Deception: Scalable Multi-Turn LLM Jailbreaks

自动化欺骗：可扩展的多轮LLM欺骗攻击

Adarsh Kumarappan, Ananya Mujoo

机构 * California Institute of Technology（加州理工学院） ； Evergreen Valley College（埃弗格林谷学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出自动化生成多轮LLM欺骗数据集的方法，揭示GPT家族模型在对话历史中的脆弱性，而Gemini 2.5 Flash则表现出极强的抗性。

Ratchet: How Reliable Must an LLM Judge Be to Retire a Skill?

Ratchet：一种最小化卫生的自演化LLM代理技能库

Xing Zhang, Yanwei Cui, Guanghui Wang, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS 生成式人工智能创新中心） ； HSBC Holdings Plc.（汇丰控股有限公司） ； HSBC Technology Center, China（汇丰技术中心，中国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Ratchet，一种单代理循环，使冻结的LLM能够自行编写、检索、整理和淘汰其自然语言技能，通过整合四个卫生机制提升技能库的生命周期管理，从而在MBPP+ hard-100数据集上显著提升性能。

Comments Code: https://github.com/amazon-science/Self-Evolving-Agents-Ratchet

Margin-Adaptive Confidence Ranking for Reliable LLM Judgement

基于边际的置信度排名用于可靠的LLM判断

Gaojie Jin, Yong Tao, Lijia Yu, Tianjin Huang

机构 * Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） ； Institute of AI for Industries, Chinese Academy of Sciences（中国科学院工业人工智能研究所） ； Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于边际的置信度排名方法，通过学习专用置信度估计器，改进LLM在人类判断一致性上的表现，通过模拟标注者多样性与边际排名公式，显式建模LLM区分人类一致与不一致案例的置信度，并推导出通用性保证。

Comments Accepted to ICML 2026

De-attribute to Forget for LLM Unlearning

De-attribute to Forget for LLM Unlearning

Xinyang Lu, Jiabao Pan, Rachael Hwee Ling Sim, See-Kiong Ng, Anthony Kum Hoe Tung, Bryan Kian Hsiang Low

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于数据归因奖励的LLM遗忘框架DareU，通过强化学习降低生成响应与遗忘数据的归因分数，实现有效遗忘并平衡模型效用。

ReplicatorBench: Benchmarking LLM Agents for Replicability in Social and Behavioral Sciences

ReplicatorBench：用于社会科学和行为科学中可复制性评估的LLM代理基准测试

Bang Nguyen, Dominik Soós, Qian Ma, Rochana R. Obadage, Zack Ranjan, Sai Koneru, Timothy M. Errington, Shakhlo Nematova, Sarah Rajtmajer, Jian Wu, Meng Jiang

机构 * University of Notre Dame（圣母大学） ； Old Dominion University（老道明大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Independent Researcher（独立研究员） ； Uppsala University（乌普萨拉大学） ； Center for Open Science（开放科学中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ReplicatorBench，一个端到端的基准测试，用于评估AI代理在可复制性研究中的能力，涵盖数据提取、实验设计与结果解释三个阶段，并开发了ReplicatorAgent框架以评估不同LLM和编程语言的性能。

Comments Accepted to KDD 2026 AI4Sciences Track, Camera-ready version

LLM-ReSum: A Framework for LLM Reflective Summarization through Self-Evaluation

LLM-ReSum: 一个通过自我评估实现LLM反思性总结的框架

Huyen Nguyen, Haoxuan Zhang, Yang Zhang, Haihua Chen, Junhua Ding

机构 * dept. of Information Science University of North Texas Denton, Texas, USA（信息科学系 俄克拉荷马州立大学 丹顿 俄克拉荷马州 美国） ； dept. of Data Science University of North Texas Denton, Texas, USA（数据科学系 俄克拉荷马州立大学 丹顿 俄克拉荷马州 美国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LLM-ReSum框架，通过整合LLM评估与生成，提升低质量摘要的事实准确性与覆盖率，引入新的法律文档摘要基准PatentSumEval。

Comments This paper has been accepted as an invited paper for publication in Proceedings of The 12th IEEE International Conference on Big Data Computing Service and Machine Learning Applications. This is the accepted manuscript. The final authenticated version will be available via IEEE Xplore

GrowthHacker: Automated Off-Policy Evaluation Optimization Using Code-Modifying LLM Agents

GrowthHacker: 使用代码修改型LLM代理的自动离线策略评估优化

Jie JW Wu, Ayanda Patrick Herlihy, Ahmad Saleem Mirza, Ali Afoud, Fatemeh Fard

机构 * Michigan Technological University, Houghton（密歇根技术大学） ； Birmingham City University（伯明翰城市大学） ； University of British Columbia, Kelowna（不列颠哥伦比亚大学, 肯洛纳） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出GrowthHacker基准，利用LLM代理自动迭代修改代码以优化离线策略评估（OPE）实现，在Open Bandit Pipeline和Scope-RL上评估多种框架，证明基于LLM的代理可作为自动增长黑客持续改进OPE系统。

Comments Accepted for publication in ACM Transactions on Software Engineering and Methodology (TOSEM), 2026

LLM-WikiRace Benchmark: How Far Can LLMs Plan over Real-World Knowledge Graphs?

LLM-WikiRace 基准测试：大语言模型在真实知识图谱上的规划能力有多强？

Juliusz Ziomek, William Bankes, Lorenz Wolf, Shyam Sundhar Ramesh, Xiaohang Tang, Ilija Bogunovic

机构 * University of Oxford, UK（牛津大学，英国） ； University College London (Centre for AI), UK（伦敦大学学院（人工智能中心），英国） ； University of Basel, Switzerland（巴塞尔大学，瑞士） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出 LLM-Wikirace 基准，通过维基百科超链接导航任务评估大语言模型的规划、推理与世界知识，发现模型在简单任务上超人类，但困难任务成功率仅 23%，且规划与长程推理是主要瓶颈。

A Survey on Evaluating Quality and Trustworthiness in LLM-Generated Data

评估LLM生成数据的质量与可信度综述

Kaituo Zhang, Mingzhi Hu, Hoang Anh Duy Le, Fariha Kabir Torsha, Zhimeng Jiang, Minh Khai Bui, Chia-Yuan Chang, Yu-Neng Chuang, Zhen Xiong, Ying Lin, Guanchu Wang, Na Zou

机构 * University of Houston（德克萨斯大学休斯敦分校） ； Worcester Polytechnic Institute（沃思利理工学院） ； Rice University（里德大学） ； Texas A&M University（德克萨斯农工大学） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） ； University of Southern California（南加州大学） ； University of North Carolina at Charlotte（北卡罗来纳州立大学夏洛特分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LLM数据审计框架，从质量和可信度两个维度系统分类评估指标，分析六种模态数据生成方法的评估缺陷并给出改进建议。

Comments Published at TMLR. Title changed in the final version

Journal ref Transactions on Machine Learning Research, 2026

Analysing Differences in Persuasive Language in LLM-Generated Text: Uncovering Stereotypical Gender Patterns

分析LLM生成文本中说服性语言的差异：揭示刻板的性别模式

Amalie Brogaard Pauli, Maria Barrett, Max Müller-Eberstein, Isabelle Augenstein, Ira Assent

机构 * Department of Computer Science, Aarhus University（阿arhus大学计算机科学系） ； AMD Silo AI ； University of Tokyo（东京大学） ； IT University of Copenhagen（哥本哈根IT大学） ； Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出框架评估LLM生成说服性语言时受接收者性别、发送者意图和输出语言的影响，发现所有模型均存在显著的性别差异，反映性别刻板印象的语言倾向。

Comments Accepted at ACL Findings 2026

The Eloquence team submission for task 1 of MLC-SLM challenge

Eloquence团队针对MLC-SLM挑战赛任务1的提交

Lorenzo Concina, Jordi Luque, Alessio Brutti, Marco Matassoni, Yuchen Zhang

机构 * Fondazione Bruno Kessler（布鲁诺·科塞拉基金会） ； Telefónica Innovación Digital, Scientific Group（电信创新数字公司，科学小组） ； University of Essex（埃塞克斯大学） 纠错

专题命中 评测与基准 ：SLM(title,title_cn)；language model(abstract)；foundation model(abstract)；分类 cs.CL

AI总结 该研究针对MLC-SLM挑战赛任务1，探索三种多语言ASR方法，评估基线、利用SLAM-ASR框架训练投影器并研究对比学习与会话上下文的作用。

Comments Technical Report for MLC-SLM Challenge of Interspeech2025

More Parameters Than Populations: A Systematic Literature Review of Large Language Models within Survey Research

参数多于总体：调查研究中的大语言模型系统文献综述

Trent D. Buskirk, Florian Keusch, Leah von der Heyde, Adam Eck

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 通过系统文献综述，评估大语言模型在调查研究三个阶段（数据收集前、中、后）的应用，讨论其潜力与陷阱，并展望调查研究对LLM发展的贡献。

Comments This working paper is outdated as of June 2026 - please refer to the full version with substantive changes here: https://doi.org/10.31235/osf.io/eubj4_v1 This work was presented at NLPOR 2025 (non-archival): https://openreview.net/forum?id=0Hxhwa56Yg

Investigating Learner-Aware Design of LLM-Generated Educational Feedback

哪种反馈适用于谁？LLM生成反馈元素在学习者特征中的差异效应

Momoka Furuhashi, Kouta Nakayama, Noboru Kawai, Takashi Kodama, Saku Sugawara, Kyosuke Takami

机构 * Tohoku University（东北大学） ； NII LLMC（日本信息处理学会LLMC研究中心） ； NII（日本信息处理学会） ； University of Tokyo（东京大学） ； Osaka Kyoiku University（大阪教养大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究探讨了不同人格特征学习者对LLM生成反馈元素的接受差异，发现有效反馈元素有共同支持学习成果的模式，学习者主观偏好在人格集群中存在差异。

Comments Under Review

No Free Labels: Limitations of LLM-as-a-Judge Without Human Grounding

无免费标签：缺乏人类基准的LLM作为评判的局限性

Michael Krumdick, Charles Lovering, Varshini Reddy, Seth Ebner, Chris Tanner

机构 * Kensho Technologies ； MIT（麻省理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出BFF-Bench基准测试，通过专家评估LLM响应的正确性，揭示LLM作为评判在无人类基准时的局限性，显示当无正确参考时，LLM评判与人类专家的高一致性仅限于LLM能正确回答的问题。

Benchmarking LLM-as-a-Judge for Long-Form Output Evaluation

基准测试LLM作为裁判在长文本输出评估中的应用

Junjie Chen, Yuxi Dong, Haitao Li, Weihang Su, Yujia Zhou, Min Zhang, Yiqun Liu, Qingyao Ai

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出LongJudgeBench基准，系统评估LLM裁判在长文本输出评估中的可靠性，发现当前模型存在显著可靠性差距。

PortBench: A Correlation-Aware, Full-Pipeline Benchmark for LLM-Driven Portfolio Management

PortBench: 一种相关性感知的、全流水线的LLM驱动投资组合管理基准

Yuxuan Zhao, Sijia Chen, Ningxin Su

机构 * Yantai Research Institute of Harbin Engineering University（哈尔滨工程大学烟台研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出PortBench基准，通过静态QA和动态五阶段分配流水线评估LLM在投资组合管理中的表现，发现多数模型无法超越等权重分配，且存在推理错误累积和压力下大幅回撤的问题。

Comments Project page: https://portbench.github.io/

ForesightSafety-SAGE:A Fully Automated Scenario Generation and Safety Evaluation Framework for LLM Agents

VESTA: 一种全自动的LLM智能体场景生成与安全评估框架

Lu Jia, Haibo Tong, Feifei Zhao, Jindong Li, Dongqi Liang, Ping Wu, Qian Zhang, Yi Zeng

机构 * BrainCog AI Lab, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所类脑人工智能实验室） ； Beijing Institute of AI Safety and Governance (Beijing-AISI)（北京人工智能安全与治理研究院） ； Beijing Key Laboratory of Safe AI and Superalignment（北京市安全人工智能与超级对齐重点实验室） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Long-term AI（长期人工智能） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出VESTA框架，基于五个风险维度自动生成1072个可执行场景，评估12个LLM智能体在任务执行中的行为安全风险，平均攻击成功率达47.1%。

Characterizing Readability Issue Patterns and the Role of Prompt Design in LLM-Generated Code

可读性光谱：LLM生成代码中的模式、问题和提示影响

Hengzhi Ye, Fengyuan Ran, Weiwei Xu, Minghui Zhou

机构 * Peking university（北京大学） ； Wuhan University（武汉大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了LLM生成代码的可读性，发现其与人工编写代码相当，但存在特定问题模式，提示设计对可读性影响有限。