语言大模型 / LLM

ValueAlpha: Agreement-Gated Stress Testing of LLM-Judged Investment Rationales Before Returns Are Observable

ValueAlpha：基于LLM投资理据的同意门压力测试

Sidi Chang, Peiying Zhu, Yuxiao Chen

机构 * Blossom AI Labs（Blossom AI实验室） ； Blossom AI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出ValueAlpha协议，通过控制市场状态资本分配原型，评估LLM投资理据的可发表性与有效性，发现低秩系统和单判官排名的依赖性及术语惩罚问题。

Comments 9 pages, Submitted to IEEE Computational Intelligence in Financial Engineering and Economics (CIFEr) 2026, Tokyo, Japan

Multi-Dimensional Evaluation of Sustainable City Trips with LLM-as-a-Judge and Human-in-the-Loop

多维评估可持续城市旅行的LLM-as-Judge与人机协同

Ashmi Banerjee, Adithi Satish, Wolfgang Wörndl, Yashar Deldjoo

机构 * Technical University of Munich（慕尼黑技术大学） ； Polytechnic University of Bari（巴里理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出多维评估可持续城市旅行推荐的框架，通过LLM-as-Judge和人类协同校准，解决传统指标忽略利益相关者目标的问题，揭示模型偏差与维度差异。

Is Vibe Coding the Future? An Empirical Assessment of LLM Generated Codes for Construction Safety

vibe编码是未来吗？对LLM生成代码用于建设安全的实证评估

S M Jamil Uddin

机构 * Department of Construction Management, Colorado State University（科罗拉多州立大学建设管理系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究评估了450个由三个前沿模型生成的Python脚本在建设安全中的可靠性、软件架构和领域特定安全精度，发现用户角色与数据幻觉存在显著关系，且存在高达45%的静默故障率。

What Prompts Don't Say: Understanding and Managing Underspecification in LLM Prompts

提示中未言明的内容：理解并管理LLM提示中的不充分性

Chenyang Yang, Yike Shi, Qianou Ma, Michael Xieyang Liu, Christian Kästner, Tongshuang Wu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文探讨了LLM提示中的不充分性问题，指出默认推断的稳定性差且易退化，提出要求意识的提示优化机制和系统性的主动发现与监控流程以提升性能。

Call-Chain-Aware LLM-Based Test Generation for Java Projects

面向调用链的基于LLM的Java项目测试生成

Guancheng Wang, Qinghua Xu, Lionel C. Briand, Zhaoqiang Guo, Kui Liu

机构 * Research Ireland Lero Centre for Software（爱尔兰Lero软件研究中心） ； University of Limerick（利默里克大学） ； University of Ottawa（渥太华大学） ； The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Software Engineering Application Technology Lab, Huawei（华为软件工程应用技术实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出CAT方法，通过静态分析整合调用链和依赖上下文，提升测试生成的覆盖率和有效性，实验显示其在Defects4J和真实项目中均优于现有方法。

CI-Work: Benchmarking Contextual Integrity in Enterprise LLM Agents

CI-Work: 企业LLM代理中情境完整性基准测试

Wenjie Fu, Xiaoting Qin, Jue Zhang, Qingwei Lin, Lukas Wutschitz, Robert Sim, Saravan Rajmohan, Dongmei Zhang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Microsoft（微软） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 CI-Work基准测试评估企业LLM代理在密集检索中传达关键内容并隐藏敏感信息的能力，揭示隐私泄露普遍且高任务效用与隐私违规正相关，需转向以情境为中心的架构。

Journal ref The 64th Annual Meeting of the Association for Computational Linguistics (ACL'2026) -- Industry Track

Privacy-R1: Privacy-Aware Multi-LLM Agent Collaboration via Reinforcement Learning

Privacy-R1: 通过强化学习实现隐私意识的多LLM代理协作

Zheng Hui, Yijiang River Dong, Sanhanat Sivapiromrat, Ehsan Shareghi, Nigel Collier

机构 * University of Cambridge（剑桥大学） ； University College London（伦敦大学学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Privacy-R1框架，通过强化学习动态路由文本块，在隐私泄露与任务性能间取得平衡，引入医疗数据集验证方法有效性，实现隐私-效用前沿的新状态。

Comments ACL 2026 Main

Signal or Noise in Multi-Agent LLM-based Stock Recommendations?

多智能体基于LLM的股票推荐中信号还是噪声？

George Fatouros, Kostas Metaxas

机构 * MarketSenseAI 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文验证了MarketSenseAI多智能体LLM股票系统在投资组合层面的表现，发现其买入推荐在被动基准和随机选择上具有超额收益，揭示了智能体结构对alpha来源的适应性整合机制。

Comments 22 pages, 10 figures

SQL Query Engine: A Self-Healing LLM Pipeline for Natural Language to PostgreSQL Translation

SQL查询引擎：一种自我修复的LLM管道，用于自然语言到PostgreSQL的转换

Muhammad Adeel Ijaz

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文提出SQL查询引擎，通过两阶段LLM管道将自然语言问题转换为验证过的PostgreSQL查询。第二阶段执行查询并进入自我修复循环以处理错误。系统在多个LLM后端上进行了评估，展示了自我修复循环在准确性上的提升。

Comments 16 pages, 5 tables, 4 figures

Same Verdict, Different Reasons: LLM-as-a-Judge and Clinician Disagreement on Medical Chatbot Completeness

相同结论，不同原因：LLM作为法官与临床医生在医疗聊天机器人完整性上的分歧

Alexandra DeLucia, Heyuan Huang, Sonal Joshi, Mahsa Yarmohammadi, Ahmed Hassoon, Mark Dredze

机构 * Data Science and AI Institute（数据科学与人工智能研究所） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究评估了LLM作为法官在检测医疗聊天机器人完整性上的可靠性，发现其与临床医生在判断标准上存在根本差异，无法有效替代人工评估。

Semantic Consensus: Process-Aware Conflict Detection and Resolution for Enterprise Multi-Agent LLM Systems

语义共识：面向企业多智能体LLM系统的过程感知冲突检测与解决

Vivek Acharya

机构 * Independent Researcher（独立研究员） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出语义共识框架，通过过程感知中间件解决多智能体系统中因共享目标解释不一致导致的冲突问题，实现100%工作流完成率和高精度冲突检测。

Comments 18 pages, 4 figures, 4 tables

Love, Lies, and Language Models: Investigating AI's Role in Romance-Baiting Scams

爱情、谎言与语言模型：探讨人工智能在情爱诱骗诈骗中的作用

Gilad Gressel, Rahul Pankajakshan, Shir Rozenfeld, Ling Li, Ivan Franceschini, Krishnashree Achuthan, Yisroel Mirsky

机构 * Center for Cybersecurity Systems & Networks, Amrita Vishwa Vidyapeetham, Amritapuri（网络安全系统与网络中心，阿米特大学，阿米塔普里） ； Ca’ Foscari University of Venice（威尼斯卡弗斯卡里大学） ； University of Melbourne（墨尔本大学） ； Ben Gurion University of the Negev（内盖夫本· Gurion大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 研究探讨AI在情爱诱骗诈骗中的角色，通过访谈和实验发现LLM已被广泛用于诈骗，且安全过滤器无法有效阻止其扩张。

Journal ref USENIX Security Symposium 2026

The Autocorrelation Blind Spot: Why 42% of Turn-Level Findings in LLM Conversation Analysis May Be Spurious

自相关盲区：为什么LLM对话分析中42%的回合级发现可能是虚假的

Ferdinand M. Schessl

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文研究了LLM对话分析中回合级指标的自相关性，发现42%的显著关联在集群稳健校正后不显著，提出两阶段校正框架以减少统计显著性膨胀。

Comments 14 pages, 3 figures, 5 tables, 1 algorithm. Code and synthetic demonstration data: https://github.com/ferdinandschessl-boop/autocorrelation-correction

Hubble: An LLM-Driven Agentic Framework for Safe, Diverse, and Reproducible Alpha Factor Discovery

Hubble：一种基于LLM的代理框架，用于安全、多样且可重复的阿尔法因子发现

Runze Shi, Shengyu Yan, Yuecheng Cai, Chengxi Lv

机构 * Celestial Quant Lab, Canada（加拿大天体量化实验室） ； The University of British Columbia, Canada（加拿大不列颠哥伦比亚大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Hubble结合大语言模型和领域特定操作语言，通过抽象语法树执行沙盒、双通道检索增强生成模块和家族感知选择机制，实现安全、多样且可重复的阿尔法因子发现。

Assessing the Reliability of Large Language Models in the Bengali Legal Context: A Comparative Evaluation Using LLM-as-Judge and Legal Experts

Sabik Aftahee, A. F. M. Farhad, Arpita Mallik, Ratnajit Dhar, Jawadul Karim, Nahiyan Bin Noor, Ishmam Ahmed Solaiman

机构 * Chittagong University of Engineering and Technology（奇坦冈工程与技术大学） ； ResearchBuddy AI 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(title)；language model(title)；分类 cs.AI

A Survey of AIOps in the Era of Large Language Models

Lingzhe Zhang, Tong Jia, Mengxi Jia, Yifan Wu, Aiwei Liu, Yong Yang, Zhonghai Wu, Xuming Hu, Philip S. Yu, Ying Li

机构 * Peking University（北京大学） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； University of Illinois Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

Comments Accepted By CSUR, an extended version of "A Survey of AIOps for Failure Management in the Era of Large Language Models" [arXiv:2406.11213]

CAT-LLM: Style-enhanced Large Language Models with Text Style Definition for Chinese Article-style Transfer

Zhen Tao, Dinghao Xi, Zhiyu Li, Liumin Tang, Wei Xu

机构 * Renmin University of China（中国人民大学） ； Shanghai University of Finance and Economics（上海金融学院） ； Institute for Advanced Algorithms Research（先进算法研究所） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(title)；language model(title)；分类 cs.CL

Large Language Models Merging for Enhancing the Link Stealing Attack on Graph Neural Networks

Faqian Guan, Tianqing Zhu, Wenhan Chang, Wei Ren, Wanlei Zhou

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

Comments Link Stealing Attacks, Large Language Models, Graph Neural Networks, Privacy Attacks, Model Merging

PALLM: Evaluating and Enhancing PALLiative Care Conversations with Large Language Models

Zhiyuan Wang, Fangxu Yuan, Virginia LeBaron, Tabor Flickinger, Laura E. Barnes

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

Comments Accepted by ACM Transactions on Computing for Healthcare, Special Issue on Large Language Models, Conversational Systems, and Generative AI in Health, pending minor revisions

Fine-tuning Large Language Model (LLM) Artificial Intelligence Chatbots in Ophthalmology and LLM-based evaluation using GPT-4

Ting Fang Tan, Kabilan Elangovan, Liyuan Jin, Yao Jie, Li Yong, Joshua Lim, Stanley Poh, Wei Yan Ng, Daniel Lim, Yuhe Ke, Nan Liu, Daniel Shu Wei Ting

专题命中 评测与基准 ：LLM(title,abstract)；large language model(title)；language model(title)；分类 cs.AI

Comments 13 Pages, 1 Figure, 8 Tables

Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models

Ratish Puduppully, Anoop Kunchukuttan, Raj Dabre, Ai Ti Aw, Nancy F. Chen

专题命中 评测与基准 ：prompting(title,abstract)；large language model(title)；language model(title)；分类 cs.CL

Comments EMNLP 2023 (Main, Long paper)

Large Language Models in Ambulatory Devices for Home Health Diagnostics: A case study of Sickle Cell Anemia Management

Oluwatosin Ogundare, Subuola Sofolahan

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

Comments Large Language Models in Biomedical Engineering, Health Diagnostics

Benchmarking Identity-Sensitive LLM Outputs for Surveillance and Security Robots

针对监控与安全机器人的身份敏感型大语言模型输出基准测试

Nneka Hyman, Jasmine Khan, Raj Korpan

机构 * Hunter College, City University of New York（纽约城市大学亨特学院） ； The Graduate Center, City University of New York（纽约城市大学研究生中心） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；foundation model(comments)

AI总结 该研究测试身份条件提示对LLM生成的监控与安全机器人设计描述的影响，用236个人口统计学身份标签分析可读性，发现存在显著差异，可读性可为相关基准框架提供可解释基线。

Comments Accepted to the Foundation Models in the Ro-Man Age (FoRMA) Workshop at IEEE RO-MAN 2026

Grounding Healthcare LLMs in a Causal Knowledge Graph: Framework, Metrics, and a Cardiovascular Pilot

将医疗大语言模型（LLM）基于因果知识图谱：框架、指标与心血管试点研究

Ummara Mumtaz, Aimen Noor, Awais Ahmed

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出以因果知识图谱为核心的医疗LLM评估框架，在心血管试点中验证其有效性，发现集成条件C4在因果推理相关指标上表现最优，未基于图的C1原始干预准确性最高但缺乏因果与证据基础。

Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction

大语言模型能遵循指令，但无法同时遵循太多：组合约束满足中的相变

Mariya I. Vasileva

机构 * Meta Superintelligence Labs（元超级智能实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出约束饱和评估基准，发现大语言模型在同时遵循5-6个以上指令约束时可靠性崩溃，不同类型约束的性能下降幅度存在差异，失败呈近独立的乘法累积效应。

Comments 35 pages, 7 figures, 13 tables. Reviewed in the ARR May 2026 cycle

VIBE: A VAD-Informed Benchmark for Entity-Centered Affective Profiling of Large Language Model Outputs

VIBE：面向大型语言模型输出的以实体为中心的情感分析基准，基于VAD（效价-唤醒度-支配度）

Andrei Chetvergov, Alexander Evseev, Timofei Sivoraksha, Stepan Ukolov, Mikhail Solovev, Danil Sazanakov, Sergey Bolovtsov

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于VAD的VIBE基准，用于以实体为中心分析大型语言模型输出的情感，明确了测量契约，通过三个实证层面验证了相关假设，推动该领域成为规范化实践。

Comments 25 pages, 13 figures, 22 tables. Submitted to ACL Rolling Review, August 2026

Humans Are More Diverse: Frontier LLMs Show Extreme Policies in Idealised AI Development Races

人类更多样化：前沿大语言模型（LLM）在理想化AI开发竞赛中表现出极端策略

Phu Hoa Pham, Duy Minh Dao Sy, Trung Kiet Huynh, Phu Quy Nguyen Lam, Chi Nguyen Tran, Minh Trung Le, Phong Hao Le, Dinh Nam Nguyen, Thien Ky Nguyen Dong, Elias Fernandez Domingos, Le Hong Trang, The Anh Han

机构 * Ho Chi Minh City University of Science（胡志明市科学大学） ； Vietnam National University Ho Chi Minh City (VNU-HCM)（越南国家大学胡志明市分校） ； Ho Chi Minh City University of Technology (HCMUT)（胡志明市技术大学（HCMUT）） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究通过多智能体博弈实验对比前沿LLM与人类在AI开发竞赛中的策略，发现LLM行动具模型特异性，需有效性检查才能判定其策略性与安全意识。

Auditing Question-Order Effects in Large Language Models with the QQ Equality: Mechanism Characterization and a Saturation Caveat

用QQ等式审计大语言模型中的问题顺序效应：机制表征与饱和警告

Pilsung Kang

机构 * Dankook University（韩国檀国大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中问题顺序效应，将QQ等式发展为审计标准，理论上表征满足该等式的机制类别，方法上开发审计管道，实验发现强制二元下一个token对数概率不适用于分布级QQ审计，建议进行饱和诊断。

Comments v2: major revision. Five restructured findings separating order sensitivity, QQ imbalance, and residual contextuality; two-layer discriminant table; pipeline figure and per-item joint table; envelope pooling and certified Gamma bounds specified; retrospective batch-1 G3 re-validation (all verdicts preserved). No new pilot measurements

Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation

通过含义识别和取消评估大语言模型中的交际信念更新

Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung

机构 * Mila - Quebec AI Institute & McGill University（米拉 - 魁北克人工智能研究所和麦吉尔大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过创建首个专家注释的含义取消数据集，评估大语言模型识别和理解潜在信念及更新的能力，发现其落后于人类，成功可能源于依赖先验信念，失败取决于类型和形式，表明当前LLMs未达人类水平。

CogArena: A Multimethod Evaluation of Cognitive Ability Structure in Large Language Models

CogArena：大语言模型认知能力结构的多方法评估

Dengzhe Hou, Lingyu Jiang, Fangzhou Lin, Kazunori D Yamada

专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 研究围绕多方法框架构建CogArena基准评估大语言模型认知能力结构，通过多模型实验，发现范式相关性多为正但组内优势不明显，冻结确认标准及复制均失败，未建立稳定五维分布，提供了结合多种要素的工作流程。

Comments 21 pages, 8 figures. Code and the procedurally generated battery: https://github.com/dengzhe-hou/CogArena