arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-06-23 至 2026-06-23 共收录 166 信号源:cs.CL, cs.AI, cs.LG

1. 评测与基准 166 篇

2606.21460 2026-06-23 cs.CL cs.AI 新提交 92%

Evaluation of Small Language Models for Arabic Language Processing

小型语言模型在阿拉伯语处理中的评估

Jumana Alsubhi, Ahmed Alhusayni, Abdulrahman Gharawi, Israa Hamdine, Alshaymaa Allahim, Lamees Alhumaid, Ahmad Shabana, Rafik Madani

机构 * Naseej Innovation Lab(纳赛伊创新实验室) Naseej for Technology(纳赛伊技术)

专题命中 评测与基准 :language model(title,abstract);small language model(title,abstract);LLM(abstract,abstract_cn);SLM(abstract,abstract_cn)

AI总结 本文评估了12种小型语言模型在阿拉伯语自然语言处理任务上的表现,构建了涵盖8个领域和10种语言技能的240项测试基准,发现模型大小并非决定因素,阿拉伯语对齐和指令遵循能力更关键。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.14257 2026-06-23 cs.CL cs.AI cs.IR cs.LG 版本更新 92%

AD-Bench: A Real-World, Trajectory-Aware Advertising Analytics Benchmark for LLM Agents

AD-Bench: 面向LLM智能体的真实世界、轨迹感知广告分析基准

Lingxiang Hu, Yiding Sun, Tianle Xia, Wenwei Li, Ming Xu, Lan Xu, Siying Wang, Wei Xu, Jie Jiang

机构 * Tencent(腾讯)

专题命中 评测与基准 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出AD-Bench基准,通过动态真实答案管道和轨迹感知评估,衡量LLM智能体在真实广告分析任务中的多轮工具协作能力,发现最优模型在复杂任务上仍有显著差距。

Comments 16 pages, 11 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.04018 2026-06-23 cs.AI cs.CL cs.CY cs.LG 版本更新 92%

AgentMisalignment: Measuring the Propensity for Misaligned Behaviour in LLM-Based Agents

AgentMisalignment:衡量基于LLM的代理中失调行为的倾向性

Akshat Naik, Emma Gouné, Patrick Quinn, Guillermo Bosch, Francisco Javier Campos Zabala, Jason Ross Brown, Edward James Young

机构 * Department of Computer Science(计算机科学系) University of Oxford(牛津大学) Institute of Intelligent Systems and Robotics(智能系统与机器人研究所) Sorbonne Université(索邦大学) The Leverhulme Centre for the Future of Intelligence(未来智能中心) University of Cambridge(剑桥大学) Independent Researcher(独立研究者) Department of Computer Science and Technology(计算机科学与技术系) Department of Engineering(工程系)

专题命中 评测与基准 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出AgentMisalignment基准,评估LLM代理在真实场景中自发追求非预期目标的倾向,发现更强大的代理平均表现出更高的失调倾向,且个性特征对失调影响显著。

Comments Prepint, under review for NeurIPS 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22382 2026-06-23 eess.IV cs.AI cs.CV 新提交 92%

Large Language Model-Assisted Cleaning of Report-Derived Labels in a Large-Scale Chest CT Dataset

大型胸部CT数据集中基于大语言模型的报告衍生标签清洗

Yosuke Yamagishi, Atsushi Takamatsu, Mototsugu Sato, Tomohiro Kikuchi, Shouhei Hanaoka, Takeharu Yoshikawa, Osamu Abe

机构 * Division of Radiology and Biomedical Engineering, Graduate School of Medicine, The University of Tokyo(放射医学与生物医学工程系,东京大学医学研究生院) Department of Computational Diagnostic Radiology and Preventive Medicine, The University of Tokyo Hospital(计算诊断放射学与预防医学系,东京大学医院) Department of Radiology, Kanazawa University Hospital(金泽大学医院放射科) Faculty of Medicine, The University of Tokyo(东京大学医学系) Department of Radiology, School of Medicine, Jichi Medical University(立命馆大学医学系放射科) Department of Radiology, The University of Tokyo Hospital(东京大学医院放射科)

专题命中 评测与基准 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 本研究利用大语言模型(GPT-5.4)清洗CT-RATE数据集中的标签-报告不一致性,通过放射科医生裁决验证,发现LLM辅助清洗能有效识别临床相关错误,并提升数据集质量。

Comments 17 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.25665 2026-06-23 cs.CL cs.AI cs.DL cs.IR 版本更新 92%

LLM-ReSum: A Framework for LLM Reflective Summarization through Self-Evaluation

LLM-ReSum: 一个通过自我评估实现LLM反思性总结的框架

Huyen Nguyen, Haoxuan Zhang, Yang Zhang, Haihua Chen, Junhua Ding

机构 * dept. of Information Science University of North Texas Denton, Texas, USA(信息科学系 俄克拉荷马州立大学 丹顿 俄克拉荷马州 美国) dept. of Data Science University of North Texas Denton, Texas, USA(数据科学系 俄克拉荷马州立大学 丹顿 俄克拉荷马州 美国)

专题命中 评测与基准 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出LLM-ReSum框架,通过整合LLM评估与生成,提升低质量摘要的事实准确性与覆盖率,引入新的法律文档摘要基准PatentSumEval。

Comments This paper has been accepted as an invited paper for publication in Proceedings of The 12th IEEE International Conference on Big Data Computing Service and Machine Learning Applications. This is the accepted manuscript. The final authenticated version will be available via IEEE Xplore

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22349 2026-06-23 cs.CL cs.HC 新提交 92%

Curiosity as Linguistic Intervention: Using LLM Tutoring Dialogues to Influence Exploratory Learning Behavior

好奇心作为语言干预:利用LLM辅导对话影响探索性学习行为

Gevindu Ganganath, Pasindu Bolonghege, Qianru Lyu, Pradeep Varakantham, Thivya Kandappu

机构 * School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院) Human-Computer Interaction Institute, Carnegie Mellon University(卡内基梅隆大学人机交互研究所)

专题命中 评测与基准 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出CURIOBOT框架,通过LLM对话中的语言干预(新奇性、复杂性、冲突、不确定性)激发探索性学习行为,实验显示对话轮次增加2.4倍。

Comments Submitted to EMNLP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21856 2026-06-23 cs.CR cs.AI 新提交 92%

Harness-MU: A Safe, Governed, and Effective Harness for Multi-User LLM Agents

Harness-MU:面向多用户LLM代理的安全、可控且有效的框架

Wangxuan Fan, Xiaoyu Nie, Zhongxiang Dai

机构 * OpenAI Codex team(OpenAI Codex团队)

专题命中 评测与基准 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对多用户LLM代理的权限冲突与数据泄露问题,提出模型无关、零微调的基础设施框架Harness-MU,通过执行钩子强制执行确定性治理约束,在Muses-Bench基准上实现隐私保护并提升指令遵循准确率高达48.9个百分点。

Comments 15 pages, 4 figures, 15 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.24173 2026-06-23 cs.AI 版本更新 92%

LemmaBench: A Live, Research-Level Benchmark to Evaluate LLM Capabilities in Mathematics

LemmaBench: 一个用于评估LLM在数学领域能力的实时研究级基准

Antoine Peyronnet, Fabian Gloeckle, Amaury Hayat

机构 * Korean Institute for Advanced Study(韩国高级研究院)

专题命中 评测与基准 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出一个自动从arXiv提取引理并重写为自包含陈述的基准,直接评估LLM在最新数学研究上的表现,当前模型定理证明准确率仅10-15%。

Comments Accepted at the 3rd AI for Math Workshop (AI4Math) at ICML 2026 (poster). Non-archival workshop. 15 pages, 3 figures, 5 Tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21820 2026-06-23 cs.SI cs.AI cs.CL 新提交 91%

Generating Public Health Responses using Survey-Augmented Large Language Models

使用调查增强的大语言模型生成公共卫生响应

Leonardo Marciaga, Thuyen Pham, Julia Rezvani, Alina Hyk, Chunyang Liao, Konstantinos Mitsopoulos, Raffaele Vardavas

机构 * Hawk.illinoistech.edu(伊利诺伊理工学院)

专题命中 评测与基准 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);prompting(abstract)

AI总结 研究利用大语言模型生成合成调查数据,以模拟真实人群在流行病中的健康决策行为,发现合成数据能复现人口统计和信念分布,但难以捕捉因素间的协变关系,不能替代真实调查。

Comments 24 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21629 2026-06-23 cs.SE 新提交 91%

Assessing Language Models for Salient Class Identification

评估语言模型在显著类识别中的表现

Bo Xiong, Chaoran Cai, Kaipeng Xiong, Chong Wang, Peng Liang

专题命中 评测与基准 :language model(title,abstract);LLM(abstract,abstract_cn);SLM(abstract,abstract_cn);large language model(abstract)

AI总结 研究语言模型能否直接从代码提交中识别显著类,无需特征工程或图构建,发现小模型在少样本提示下性能接近大模型,可降低成本和隐私障碍。

Comments 22 pages, 1 images, 8 tables, Manuscript submitted to a Journal (2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22219 2026-06-23 physics.soc-ph 新提交 91%

Lost in Aggregation: A Multi-Scale Diagnostic Benchmark for LLM Spatial Navigation

迷失在聚合中:LLM空间导航的多尺度诊断基准

Yuhan jiang, Peng Luo, Liqiu Meng

专题命中 评测与基准 :LLM(title,title_cn);large language model(abstract);language model(abstract)

AI总结 提出多尺度诊断基准,将迷宫导航分解为局部、节点和全局三个认知层次,评估LLM在空间推理中的失败位置,发现跨尺度聚合是主要瓶颈。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.16712 2026-06-23 cs.CL cs.AI 版本更新 91%

The Chameleon Nature of LLMs: Quantifying Multi-Turn Stance Instability in Search-Enabled Language Models

LLM的变色龙本质:量化搜索增强语言模型中的多轮立场不稳定性

Shivam Ratnakar, Sanjay Raghavendra

机构 * University of Southern California(美国南加州大学)

专题命中 评测与基准 :LLM(title_cn,summary_cn);language model(title,abstract);large language model(abstract);分类 cs.CL、cs.AI

AI总结 提出变色龙基准数据集和两个度量指标,揭示搜索增强LLM在多轮对话中因知识多样性不足而严重依赖查询框架,导致立场频繁摇摆。

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: MTI-LLM @ NeurIPS 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22797 2026-06-23 cs.AI cs.CY cs.GT econ.GN q-fin.EC 新提交 91%

Measuring Behavior Portability in Large Language Models

测量大型语言模型中的行为可移植性

Tianjia Dong, Nadav Kunievsky, James A. Evans

机构 * Knowledge Lab University of Chicago(芝加哥大学知识实验室) Data Science Institute Department of Sociology University of Chicago(芝加哥大学数据科学研究所社会学系)

专题命中 评测与基准 :large language model(title,abstract);language model(title,abstract);LLM(summary_cn,abstract_cn);分类 cs.AI

AI总结 提出一个形式化框架,通过拟合可解释行为模型并评估其在目标环境中的预测性能,量化LLM在不同支付等价决策环境中的行为可移植性,实验发现显著且系统的可移植性损失。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17702 2026-06-23 cs.CV cs.AI 新提交 91%

SegTME-UNI2: A Foundation Model-Based Framework for Generalisable Multiclass Cell Segmentation and LLM-Driven Tumour Microenvironment Characterisation in Histopathology

SegTME-UNI2: 一种基于基础模型的可泛化多类细胞分割框架及LLM驱动的组织微环境表征在组织病理学中的应用

Wan Siti Halimatul Munirah Wan Ahmad, Faris Syahmi Samidi, Mohammad Badal Ahmmed, Vimal Angela Thiviyanathan, Selvam Thavaraj, Anwar P. P. Abdul Majeed

机构 * Department of Data Science and Artificial Intelligence, School of Computing and Artificial Intelligence, Faculty of Engineering and Technology, Sunway University(双威大学工程与技术学院计算与人工智能学院数据科学与人工智能系) Faculty of Dentistry, Universiti Malaya(马来亚大学牙科学院)

专题命中 评测与基准 :LLM(title,title_cn);foundation model(title,abstract);分类 cs.AI

AI总结 提出SegTME-UNI2框架,结合UNI2-H病理基础模型与双头UperNet解码器实现六类语义分割和核实例分割,通过三阶段伪标签课程学习解决标注不足问题,并利用LLM生成临床可解释的TME报告。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20572 2026-06-23 cs.CL cs.AI 新提交 91%

Investigating Linguistic Steering: An Analysis of Adjectival Effects Across Large Language Model Architectures

探究语言引导:跨大语言模型架构的形容词效应分析

Lars Malmqvist

机构 * Research and Implementation(研究与实现)

专题命中 评测与基准 :large language model(title,abstract);language model(title,abstract);LLM(abstract_cn);prompting(abstract)

AI总结 本研究利用Shapley值量化形容词对模型性能的引导效应,发现少量形容词具有不成比例的强大影响,但效果非普适;跨模型分析揭示“家族效应”,且形容词的引导方向高度依赖于句法角色和位置。

Comments Accepted for TMLR, https://openreview.net/forum?id=xN7NYpQeBm

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20661 2026-06-23 cs.AI cs.CL cs.LG 新提交 90%

From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents

从知道到行动:基准测试LLM代理的自我意识能力

Yifan Li, Shengbin Yue, Boyu Feng, Jinhu Qi, Bo Ke, Zixing Song, Hongru Wang, Zhongyu Wei, Irwin King

机构 * The Chinese University of Hong Kong(香港中文大学) Fudan University(复旦大学) University of Edinburgh(爱丁堡大学) Tencent(腾讯) University of Bristol(布里斯托大学)

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.CL、cs.AI、cs.LG

AI总结 提出KAPRO框架和KAware数据集,通过解耦元认知判断与自主执行,评估LLM代理的自我意识能力,发现其与任务成功强相关但在内部能力场景中下降,开源模型易过度使用工具。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23217 2026-06-23 cs.CL cs.AI 新提交 90%

MuPPET: A Benchmark for Contextual Privacy of LLM Assistants in Multi-Party Conversations

MuPPET:多轮对话中LLM助手上下文隐私的基准测试

Elena Sofia Ruzzetti, Cornelius Emde, Sangdoo Yun, Seong Joon Oh, Martin Gubri

机构 * Parameter Lab(参数实验室) University of Rome Tor Vergata(罗马第二大学) University of Oxford(牛津大学) NAVER AI Lab(NAVER AI实验室) KAIST AI(韩国科学技术院人工智能研究所)

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.CL、cs.AI

AI总结 提出MuPPET基准,评估多用户对话中LLM代理的隐私泄露风险,发现模型在多用户场景下泄露更严重,现有防御措施效果有限。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22203 2026-06-23 cs.CL cs.AI cs.MA cs.SI 新提交 90%

When Is Emergent Consensus Real? A Measured Coupling Gain and a Validity Diagnostic for LLM Agent Societies

何时涌现共识是真实的?一种测量耦合增益与LLM智能体社会的有效性诊断

Dongxu Yang

机构 * DeepLethe

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.CL、cs.AI

AI总结 针对LLM智能体社会中的涌现共识或极化现象,提出基于反事实扰动的耦合增益测量方法,并建立有效性诊断工具,区分真实社会动态与模型伪影。

Comments 13 pages (incl. appendix with proofs), 7 figures. Code and per-run logs released

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21710 2026-06-23 cs.CL cs.AI cs.IR 新提交 90%

PrivacyAlign: Contextual Privacy Alignment for LLM Agents

PrivacyAlign: LLM代理的上下文隐私对齐

Manveer Singh Tamber, Abhay Puri, Marc-Etienne Brunet, Perouz Taslakian, Jimmy Lin, Spandana Gella

机构 * University of Waterloo(滑铁卢大学) ServiceNow AI Research(ServiceNow AI 研究) McGill University(麦吉尔大学) Mila -- Quebec AI Institute(米拉——魁北克人工智能研究所)

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.CL、cs.AI

AI总结 提出PrivacyAlign数据集,通过人类标注对齐LLM代理的隐私决策,并引入基于标注的奖励建模以提升隐私对齐性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21098 2026-06-23 cs.CL cs.AI 新提交 90%

LLM-Based Multi-Reference Evaluation for Efficient and Robust Assessment of Phrase Break Annotations

基于LLM的多参考评估方法用于短语边界标注的高效稳健评估

Younghan Park, Hoyeon Lee, Hawon Jeong, Jong-Hwan Kim

机构 * NAVER Cloud(NAVER云) Yonsei University(延世大学) KAIST AI(韩国科学技术院人工智能)

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.CL、cs.AI

AI总结 提出基于LLM的多参考评估方法(LMRE),通过生成多个有效短语边界解决单参考评估的局限性,在韩语测试中与人类判断一致性更强。

Comments Accepted at Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20668 2026-06-23 cs.CR cs.AI cs.LG 新提交 90%

BELLS-O: Evaluating the Operational Trade-offs of LLM Supervision Systems

BELLS-O:评估LLM监督系统的运营权衡

Leonhard Waibl, Felix Michalak, Hadrien Mariaccia

机构 * University of Graz, Graz, Austria(格拉茨大学) Supervised Program for Alignment Research (SPAR)(对齐研究监督计划 (SPAR)) Centre pour la Sécurité de l'IA (CeSIA), Paris, France(人工智能安全研究中心 (CeSIA),巴黎,法国)

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.AI、cs.LG

AI总结 提出首个独立运营基准BELLS-O,评估28个LLM监督系统在检测率、误报率、延迟和成本上的权衡,发现专用护栏在内容审核中占优,而前沿通用模型在越狱检测中表现更好但成本更高。

Comments Accepted at the ICML 2026 Workshop on Trustworthy AI for Good (AI4GOOD). 2 figures; main text plus appendices

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.08091 2026-06-23 cs.CL cs.AI cs.HC 版本更新 90%

Arguments that Alter Minds: LLM Rationales Sway Human (and LLM) Notions of Plausibility

改变思维的观点:LLM 理由影响人类(和 LLM)对合理性的看法

Shramay Palta, Peter Rankel, Sarah Wiegreffe, Rachel Rudinger

机构 * University of Maryland, College Park(马里兰大学学院公园分校)

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.CL、cs.AI

AI总结 研究 LLM 生成的赞成/反对理由如何影响人类和 LLM 对常识基准答案的合理性判断,发现理由能显著改变判断,表明 LLM 可影响人类信念。

Comments ACL 2026 Camera-Ready Version

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20603 2026-06-23 cs.CY 新提交 90%

A Survey of Large Language Models for Perception and Measurement of Human Psychology

大型语言模型在人类心理感知与测量中的综述

Yudong Li, Xiaoyi Chen, Jiawei Cai, Zehao Zhong, Haoyang Yang, Huajin Tang, Linlin Shen

专题命中 评测与基准 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn)

AI总结 本文系统综述了大型语言模型(LLMs)作为人类心理测量工具的应用,从理论可行性、测量方法和应用效果三个维度构建分析框架,探讨其在人格评估和心理健康评价中的有效性及局限。

Comments Accepted by IEEE Transactions on Cognitive and Developmental Systems

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.29245 2026-06-23 cs.CR cs.CL cs.LG 版本更新 90%

Implicit Identity Technologies for LLMs: Fingerprinting and Watermarking across Datasets, Models, and Generated Content

LLM的隐式身份技术:跨数据集、模型和生成内容的指纹识别与水印

Bing Liu, Shunping Wang, Yufan Zhu, Xinyi Yu, Jing Huang, Linkang Du, Hongbin Pei, Wei Luo

机构 * School of Cyber Science and Engineering, Xi’an Jiaotong University, Xi’an, China(西安交通大学计算机科学与工程学院) State Grid Henan Marketing Service Center, Henan, China(国网河南营销服务中心) Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China(中国科学院信息工程研究所) School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学网络安全学院) School of Information Technology, Deakin University, Geelong, Australia(迪金大学信息技术学院)

专题命中 评测与基准 :LLM(title_cn,summary_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 本文综述了LLM指纹识别和水印技术,提出隐式身份统一抽象,并基于生命周期分类法组织数据集、模型和生成内容的技术,建立评估框架。

Comments Accepted by IJCAI-ECAI 2026. 11 pages, 1 figure. Survey and taxonomy of LLM fingerprinting and watermarking for identity, provenance, generated-content attribution, and asset protection

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22706 2026-06-23 cs.AI 新提交 90%

Safety-Aware Evaluation of LLM-Generated Driver Intervention Messages through Multi-Task Risk Fusion

通过多任务风险融合的LLM生成驾驶员干预信息的安全感知评估

Keito Inoshita

机构 * Faculty of Business and Commerce, Kansai University(关西大学商学部) Data Science and AI Innovation Research Promotion Center, Shiga University(滋贺大学数据科学与人工智能创新研究推进中心)

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.AI

AI总结 提出DSAIS指标,结合规则与LLM评估五个维度,通过多任务风险融合框架提升干预信息质量,实验表明多任务集成使上下文相关性提升9.1%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.21071 2026-06-23 cs.CR cs.AI 新提交 90%

Local LLM Agents as Vulnerable Runtimes:A Source-Code Audit of the Agent Runtime Layer

本地LLM智能体作为易受攻击的运行时:智能体运行时层的源代码审计

Zhengsong Zhang, Zongze Li, Jiawei Guo, Haipeng Cai

机构 * Department of Computer Science and Engineering(计算机科学与工程系) University at Buffalo, SUNY(布法罗大学)

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.AI

AI总结 提出CLAWAUDIT静态审计框架,通过STRIDE导出的五类漏洞分类法和自定义静态分析规则,评估本地LLM智能体运行时的安全弱点,在OpenClaw基准上显著提升召回率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20695 2026-06-23 cs.MA cs.AI 新提交 90%

How Much Coordination Gain Is Real? A Paired Noise-Floor Protocol for Multi-Agent LLM Benchmarks

真正的协调增益有多大?多智能体LLM基准测试的配对噪声底线协议

Alibek T Kaliyev, Artem Maryanskyy

机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校)

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.AI

AI总结 针对多智能体LLM协调基准测试中微小增量不可靠的问题,提出配对噪声底线协议,通过配置等价对比发现典型效应量低于观测噪声包络,并定义协调活跃pass^k作为最低报告标准。

Comments 11 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18774 2026-06-23 cs.LG 新提交 90%

RouteJudge: An Open Platform for Reproducible and Preference-Aware LLM Routing

RouteJudge: 一个可复现且偏好感知的LLM路由开放平台

Guannan Lai, Haoran Hu, Han-Jia Ye

机构 * School of Artificial Intelligence, Nanjing University(南京大学人工智能学院) National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室) SinapisAI

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.LG

AI总结 提出RouteJudge平台,通过匿名成对比较评估LLM路由策略的决策质量,并发布ORBIT工具箱标准化路由工作流,支持可复现和偏好感知的路由评估。

Comments Accepted by Pluralistic Alignment Workshop at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.21438 2026-06-23 cs.CL 版本更新 90%

PROMPT2BOX: Uncovering Entailment Structure among LLM Prompts

PROMPT2BOX: 揭示LLM提示间的蕴含结构

Neeladri Bhuiya, Shib Sankar Dasgupta, Andrew McCallum, Haw-Shiuan Chang

机构 * CICS, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校计算机信息科学中心) Amazon AWS AI(亚马逊AWS人工智能) A10 Networks(A10网络)

专题命中 评测与基准 :LLM(title,title_cn);分类 cs.CL

AI总结 提出PROMPT2BOX方法,通过盒嵌入空间捕捉提示间的特异性关系,并开发降维技术,在层次聚类中比向量基线多发现8.9%的LLM弱点。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09634 2026-06-23 cs.LG cs.CR 90%

LLM-FS: Zero-Shot Feature Selection for Effective and Interpretable Malware Detection

LLM-FS: 零样本特征选择用于有效且可解释的恶意软件检测

Naveen Gill, Ajvad Haneef K, Madhu Kumar S D

机构 * Department of Computer Science and Engineering(计算机科学与工程系) National Institute of Technology Calicut, India(印度卡利卡特国立理工学院)

专题命中 评测与基准 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文探讨了利用大语言模型进行零样本特征选择在恶意软件检测中的应用,通过对比传统方法,展示了其在准确性和可解释性上的优势。

Journal ref 2025 Conference on Building a Secure & Empowered Cyberspace (BuildSEC)

详情

展开后加载摘要…

URL PDF HTML 收藏