语言大模型 / LLM

Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing

哪种防御措施应对哪种威胁？归因OWASP-LLM-Top-10覆盖及其在释义下的脆弱性

Alexandre Cristovão Maiorano

机构 * Lumytics 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文通过归因分析，测量了不同防御家族（拒绝过滤、预算控制等）对OWASP-LLM-Top-10威胁的覆盖情况，并揭示了拒绝防御在释义攻击下的脆弱性。

Comments 17 pages, 4 figures, 7 tables

What You Approve Is What Executes: Consent Integrity for Black-Box LLM Agents

你批准即执行：黑盒LLM代理的同意完整性

Xiaoqi Weng

专题命中 预训练与数据 ：LLM(title,title_cn)；prompting(abstract)

AI总结 针对黑盒LLM代理的批准对话框存在摘要伪造漏洞，本文引入同意完整性概念，通过可信中介确保人类看到的动作与真实执行的动作一致，并分析了该机制的局限性与权衡。

Comments Preprint. IEEE conference format. Proof-of-concept; artifact at https://github.com/zjnbwxq/agentguard-ci

Speedrunning Tabular Foundation Model Pretraining

表格基础模型预训练的速通

Salih Bora Ozturk, Alexander Pfefferle, Frank Hutter

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 提出一种速通竞赛格式，通过优化单文件训练脚本，在nanoTabPFN上实现81倍预训练加速，并建立社区排行榜以累积改进。

Toward Training Superintelligent Software Agents through Self-Play SWE-RL

通过自我对弈SWE-RL训练超级智能软件代理

Yuxiang Wei, Zhiqing Sun, Emily McMilin, Jonas Gehring, David Zhang, Gabriel Synnaeve, Daniel Fried, Lingming Zhang, Sida Wang

机构 * Meta FAIR ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta TBD Lab（Meta TBD 实验室） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出自我对弈SWE-RL（SSR）方法，通过强化学习在自对弈环境中训练单一LLM代理，使其在无需人工标注问题或测试的情况下，在真实代码库中迭代注入和修复软件缺陷，在SWE-bench基准上实现显著自我改进并超越人类数据基线。

Comments Accepted to ICML 2026

Large Byte Model: Teaching Language Models About Compiled Code

大型字节模型：教会语言模型关于编译代码的知识

Florian Störtz, Catalin-Andrei Stan, Alexandru Dinu, Sandra Servia-Rodríguez, Mihaela Gaman, Calin Miron, Edward Raff

机构 * CrowdStrike U.K.（CrowdStrike英国分公司） ； CrowdStrike Romania（CrowdStrike罗马尼亚分公司） ； CrowdStrike USA（CrowdStrike美国分公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 本文提出首个字节原生大语言模型，通过定制字节分词器扩展词汇表，使其能直接处理可执行文件原始字节并回答恶意软件分析问题，在家族分类和架构分类上分别达到69%和98%的准确率。

EURO-5K: When Does Domain Pretraining Matter? Benchmarking Transformers for EU Reporting Obligation Extraction

EURO-5K：领域预训练何时重要？用于欧盟报告义务提取的Transformer基准测试

Marios Koniaris, Vasileios Kotronis, Eugenia Giannini, Panayiotis Tsanakas

机构 * Division of Computer Science, School of Electrical and Computer Engineering（计算机科学系，电气与计算机工程学院） ； National Technical University of Athens（雅典技术大学） ； Department of Humanities Social Sciences and Law, School of Applied Mathematical and Physical Sciences（人文社会科学与法律系，应用数学与物理科学学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 本文构建了EURO-5K数据集，通过对比判别式与生成式模型在欧盟报告义务提取上的表现，发现领域预训练在参数高效微调时收益显著，且模型可作为专用提取器。

The Ringelmann Effect in Multi-Agent LLM Systems: A Scaling Law for Effective Team Size

多智能体大语言模型系统中的林格曼效应：有效团队规模的缩放定律

Blaž Bertalanič, Carolina Fortuna

机构 * Jozef Stefan Institute（乔泽夫·斯蒂芬研究所） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本文推导出两参数缩放定律 $R(N) = N_\text{eff}/N = 1/(1+c(N-1)N^{-\beta})$，将多智能体LLM系统分为三种渐近状态，并通过44个实验单元验证了该定律，发现密集辩论无法增加答案多样性，噪声安慰剂可模拟自我修正效果，且仅异构团队能突破硬上限。

Comments 41 pages, 9 figures, 20 tables

Are Common Substructures Transferable? Riemannian Graph Foundation Model with Neural Vector Bundles

常见子结构可迁移吗？基于神经向量丛的黎曼图基础模型

Li Sun, Zhenhao Huang, Yiding Wang, Qin Chen, Pietro Lio, Philip S. Yu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对图结构迁移性理论缺失的问题，提出基于黎曼几何的神经向量丛框架GAUGE，通过内在几何学习实现可迁移子结构表征，在零样本链接预测和图同构任务中验证了优越性。

Comments Accepted by ICML 2026

Typhoon: Towards an Effective Task-Specific Masking Strategy for Pre-trained Language Models

Typhoon: 面向预训练语言模型的有效任务特定掩码策略

Muhammed Shahir Abdurrahman, Hashem Elezabi, Bruce Changlong Xu

机构 * Department of Computer Science, Stanford University（斯坦福大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Typhoon，一种基于任务损失梯度的自适应掩码策略，在GLUE任务上对比随机掩码和整词掩码，经严格评估发现无显著优势。

Comments 9 pages, 2 figures

How Much of a Model Do We Need? Redundancy and Slimmability in Remote Sensing Foundation Models

我们需要多少模型？遥感基础模型中的冗余与可瘦身性

Leonard Hackel, Tom Burgert, Begüm Demir

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 通过后验瘦身（均匀减少编码器Transformer块宽度）评估8个遥感基础模型的表示冗余，发现遥感模型在激进宽度缩减下仍保持69%-109%相对精度，而自然图像预训练模型性能急剧下降，表明遥感模型存在冗余编码且可有效瘦身。

Learning the Neighborhood: Contrast-Free Multimodal Self-Supervised Molecular Graph Pretraining

学习邻域：无对比的多模态自监督分子图预训练

Boshra Ariguib, Mathias Niepert, Andrei Manolache

机构 * University of Tübingen（图宾根大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出C-FREE框架，通过预测子图嵌入与互补邻域的关系，融合2D拓扑和3D构象信息，实现无对比、无负样本的多模态自监督分子图预训练，在MoleculeNet上取得最优结果。

Comments Accepted at ICML 2026

Structure-Guided Mixed Masked Pretraining and Spatial Continuity Regularization for Printed Circuit Board Defect Detection

结构引导混合掩码预训练与空间连续性正则化用于印刷电路板缺陷检测

Peitong Wang, Nuo Wang, Enxin Qin, Chengjin Yu, Hanyu Xuan, Yuanting Yan

机构 * Ahu.edu.cn（安徽大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出两阶段PCB缺陷检测框架，通过结构引导混合掩码预训练学习PCB结构先验，并在微调阶段引入空间连续性正则化提升细长缺陷定位紧凑性，在DsPCBSD+数据集上达到85.5% mAP0.5。

Comments Preprint. 38 pages, 12 figures, 6 tables

CodeHacker: Automated Test Case Generation for Detecting Vulnerabilities in Competitive Programming Solutions

CodeHacker: 用于检测竞赛编程解决方案漏洞的自动化测试用例生成

Jingwei Shi, Xinxiang Yin, Jing Huang, Jinman Zhao, Shengyu Tao

机构 * Shanghai University of Finance and Economics（上海金融学院） ； Northwestern Polytechnical University（西北工业大学） ； Meituan（美团） ； University of Toronto（多伦多大学） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CodeHacker框架，通过多策略对抗测试用例生成（压力测试、反哈希攻击、逻辑特定攻击）和校准阶段，有效暴露程序漏洞，提升测试集真负率并增强RL训练模型性能。

When Model Merging Breaks Routing: Training-Free Calibration for MoE

当模型合并破坏路由：MoE的无训练校准

Canbin Huang, Tianyuan Shi, Xiaojun Quan, Jingang Wang, Jianfei Zhang, Qifan Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对MoE架构中模型合并导致的路由崩溃问题，提出基于二阶曲率的无训练校准方法HARC，通过闭式解和共轭梯度法高效重对齐路由器，显著提升数学推理和代码生成性能。

Neuron Populations Exhibit Divergent Selectivity with Scale

神经元群体随规模表现出分化的选择性

Amil Dravid, Yasaman Bahri, Alexei A. Efros, Yossi Gandelsman

机构 * UC Berkeley（加州大学伯克利分校） ； TTIC 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 通过分析Rosetta神经元在不同规模模型中的分布与特性，发现其数量遵循次线性幂律增长，且选择性随规模增强，而非Rosetta神经元则保持低选择性，提出一个平衡特征效用与神经元容量的分析模型解释这一极化现象。

Comments Project page and code: https://avdravid.github.io/rosetta-neuron-scaling/

Dynamic Short Convolutions Improve Transformers

动态短卷积改进Transformer

Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim

机构 * Massachusetts Institute of Technology（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出动态短卷积作为新的神经网络原语，通过输入依赖的滤波器增强Transformer，在语言建模中相比标准Transformer和静态短卷积变体持续提升性能，并带来计算优势。

Do Neural Retrievers Prefer Certain Documents? Evidence of Learned Relevance Priors

神经检索器是否偏好某些文档？学习到的相关性先验的证据

Francisco Valentini, Edgar Altszyler, Martin Fajcik

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过分析监督双编码器检索器在文档嵌入中编码的查询无关信号，发现模型从标注数据中学习到文档级相关性先验，导致低先验文档即使相关也更难被检索，揭示了监督检索的结构性局限。

Rethinking the Idiomaticity Decomposability Hypothesis: Evidence from Distributional Learning

重新思考习语可分解性假说：来自分布学习的证据

Maggie Mi, Golzar Atefi, Atsuki Yamaguchi, Felix Gers, Aline Villavicencio, Nafise Sadat Moosavi

机构 * University of Sheffield（谢菲尔德大学） ； Berliner Hochschule für Technik (BHT)（柏林技术大学（BHT）） ； University of Exeter（埃克塞特大学） ； Federal University of Rio Grande do Norte, Brazil（巴西北里奥格兰德联邦大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文利用上下文语言模型作为受控分布学习者，研究习语可分解性（构成意义对整体比喻意义的贡献程度）与句法灵活性的关系，发现模型导出的可分解性与人类判断弱相关，与句法灵活性呈微小但一致的负相关，且习语表征的稳定化受惊讶度、可分解性和频率共同影响，其中可分解性具有最强的训练依赖效应。

Comments ACL 2026 Main - long paper (9 pages + Appendices)

EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement

EntangleCodec：通过语义-声学纠缠的统一离散音频分词器

Hui Li, Yangfan Gao, Junlin Shang, Changhao Jiang, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出EntangleCodec，一种通过将音频与丰富标题对齐学习语义-声学联合表示的统一离散音频分词器，在紧凑令牌流中捕获语言内容、说话人身份、情感、韵律和声学场景，并通过流匹配扩散解码器实现高质量重建，在音频理解和生成任务上均取得领先性能。

Comments 17 pages, 10 figures

Tokenizing Loops of Antibodies

抗体环的标记化

Ada Fang, Robert G. Alberstein, Simon Kelow, Frédéric A. Dreyer

机构 * Harvard University（哈佛大学） ； Prescient Design, Genentech（Prescient Design，基因泰克） 纠错

专题命中 预训练与数据 ：language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 提出Igloo多模态抗体环标记器，通过对比学习编码主链二面角和序列，高效检索相似环结构，提升H3环识别性能5.9%，并集成到蛋白质语言模型中改善抗体设计。

Comments 21 pages, 7 figures, 10 tables, code available at https://github.com/prescient-design/igloo

Regret Pre-training: Bridging Prior and Posterior Views for Enhanced Knowledge Grounding

遗憾预训练：桥接先验与后验视角以增强知识基础

Mingkuan Zhao, Xiayu Sun, Wentao Hu, Suquan Chen, Jiaxuan Li, Xiaoyan Zhu, Xin Lai, Jiayin Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出遗憾预训练框架，通过双视角架构利用未来信息增强因果语言模型，在OLMoE-1B-7B架构上平均准确率提升至33.9%。

Cross-Modal Contrastive Learning of ECG and Angiography Representations for Severe Stenosis Classification

用于严重狭窄分类的心电图与血管造影表示的跨模态对比学习

Nikola Cenikj, Özgün Turgut, Alexander Müller, Alexander Steger, Jan Kehrer, Marcus Brugger, Daniel Rueckert, Philip Müller

机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich and TUM University Hospital（人工智能在医疗与医学中的研究所，慕尼黑技术大学及慕尼黑大学医院） ； Department of Computing, Imperial College London（伦敦帝国理工学院计算机系） ； Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML）） ； Department of Internal Medicine, TUM University Hospital（慕尼黑大学医院内科学系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出StenCE预训练框架，通过跨模态对比学习从心电图特征中实现冠状动脉狭窄风险分层，在严重狭窄分类中首次达到高性能。

DeMuon: A Decentralized Muon for Matrix Optimization over Graphs

DeMuon：一种用于图上矩阵优化的去中心化Muon方法

Chuan He, Shuyi Ren, Jingwei Mao, Erik G. Larsson

机构 * Department of Mathematics, Linköping University（利乌普堡大学数学系） ； Department of Electrical Engineering, Linköping University（利乌普堡大学电气工程系） ； Department of Computer and Information Science, Linköping University（利乌普堡大学计算机与信息科学系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出DeMuon方法，通过牛顿-舒尔茨迭代实现矩阵正交化，并利用梯度跟踪处理局部函数异质性，在重尾噪声下达到与集中式算法匹配的复杂度，首次将Muon扩展到去中心化图优化并具有可证明的复杂度保证。

Comments Add an accelerated variant of the proposed method. New proofs of proposed methods

Validation-Gated Multi-Agent Governance for Online Adaptation of Thermal-Hydraulic Surrogate Models under Operating-Regime Shift

验证门控多智能体治理：运行工况迁移下热工水力代理模型的在线自适应

Doyeong Lim, Seungyoon Lee, In Cheol Bang

机构 * Department of Nuclear Engineering, Ulsan National Institute of Science and Technology (UNIST)（核工程系，乌山国立科学技术研究所（UNIST）） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 针对离线训练模型在运行工况迁移时性能退化问题，提出验证门控多智能体治理框架，通过角色分离的智能体协作与确定性门控机制实现可审计的在线自适应，在实验热工水力数据上将平均绝对误差降低19%。

Language, Place, and Social Media: Geographic Dialect Alignment in New Zealand

语言、地点与社交媒体：新西兰的地理方言对齐

Sidney Wong

机构 * Computer Science and Software Engineering, University of Canterbury（坎特伯雷大学计算机科学与软件工程系） ； Department of Linguistics, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校语言学系） ； School of Psychology, Speech and Hearing, University of Canterbury（坎特伯雷大学心理学、语音与听力学校） ； Department of Linguistics, University of Canterbury（坎特伯雷大学语言学系） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本研究通过整合用户感知的定性分析与计算方法，探究新西兰Reddit社区中地理方言对齐现象，发现地点相关社区形成连续言语社区，且高级语言建模揭示了语义变异与变化。

Comments PhD thesis

BEAST3D: Animal behavioral analysis and neural encoding from multi-view video via Gaussian splatting

BEAST3D: 通过高斯泼溅从多视角视频进行动物行为分析与神经编码

Yanchen Wang, Lenny Aharon, Wangshu Zhu, Kyle Daruwalla, Linghua Zhang, Jiaru Zou, Selmaan Chettih, Helen Hou, Liam Paninski, Matthew R Whiteway

机构 * Columbia University（哥伦比亚大学） ； Cold Spring Harbor（冷泉港） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出BEAST3D自监督预训练框架，利用未标注的多视角视频通过3D高斯泼溅重建和动物分割，学习3D视觉表征，有效应用于新视角合成、多视角姿态估计和神经编码。

TrAction: Action Recognition with Sparse Trajectories

TrAction: 基于稀疏轨迹的动作识别

Jan F. Meier, Felix B. Mueller, Alexander Ecker, Timo Lüddecke

机构 * Institute of Computer Science and Campus Institute Data Science, University Göttingen（计算机科学研究所和校园数据科学学院，哥廷根大学） ； Max Planck Institute for Dynamics and Self-Organization（动态与自组织Max Planck研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出使用稀疏点轨迹作为输入模态，结合掩码轨迹预训练的Transformer架构，在降低计算成本的同时实现高效动作识别，并证明轨迹特征与外观特征互补。

OpenEAI-Platform: An Open-source Embodied Artificial Intelligence Hardware-Software Unified Platform

OpenEAI-Platform: 一个开源具身人工智能硬件-软件统一平台

Jinyuan Zhang, Luoyi Fan, Leiyu Wang, Yeqiang Wang, Yicheng Zhu, Cewu Lu, Nanyang Ye

机构 * Shanghai Innovation Institute（上海创新研究院） ； Huazhong University of Science and Technology（华中科技大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出OpenEAI-Platform，集成低成本6+1自由度机械臂和可复现VLA模型，通过开源设计和两阶段训练在真实操作任务中超越商业臂，性能媲美大规模预训练基线。