大模型对齐与安全

Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP

通过子词正则化预训练语言模型：BPE Dropout在低资源NLP中的实证研究

Ruan Visser, Trienko Grobler, Marcel Dunaiski

机构 * Department of Computer Science, Stellenbosch University（斯瓦茨堡大学计算机科学系） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了在低资源NLP中预训练时应用BPE Dropout对下游性能的影响，发现随机分词在预训练和微调时均优于仅在微调时应用，尤其在数据较少时表现更佳。

Comments Comments: 12 pages, 8 figures, 5 tables

Asynchronous Reasoning: Training-Free Interactive Thinking LLMs

异步推理：无需训练的交互式思考LLM

George Yakushev, Nataliia Babina, Masoud Vahid Dastgerdi, Vyacheslav Zhdanovskiy, Denis Kuznedelev, Alina Shutova, Max Ryabinin

机构 * Yandex ； HSE University（俄罗斯高等经济大学） ； The University of Tokyo（东京大学） ； MATS ； Together AI 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种无需额外训练的LLM异步推理方法，通过位置嵌入特性实现同时思考、倾听和生成输出，提升数学、常识和安全推理任务的准确性和响应速度。

Comments Preprint, work in progress

Layer-wise Representation Dynamics: An Empirical Investigation Across Embedders and Base LLMs

逐层表示动态：跨嵌入器和基础大语言模型的实证研究

Jingzhou Jiang, Yi Yang, Kar Yan Tam

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LRD框架，通过三种逐层测量家族分析语言模型的层间表示动态，揭示架构和任务层面差异，并应用于模型选择和层间剪枝。

Revealing Interpretable Failure Modes of VLMs

揭示视觉语言模型的可解释性故障模式

Isha Chaudhary, Vedaant V Jain, Kavya Sachdeva, Sayan Ranu, Gagandeep Singh

机构 * UIUC（伊利诺伊大学香槟分校） ； Kumo AI ； IIT Delhi（德里印度理工学院） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出REVELIO框架，通过系统性探索揭示VLMs在自动驾驶和室内机器人领域中的可解释性故障模式，发现模型在空间定位和安全威胁识别上的缺陷。

Aligning Forest and Trees in Images & Long Captions for Visually Grounded Understanding

对图像与长描述中的森林和树木进行对齐以实现视觉基础理解

Byeongju Woo, Zilin Wang, Byeonghyun Pak, Sangwoo Mo, Stella X. Yu

机构 * Agency for Defense Development（国防发展局） ； University of Michigan（密歇根大学） ； POSTECH 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CAFT模型，通过分层视觉语言学习原理，解决长描述中细节丰富的场景理解问题，实现图像与文本的细粒度对齐，取得六个长文本检索基准的最优性能。

Comments Preprint

ChatSR: Multimodal Large Language Models for Scientific Formula Discovery

ChatSR：用于科学公式发现的多模态大语言模型

Yanjie Li, Lina Yu, Weijun Li, Min Wu, Liping Zhang, Jingyi Liu, Yusong Deng, Mingzhu Wan, Xin Ning

机构 * AnnLab, Institute of Semiconductors, Chinese Academy of Sciences, Beijing, China（安 lab，半导体研究所，中国科学院，北京，中国） ； School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing, China（电子、电气与通信工程学院，中国科学院大学，北京，中国） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing 101408, China（先进交叉科学学院，中国科学院大学，北京101408，中国） ； College of Materials Science and Opto-Electronic Technology, University of Chinese Academy of Sciences, Beijing, 100049, China（材料科学与光电技术学院，中国科学院大学，北京100049，中国） ； School of Integrated Circuits, University of Chinese Academy of Sciences, Beijing 100049, China（集成电路学院，中国科学院大学，北京100049，中国） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 ChatSR通过设计专用编码器和模态对齐机制，将科学数据映射到可被大语言模型处理的表示空间，从而生成符合领域先验的数学公式，推动科学发现自动化。

Comments 14 pages,

EHR-RAGp: Retrieval-Augmented Prototype-Guided Foundation Model for Electronic Health Records

EHR-RAGp: 用于电子健康记录的检索增强型原型引导基础模型

Saeed Shurrab, Mariam Al-Omari, Dana El Samad, Farah E. Shamout

机构 * New York University（纽约大学） ； New York University Abu Dhabi（纽约大学阿布扎赫德） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出EHR-RAGp模型，通过动态整合患者历史信息提升临床预测性能，优于现有基础模型和Transformer基线。

Comments Retrieval Augmented EHR Foundation Model

Continuous Discovery of Vulnerabilities in LLM Serving Systems with Fuzzing

在LLM服务系统中通过模糊测试连续发现漏洞

Yunze Zhao, Yibo Zhao, Yuchen Zhang, Zaoxing Liu, Michelle L. Mazurek

机构 * University of Maryland（马里兰大学） ； New York University（纽约大学） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GRIEF模糊器，通过时间多请求追踪发现LLM服务层漏洞，包括15个漏洞，10个已确认，涉及缓存隔离失败、跨请求性能干扰和崩溃问题。

Muon is Not That Special: Random or Inverted Spectra Work Just as Well

Muon 并不那么特殊：随机或倒置光谱效果一样好

Zakhar Shumaylov, Nathaël Da Costa, Peter Zaika, Bálint Mucsányi, Alex Massucco, Yoav Gelberg, Carola-Bibiane Schönlieb, Yarin Gal, Philipp Hennig

机构 * University of Cambridge（剑桥大学） ； University of Tübingen（图宾根大学） ； University of Oxford（牛津大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文挑战了非欧几里得优化中几何结构的重要性，通过Freon和Kaon等优化器展示，证明精确几何并非关键，而局部对齐和下降潜力控制性能。

Comments 45 pages

LEAP: Unlocking dLLM Parallelism via Lookahead Early-Convergence Token Detection

LEAP: 通过前瞻性早期收敛令牌检测解锁dLLM并行性

Haohui Zhang, Zhiye Wang, Xiaoying Gan, Xinbing Wang, Bo Jiang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 LEAP通过前瞻性早期收敛令牌检测方法，有效降低dLLM解码延迟和步骤，减少约30%的去噪步骤，提升并行解码效率。

Sparsity and Out-of-Distribution Generalization

稀疏性与分布外泛化

Scott Aaronson, Lin Lin Lee, Jiawei Li

机构 * UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出稀疏性解释分布外泛化的原理，认为世界通过区分特征呈现，稀疏假设在特征重叠时能实现泛化，通过定理扩展了样本复杂度界限。

Probabilistic Modeling of Latent Agentic Substructures in Deep Neural Networks

深度神经网络中潜在代理子结构的概率建模

Su Hyeong Lee, Risi Kondor, Richard Ngo

机构 * Department of Statistics, University of Chicago（芝加哥大学统计学系） ； Department of Computer Science, University of Chicago（芝加哥大学计算机科学系） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于概率建模的智能代理理论，探讨了代理通过加权对数池化实现递归结构，并揭示了在LLM中代理对齐现象的数学框架。

Comments Accepted by ICML 2026

Variational Inference for Lévy Process-Driven SDEs via Neural Tilting

通过神经倾斜进行莱维过程驱动的随机微分方程的变分推断

Yaman Kindap, Manfred Opper, Benjamin Dupuis, Umut Simsekli, Tolga Birdal

机构 * Imperial College London, UK（伦敦帝国学院） ； Technical University of Berlin, Germany（柏林技术大学） ； INRIA, CNRS, Département d’Informatique de l’Ecole Normale Supérieure / PSL, France（法国国家信息与自动化研究所（INRIA）、国家科学研究中心（CNRS）、巴黎社会科学高等师范学院信息学系/巴黎社会科学高等师范学院） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出神经指数倾斜框架，用于莱维驱动SDEs的变分推断，通过神经网络重新加权莱维测度，保留跳跃结构并实现计算可行性，结合二次神经参数化、条件高斯表示和对称感知蒙特卡洛估计器，提升推断效率与可靠性。

Comments The associated project page which contains the official implementation can be found in https://circle-group.github.io/research/NeuralTilting/

When Can Digital Personas Reliably Approximate Human Survey Findings?

数字人设何时能可靠近似人类调查结果？

Mumin Jia, Yilin Chen, Divya Sharma, Jairo Diaz-Rodriguez

机构 * Department of Mathematics and Statistics（数学与统计学系） ； York University（约克大学） ； University Health Network（大学健康网络） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过LISS面板评估数字人设在不同架构和任务下的表现，发现其在稳定属性领域表现较好，但个体预测和多变量结构恢复能力有限，检索增强架构效果更依赖人类响应结构。

Medical Incident Causal Factors and Preventive Measures Generation Using Tag-based Example Selection in Few-shot Learning

基于标签的示例选择在少样本学习中生成医疗事件因果因素和预防措施

Yuna Haseyama, Tomoki Ito, Hiroki Sakaji, Itsuki Noda

机构 * Graduate School of Information Science（信息科学研究生院） ； Technology Hokkaido University Hokkaido, Japan（技术 Hokkaido 大学 Hokkaido, Japan） ； National Institute of Information（信息国家研究所） ； Faculty of Information Science（信息科学学院） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于标签的少样本学习方法，利用日本医疗事件数据集，通过对比随机采样、相似度选择和标签方法，验证标签选择能提高生成精度和稳定性。

The Truth Lies Somewhere in the Middle (of the Generated Tokens)

生成标记中的真相位于中间

Sophie L. Wang, Phillip Isola, Brian Cheung

机构 * MIT（麻省理工学院） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了如何将自回归生成的隐藏状态汇总为反映语言模型内部状态的表示。通过核对齐发现，对生成标记的均池化比单个标记更有效，且生成标记的表示优于提示标记。

RuPLaR : Efficient Latent Compression of LLM Reasoning Chains with Rule-Based Priors From Multi-Step to One-Step

RuPLaR : 通过基于规则的先验概率实现LLM推理链的高效潜在压缩

Xiaocheng Luo, Kang Wang, Zaifu Zhan, Yuechi Zhou, Xiangyu Duan

机构 * School of Computer Science and Technology（计算机科学与技术学院） ； Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出RuPLaR框架，通过基于规则的先验概率指导LLM生成单阶段潜在推理令牌，提升推理效率与准确性，实验表明其比现有方法提升11.1%的准确率且消耗更少token。

Comments 15 pages, 15 figures

The Grounding Gap: How LLMs Anchor the Meaning of Abstract Concepts Differently from Humans

概念基础差距：LLMs如何以不同于人类的方式锚定抽象概念的含义

Odysseas S. Chlapanis, Orfeas Menis Mastromichalakis, Christos H. Papadimitriou

机构 * Department of Informatics（信息学院） ； Athens University of Economics and Business（雅典经济与商业大学） ； Archimedes, Athena Research Center（阿基米德·雅典研究中心） ； Instituto de Telecomunicações（电信研究所） ； Department of Computer Science（计算机科学系） ； Columbia University（哥伦比亚大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 研究比较了LLMs与人类对抽象概念的锚定方式，发现LLMs过度依赖词关联，缺乏情感和内部状态属性，导致基础差距显著。

Memory Inception: Latent-Space KV Cache Manipulation for Steering LLMs

记忆 inception：用于引导 LLMs 的潜在空间 KV 缓存操作

Andy Zeyi Liu, Michael Zhang, Ilana Greenberg, Adam Alnasser, Lucas Baker, John Sous

机构 * Yale University（耶鲁大学） ； Princeton University（普林斯顿大学） ； Jump Trading 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出 memory inception 方法，通过在选定层插入文本衍生的键值对（KV）银行，在潜在注意力空间中引导 LLMs，实现更高效的控制与更少的存储消耗。

Validity-Calibrated Reasoning Distillation

有效性校准的推理蒸馏

Khouloud Saadi, Di Wang

机构 * Department of Computer Science（计算机科学系） ； KAUST（科威特大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出有效性校准的推理蒸馏框架，通过动态监督机制优化学习信号分配，提升数学推理、代码生成和指令遵循任务的性能。

Hyperspherical Autoencoder for High-Fidelity Image Reconstruction and Generation

超球面自编码器用于高保真图像重建与生成

Hun Chang, Byunghee Cha, Jong Chul Ye

机构 * KAIST AI（韩国科学技术院人工智能实验室） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出超球面自编码器，通过方向特征对齐和层次卷积补丁嵌入模块，提升图像重建和生成的保真度，实验结果显示其在gFID、rFID和PSNR指标上均优于现有方法。

Comments 22 pages, and 20 figures

Priming: Hybrid State Space Models From Pre-trained Transformers

预训练：从预训练变换器中获得的混合状态空间模型

Aditya Chattopadhyay, Elvis Nunez, Prannay Kaul, Benjamin Bowman, Evan Becker, Luca Zancato, David Thomas, Wei Xia, Stefano Soatto

机构 * AWS Agentic AI（AWS 代理AI） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 预训练通过从预训练变换器初始化混合模型，利用短对齐和微调阶段，在少于源模型预训练token预算的情况下恢复下游性能，实现了大规模混合架构设计的可控比较。

ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning

ResRL: 通过负样本投影残差强化学习提升大语言模型推理能力

Zihan Lin, Xiaohan Wang, Jie Cao, Jiajun Chai, Li Wang, Xiaodong Lu, Wei Lin, Ran He, Guojun Yin

机构 * MAIS\&NLPR, Institute of Automation, Chinese Academy of Sciences, Beijing, China（MAIS与NLPR，自动化研究所，中国科学院，北京，中国） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing, China（先进交叉学科学院，中国科学院大学，北京，中国） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出ResRL，通过解耦正负响应的语义分布，提升LLM推理能力同时保持生成多样性，在十二个基准测试中超越强基线，尤其在数学推理上表现更优。

Comments Accepted to ICML 2026. Preprint version. https://github.com/1229095296/ResRL.git

From Time Series Analysis to Question Answering: A Survey in the LLM Era

从时间序列分析到问答：在大语言模型时代的一次综述

Wei Li, Zhe Xie, Yuxuan Liang, Xinli Hao, Yunyao Cheng, Dan Pei, Xiaofeng Meng

机构 * Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Aalborg University（奥胡斯大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文综述了大语言模型时代时间序列分析向时间序列问答的转变，探讨了TSQA在灵活性、经济性和通用性方面的选择指导及未来研究方向。

Comments Accepted by IJCAI 2026 Survey Track

Mean-Pooled Cosine Similarity is Not Length-Invariant: Theory and Cross-Domain Evidence for a Length-Invariant Alternative

均值池化余弦相似度并非长度不变：理论和跨领域证据支持一种长度不变的替代方案

Sibayan Mitra, Dhruv Kumar

机构 * Birla Institute of Technology（比拉理工学院） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 研究指出均值池化余弦相似度在现代Transformer表示中并非长度不变，通过实验验证了其在跨语言Python接近性中的解释力，并提出中心核对齐（CKA）作为更优的替代方法。

Comments 9 pages, 6 figures. Submitted to the Mechanistic Interpretability Workshop at ICML 2026

The E$Δ$-MHC-Geo Transformer: Adaptive Geodesic Operations with Guaranteed Orthogonality

E$Δ$-MHC-Geo变换器：具有保证正交性的自适应测地操作

Arash Shahmansoori

机构 * Independent Researcher（独立研究者） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出E$Δ$-MHC-Geo变换器，结合流形约束超连接、深度delta学习和Cayley变换，实现输入自适应且无条件正交的残差连接。通过数据依赖的Cayley旋转和Householder反射的混合方法，提升长时稳定性和旋转损失性能。

Comments 21 pages, 8 figures; code will be available at https://github.com/arash-shahmansoori/edelta

The Weight Gram Matrix Captures Sequential Feature Linearization in Deep Networks

权重格雷矩阵捕捉深度网络中的序列特征线性化

Taehun Cha, Daniel Beaglehole, Adityanarayanan Radhakrishnan, Donghun Lee

机构 * MIT Mathematics Broad Institute of MIT and Harvard（麻省理工学院数学Broad研究所） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于特征的框架，通过将权重更新与特征演变关联，揭示深度网络训练中权重格雷矩阵捕捉特征动态，并引入目标线性度量，展示深度网络如何逐步将表示转换为目标线性结构。

Comments 29 pages including appendix

DARK: Diagonal-Anchored Repulsive Knowledge Distillation for Vision-Language Models under Extreme Compression

DARK：针对极端压缩下视觉-语言模型的对角锚定排斥知识蒸馏

Numan Saeed, Asif Hanif, Fadillah Adamsyah Maani, Hussain Alasmawi, Mohammad Yaqub

机构 * Mohamed Bin Zayed University of Artificial Intelligence（Mohamed Bin Zayed人工智能大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DARK，一种对比知识蒸馏框架，通过分解损失函数为对角项和非对角项，使学生模型在极端压缩下更高效地排斥教师模型的非目标相似结构，实验证明其在零样本基准上表现优异。

Comments Project website: www.numansaeed.com/mobilefetalclip

The ART of Composition: Attention-Regularized Training for Compositional Visual Grounding

构图的艺术：用于组合视觉定位的注意力正则化训练

Jiayun Luo, Mir Rayat Imtiaz Hossain, Pritam Sarkar, Boyang Li, Leonid Sigal

机构 * The University of British Columbia（不列颠哥伦比亚大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出CompART，通过分解标题为以对象为中心的短语并构建复合短语，提升多对象定位能力，验证了其在多种视觉语言模型上的有效性。

Horizon-Constrained Rashomon Sets for Chaotic Forecasting

具有水平约束的Rashomon集用于混沌预测

Gauri Kale, Rahul Vishwakarma, Holly Diamond, Ava Hedayatipour, Amin Rezaei

机构 * Dept. of Electrical Engineering, California State University Long Beach, USA ； WorkOnward Inc., USA ； Dept. of Computer Engineering \& Computer Science, California State University Long Beach, USA 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出水平约束Rashomon集理论框架，用于研究混沌系统中模型多样性随预测时间的变化，通过Lyapunov加权指标和决策对齐算法提升决策质量，实验表明在安全关键领域具有显著优势。

Journal ref AIP Advances 16, 045208 (2026)