语言大模型 / LLM

Safe Evolution with Circuit Anchors

基于回路锚点的安全进化

Yan Liu, Jie Fu, Tsung-Yi Ho

机构 * Chinese University of Hong Kong（香港中文大学） ； IQuest Research（艾奎斯特研究院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 受生物发育约束启发，提出回路锚定进化（CAE）方法，通过锚定占比不足2%的安全回路，在极小能力损失下实现更优的安全保留，性能优于显式奖励约束。

Breaking the Curse of Multilinguality in Many-to-Many Speech-to-Text Translation via a Resource-Aware Mixture of Speech Encoders

通过资源感知型语音编码器混合模型打破多对多语音到文本翻译中的多语言性诅咒

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Chengpeng Fu, Yu Wang, Ming Liu

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对多对多语音到文本翻译中的多语言性诅咒问题，提出资源感知型MoSE框架与五阶段课程学习策略，其4B参数模型在45种语言的全方向翻译任务上实现最优性能，显著提升低资源语言表现且不损害高资源性能。

The production of meaning in the processing of natural language

自然语言处理中意义产生的机制

Christopher J. Agostino, Quan Le Thien, Nayan D'Souza, Louis van der Elst

机构 * Department of Physics, Indiana University（印第安纳大学物理系） ； Department of Linguistics, Indiana University（印第安纳大学语言学系） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究自然语言处理中意义产生的机制，探讨量子逻辑与经典布尔理论在语义处理中的差异，分析模型在不同参数下的表现及对安全交互的影响。

Comments Accepted to QNLP 2026, 9 pages, 3 figures, 2 tables

Geometric Analysis of Token Selection in Multi-Head Attention

多头注意机制中令牌选择的几何分析

Timur Mudarisov, Mikhal Burtsev, Tatiana Petrova, Radu State

机构 * University of Luxembourg（卢森堡大学） ； London Institute for Mathematical Sciences（伦敦数学科学研究所） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过几何分析揭示了多头注意力机制中令牌选择的结构特性，提出了精度、召回率和F分数等指标，并展示了头部在不同制度下的几何特征。

APPO: Agentic Procedural Policy Optimization

APPO: 智能体程序策略优化

Xucong Wang, Ziyu Ma, Yong Wang, Yuxiang Ji, Shidong Yang, Guanhua Chen, Pengkun Wang, Xiangxiang Chu

机构 * University of Science and Technology of China（中国科学技术大学） ； AMAP, Alibaba Group（阿里巴巴集团高德地图） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出APPO方法，通过细粒度分支和程序级优势缩放改进智能体强化学习的信用分配，在13个基准上平均提升近4个点。

Comments 25 pages, including 14 pages of main text and 11 pages of appendix; work in progress

MOON2.0: Dynamic Modality-balanced Multimodal Representation Learning for E-commerce Product Understanding

MOON2.0：动态模态平衡多模态表示学习用于电商产品理解

Zhanheng Nie, Chenghan Fu, Daoze Zhang, Junxian Wu, Wanxian Guan, Pengjie Wang, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MOON2.0通过动态模态平衡框架解决电商多模态数据中的模态不平衡、信息对齐不足和噪声处理问题，提出MoE、双层对齐和图像-文本共增强策略，提升零样本性能和多模态对齐质量。

Comments Accepted by the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2026. 11 pages, 7 figures

From Representations to Behaviors: Exploring the Person-Situation-Behavior Triad in LLMs

从表征到行为：探索大语言模型中的人-情境-行为三元组

Ruikang Zhang, Shuo Wang, Qi Su

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究基于Funder人格三元框架，提出用于发现、控制和验证大语言模型类特质表征的框架，证实LLMs存在可连接内部状态、情境与行为的可控类特质表征。

OPIUM: Mitigating Steering Externalities and Over-Refusal via Dual Objective Latent Optimization

OPIUM：通过双目标潜在优化减轻引导外部性和过度拒绝

Kavin Aravindan, Arihant Rastogi, Krishak Aneja, Aadi Prasad, Saiyam Jain, Vaishnavi Shivkumar, Ponnurangam Kumaraguru

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究激活引导向量存在的外部性问题，提出无训练方法OPIUM，通过表示匹配净化引导向量，在给定参考行为下优化新向量，改善安全与效用权衡，减轻激活引导的有害副作用。

Comments Accepted to the Mechanistic Interpretability Workshop at the 43rd International Conference on Machine Learning (ICML 2026)

Understanding Addition and Subtraction in Transformers

理解变换器中的加法与减法

Philip Quirke, Clement Neo, Fazl Barez

机构 * University of Oxford（牛津大学） ； NTU（南洋理工大学） ； Martian（火星） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过训练和分析变换器模型，揭示了加法和减法的因果结构，并提出了新的精确算法。

Comments 8 pages, 6 figures, 2 tables

Operational Hallucination and Safety Drift in AI Agents

人工智能代理中的操作幻觉与安全漂移

Shasha Yu, Fiona Carroll, Barry L. Bentley

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大型语言模型在多轮执行中引发的可靠性风险，通过多轮评估量化安全漂移和操作幻觉现象，分析其根源，提出行动感知监督层，该层能拦截违规行为且无良性误报，提升了代理可靠性。

More Edits, More Stable: Understanding the Lifelong Normalization in Sequential Model Editing

更多编辑，更稳定：理解连续模型编辑中的终身规范化

Xin Ma, Wei Chen, Qi Liu, Derong Xu, Zhi Zheng, Tong Xu, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了连续模型编辑中的终身规范化，提出理论分析揭示其自增强稳定性循环，并通过StableEdit提升长期稳定性。

Comments Accepted to ICML 2026

Learning from World Feedback: Why Model Uncertainty Fails as a Risk Signal in Model-Based RL

从世界反馈中学习：为何模型不确定性在基于模型的强化学习中无法作为风险信号

Zhaohui Wang

专题命中 知识编辑与模型理解 ：LLM(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨 RLxF 中学习信号应源于世界反馈，在安全模型控制中实例化并提炼原则。通过实验表明基于动力学的不确定性惩罚会增加碰撞率，用世界反馈信号可降低碰撞率，提取原则并指出其适用于多种相关方法。

Comments Accepted at the ICML 2026 Workshop on Reinforcement Learning from X Feedback (RLxF). 14 pages

Code-MUE: Measuring Code LLMs' Uncertainty through Execution-based Semantic Interaction Graphs

Code-MUE：通过基于执行的语义交互图测量代码语言模型的不确定性

Xiaoning Ren, Yinxing Xue, Lei Ma, Yuheng Huang

机构 * Xi’an Jiaotong University（西安交通大学） ； Institute of AI for Industries, Chinese Academy of Sciences（中国科学院人工智能产业研究院） ； The University of Tokyo（东京大学） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对代码语言模型内在随机性带来的风险，引入纯黑盒框架Code-MUE，通过基于执行的语义交互图测量不确定性，经大规模实证研究验证其与功能正确性强负相关，优于基线，可实现风险检测和选择性预测。

Comments To appear at The ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA) 2026

Analysing Moral Bias in Finetuned LLMs through Mechanistic Interpretability

通过机制可解释性分析微调语言模型中的道德偏见

Bianca Raimondi, Daniela Dalbagno, Maurizio Gabbrielli

机构 * Department of Computer Science and Engineering, University of Bologna, Bologna, Italy（计算机科学与工程系，博洛尼亚大学，意大利博洛尼亚） ； Center for Studies and Research in Cognitive Neuroscience, Department of Psychology, University of Bologna, Cesena, Italy（认知神经科学研究中心，心理学系，博洛尼亚大学，意大利塞森纳） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究微调后大语言模型中的道德偏见，通过层修补分析发现诺布效应不仅在微调时习得且定位在特定层，将预训练模型激活修补到关键层可消除该效应，为通过干预解释、定位和缓解模型社会偏见提供新证据。

Comments Preprint. Under review

PRISM Edit: One Vector for All Temporal Answers

PRISM Edit：适用于所有时间答案的单一向量

Chen Huang, Qi Zheng, Ruiqin Zheng, Long Zeng, Yuantong Xu

机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型时间事实更新问题，基于因果追踪发现其内部计算支持新旧答案区分，进而引入PRISM Edit，通过优化单一多义词表示及利用固有调制路径，在新基准上评估，相比基线提升了时间一致性等指标且速度更快。

Comments Chen Huang and Qi Zheng contributed equally. Corresponding authors: Long Zeng, Yuantong Xu

Low-Rank Attention Residuals

低秩注意力残差

Jonathan Su

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究提出低秩注意力残差（LR-AttnRes），包括投影式和切片式，通过使用低维键进行路由，解耦路由与残差内容，减少运算量并提升性能，证明深度路由在较少维度下也有效，还发布了代码和模型。

Semantic Pareto-DQN: A Multi-Objective Reinforcement Learning Framework for Financial Anomaly Detection

语义帕累托深度Q网络：一种用于金融异常检测的多目标强化学习框架

Cláudio Lúcio do Val Lopes, Lucca Machado da Silva

机构 * A3Data（A3数据公司） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对金融异常检测的类不平衡问题，提出语义帕累托深度Q网络框架，合成交易特征，优化向量奖励，映射帕累托前沿，经实验验证可打破零召回陷阱，提升少数类召回率，为金融异常发现提供新途径。

Comments BRACIS 2026 - 36th Brazilian Conference on Intelligent Systems

How Much is Left? LLMs Linearly Encode Their Remaining Output Length

还剩多少？大语言模型对其剩余输出长度进行线性编码

Mohamed Amine Merzouk, Dmitri Carpov, Mirko Bronzi, Damiano Fornasiere, Adam Oberman

机构 * Mila, Quebec AI Institute（米拉，魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； LawZero（法律零） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究探究大语言模型是否保有剩余输出长度的内部估计，通过在冻结隐藏状态上训练线性探针，证实LLMs可线性编码剩余输出长度，存在类计划的输出长度内部表征。

Comments 21 pages, 9 figures

Fast Multi-dimensional Refusal Subspaces via RFM-AGOP

通过RFM-AGOP的快速多维拒绝子空间

Thomas Winninger

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出利用RFM-AGOP算法快速提取大型语言模型中的多维拒绝子空间，在推理和非推理模型上均实现秒级识别，且性能优于现有方法。

Comments Accepted to the Mechanistic Interpretability Workshop at the 43rd International Conference on Machine Learning, Seoul, South Korea, 2026

Shared Semantics, Divergent Mechanisms: Unsupervised Feature Discovery by Aligning Semantics and Mechanisms

共享语义，不同机制：通过对齐语义与机制的无监督特征发现

Hyunjin Cho, Youngji Roh, Jaehyung Kim

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种无监督方法，通过语义嵌入和归因签名聚类模型续写，发现隐藏的机制模式，补充电路分析。

Comments 40 pages; accepted as an ICML 2026 Spotlight; project page: https://merenova.github.io/distribution-level-feature-discovery/

Journal ref ICML 2026 Spotlight

ACD-CLIP: Decoupling Representation and Dynamic Fusion for Zero-Shot Anomaly Detection

ACD-CLIP：解耦表征与动态融合用于零样本异常检测

Ke Ma, Jun Long, Hongxiao Fei, Liujie Hua, Zhen Dai, Yueyi Luo

机构 * Central South University（中南大学） ； Hunan Vocational College of Science and Technology（湖南科技职业学院） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 ACD-CLIP通过联合优化特征表征与跨模态融合，解决预训练视觉语言模型在零样本异常检测中的适应性不足问题，提出参数高效卷积低秩适应器和动态融合网关提升检测精度与鲁棒性。

Comments 4 pages, 1 reference, 3 figures

Journal ref ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

C$^{2}$R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders

C$^{2}$R: 跨样本一致性正则化缓解稀疏自编码器中的特征分裂与吸收

Haoran Jin, Xiting Wang, Shijie Ren, Hong Xie, Defu Lian

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出跨样本一致性正则化（C$^2$R），通过惩罚方向相似潜变量的共激活，缓解稀疏自编码器中的特征分裂与吸收问题，提升潜变量可解释性而不损失重构保真度。

Comments 24 pages, 6 figures. Accepted by ICML 2026

Dynamic Parsing and Updating Natural Language Specification using VLMs for Robust Vision-Language Tracking

利用视觉语言模型动态解析和更新自然语言规范以实现鲁棒的视觉语言跟踪

Xiao Wang, Liye Jin, Dan Xu, Yuehang Li, Lan Chen, Yaowei Wang, Yonghong Tian, Jin Tang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校） ； Peng Cheng Laboratory, Shenzhen（鹏城实验室深圳分部） ； Shenzhen Graduate School, Peking University（北京大学深圳研究生院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出语言依赖解析机制提取跟踪核心成分，并利用Qwen-VL进行成分感知的文本更新，在多个基准上取得一致优越性能。

On the Effect of Uncertainty on Layer-wise Inference Dynamics

不确定性对逐层推理动态的影响

Sunwoo Kim, Haneul Yoo, Alice Oh

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过Tuned Lens分析11个数据集和5个模型，发现确定与不确定预测的逐层概率轨迹高度一致，表明不确定性不影响推理动态，但更强大的模型可能以不同方式处理不确定性。

Comments Accepted to Actionable Interpretability Workshop - ICML 2025

Localizing RL-Induced Tool Use to a Single Crosscoder Feature

将RL诱导的工具使用定位到单个交叉编码器特征

Andrii Shportko, Shubham Bhokare, Ahmed Zeyad A Alzahrani, Bowen Cheng, Gustavo Mercier, Jessica Hullman

专题命中 知识编辑与模型理解 ：LLM(abstract_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出专用特征交叉编码器(DFC)隔离强化学习引入的紧凑特征集，通过编码-解码重建提升工具调用正确率31.1个百分点，并实现能力溢出至冻结基模型。

Comments Accepted as a spotlight at the ICML 2026 Mechanistic Interpretability Workshop

Bayesian control for coding agents

编码智能体的贝叶斯控制

Theodore Papamarkou, Vladislav Smirnov, Viktor Mazanov, Artem Vazhentsev, Preslav Nakov, Timothy Baldwin, Artem Shelmanov

机构 * PolyShape ； National Technical University of Athens（雅典国家技术大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 将编码智能体的编排建模为成本敏感的序贯假设检验，贝叶斯控制器动态决策证据收集、候选优化、验证或停止，在昂贵验证下最有效，且信念状态提供可解释的正确性分数。

Orthogonal Representation Editing: Decoupling Semantic Entanglement in Batch Knowledge Editing of LLMs

正交表示编辑：解耦大型语言模型批量知识编辑中的语义纠缠

Wenhao Yu, Zhicong Lu, Bo Lv, Fangyin Ma, Kaiwen Wei, Shihao Yang, Nayu Liu

机构 * School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） ； Kexin Technology（可心科技） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tencent Hunyuan（腾讯混元） ； College of Computer Science, Chongqing University（重庆大学计算机学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对批量知识编辑中语义表示纠缠导致性能下降的问题，提出正交表示编辑（ORE），通过构建通用语义子空间并对编辑向量施加正交约束来解耦纠缠，并引入门控非线性表示头自适应学习编辑位置，实验表明ORE在跨语言场景中表现优异。

Comments Accepted to Findings of ACL 2026

Not All Claims Are Equally Risky: FACTOR for Adaptive Verification in Factual Long-Form Generation

并非所有声明都同样有风险：FACTOR 用于事实性长文本生成中的自适应验证

Areeba Hassan, Arooj Kausar, Syeda Kisaa Fatima, Gibrail Islam, Mehwish Fatima

机构 * School of Electrical Engineering ； Computer Science (SEECS), National University of Sciences 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出 FACTOR 方法，通过不确定性估计、自适应语言推理验证和候选重排序，在长文本生成中按声明级别风险分配验证资源，同时提高事实性和降低验证成本。

AI Agents Can Already Autonomously Perform Experimental High Energy Physics

AI智能体已能自主执行实验高能物理研究

Eric A. Moreno, Samuel Bright-Thonney, Andrzej Novak, Dolores Garcia, Philip Harris

机构 * Massachusetts Institute of Technology（麻省理工学院） ； NSF AI Institute for Artificial Intelligence and Fundamental Interactions（国家科学基金会人工智能与基本相互作用研究所） ； CERN（欧洲核子研究中心） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 基于大语言模型的AI智能体自主执行高能物理分析全流程，提出JFC框架整合文献检索与多智能体审查，在ALEPH、DELPHI和CMS开放数据上验证，首次由AI自主产生新颖物理结果，旨在减轻技术负担而非取代物理学家。

A Mechanistic Understanding of Pronoun Fidelity in LLMs

对大型语言模型中代词忠实性的机制理解

Katharina Trinley, Jesujoba O. Alabi, Dietrich Klakow, Vagrant Gautam

机构 * Saarland University（萨尔大学） ； Heidelberg Institute for Theoretical Studies（海德堡理论研究所） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过因果分析发现，代词忠实性由组实体绑定、近因偏差和刻板印象偏差三种因果子空间共同作用，解释了91-99.5%的行为。