语言大模型 / LLM

Induction in Both Directions: A Mechanistic Analysis of In-Context Learning in Masked Diffusion Language Models

双向归纳：掩码扩散语言模型中上下文学习的机制分析

Andy Catruna, Emilian Radoi

机构 * National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特理工大学国家科技大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究扩散语言模型（DLM）中归纳机制，对比仅注意力AR模型和吸收掩码DLM。发现DLM学习双向归纳电路，方向对称，掩码两侧可见时归纳更强，还证明其能计算掩码令牌比例作隐式时间步长。

Verified LLM-Driven Synthesis for Concept Design

用于概念设计的经过验证的大语言模型驱动的合成

Alcino Cunha

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；prompting(abstract)

AI总结 研究用于概念设计的大语言模型驱动合成，给出概念和反应的形式语义及验证方法，提出基于大语言模型的合成过程，探讨引导合成的方式及技术，通过评估表明不同方法各有优劣，大语言模型驱动的场景引出多数情况下可恢复预期设计。

Comments 27 pages, 3 figures

Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias

剖析不公平的评判者：基于大语言模型作为评判者的偏差的机械可解释性分析

Zixiang Xu, Sixian Li, Huaxing Liu, Xiang Wang, Shuai Li, Zirui Song, Xiuying Chen

机构 * AMAP, Alibaba Group（阿里巴巴集团AMAP实验室） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Southern California（南加州大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型作为评判者的偏差，提出偏差在隐藏状态有表示层面解释。通过七位评判者等实验发现，偏差输入沿特定子空间移动，操纵隐藏状态可控制评分，线性投影能预测评判失败，统一多方面内容。

Comments 58 pages, 13 figures, 30 tables; project page: https://xzx34.github.io/unfair-judge/

U-Lens: Supporting User Uncertainty Management in Long-Form LLM Responses

U-Lens：支持长格式大语言模型响应中的用户不确定性管理

Yu Mei, Qingyue Zhuang, Jie Cai, Chang Liu, Zhi Zheng, Zhoutong Ye, Chun Yu, Yuanchun Shi

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型长响应中用户管理不确定性的难题，通过形成性研究得出设计准则，构建U-Lens系统，经实验评估，该系统能提高验证效率、降低工作量、加强各阶段感知支持，重塑了生成式AI的不确定性支持方式。

Which Neurons Detect Malicious Code? A Probing Study of LLM Security Knowledge

哪些神经元能检测恶意代码？对大语言模型安全知识的探索性研究

Lam D. Dao, Vang T. Nguyen, Anh M. T. Bui, Phuong T. Nguyen

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究探索大语言模型中检测恶意代码的神经元，应用机械可解释性方法定位相关神经元，通过对恶意和良性PyPI包实验发现放大促进神经元、抑制抑制神经元可提升准确率，有助于了解模型编码恶意概念方式，为可靠防御机制提供思路。

Comments The paper has been peer reviewed and accepted for publication in the 20th International Symposium on Empirical Software Engineering and Measurement (ESEM 2026)

Evaluating LLM Uncertainty in Long-Form Generation Using Deterministic Ground Truth

使用确定性真实数据评估长文本生成中语言模型的不确定性

Ido Amit, Ido Galil, Ran El-Yaniv

机构 * Technion（技术学院） ； Nvidia（英伟达） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对长文本生成中语言模型不确定性评估难题，引入含单一确定性长文本真值的SALT基准，通过对50多个模型分析揭示关键见解，如置信函数作用、错误驱动因素及推理影响等，为风险关键应用提供参考。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026). Code available at https://github.com/IdoAmit198/SALT

How Alignment Routes: Localizing, Scaling, and Controlling Policy Circuits in Language Models

对齐路由：在语言模型中本地化、扩展和控制策略电路

Gregory N. Frank

机构 * Independent Researcher（独立研究者） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过本地化策略路由机制，探讨在语言模型中扩展和控制策略电路的方法，发现路由机制在安全性和性能上的关键作用。

Comments Code and data: https://github.com/gregfrank/how-alignment-routes. Accepted at the Mechanistic Interpretability Workshop at the 43rd International Conference on Machine Learning (ICML), 2026

Transcoders Trace Visual Grounding and Hallucinations in Vision-Language Models

Transcoders 追踪视觉语言模型中的视觉基础与幻觉

Dimitrios Damianos, Leon Voukoutis, Georgios Skyrianos, Vassilis Katsouros, Georgios Paraskevopoulos

机构 * Institute of Language and Speech Processing（语言与语音处理研究所） ； Athena Research Center（雅典研究中心） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 采用基于Transcoders的功能中心框架分解视觉语言模型的计算路径，揭示视觉输入如何影响文本生成，并通过反事实分析和图结构特征预测幻觉。

SG-CADVLM: A Context-Aware Decoding Powered Vision Language Model for Safety-Critical Scenario Generation

SG-CADVLM: 一种基于上下文感知解码的视觉语言模型，用于安全关键场景生成

Hongyi Zhao, Shuo Wang, Qijie He, Ziyuan Pu

机构 * School of Transportation, Southeast University（东南大学交通学院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)

AI总结 本文提出SG-CADVLM，一种结合上下文感知解码的多模态输入处理框架，用于从事故报告中生成高保真的安全关键场景，通过减少视觉语言模型的幻觉并同时生成道路几何和车辆轨迹，提升了生成场景的准确性和实用性。

A Markov Categorical Framework for Language Modeling

一个马尔可夫范畴框架用于语言建模

Yifan Zhang

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一个马尔可夫范畴框架，从信息处理阶段分析语言模型的生成过程，解释训练如何塑造表示，并揭示表示如何支持复杂行为。

Using Semantic Distance to Estimate Uncertainty in LLM-Based Code Generation

利用语义距离估计基于大语言模型的代码生成的不确定性

Weilin He, Arindam Sharma, Cristina David

专题命中 知识编辑与模型理解 ：LLM(title,abstract)

AI总结 本文提出基于语义距离的不确定性估计方法，通过衡量生成程序执行行为的差异性，提升代码生成的正确性评估效果，在多个基准测试中优于现有方法。

Comments Preprint. 23 pages, 4 figures

Leviathan: Decoupling Input and Output Representations in Language Models

Leviathan：解耦语言模型的输入和输出表示

Reza T. Batley, Sourav Saha

机构 * Department of Aerospace and Ocean Engineering（航空航天与海洋工程系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Leviathan通过引入学习嵌入向量化方法，解耦语言模型的输入和输出表示，从而在参数增加极小的情况下提升语言建模性能，尤其在稀有词上表现显著。

Atlas-Alignment: Making Interpretability Transferable Across Language Models

Atlas-Alignment：使语言模型间的可解释性可迁移

Bruno Puri, Jim Berend, Sebastian Lapuschkin, Wojciech Samek

机构 * Department of Artificial Intelligence, Fraunhofer Heinrich Hertz Institute（人工智能系，弗劳恩霍夫 Heinrich Hertz 研究所） ； Department of Electrical Engineering and Computer Science, Technische Universität Berlin（电气工程与计算机科学系，柏林技术大学） ； Centre of eXplainable Artificial Intelligence, Technological University Dublin（可解释人工智能中心，都柏林技术大学） ； BIFOLD - Berlin Institute for the Foundations of Learning and Data（BIFOLD - 柏林学习与数据基础研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Atlas-Alignment通过在新模型的潜在空间与预训练的Concept Atlas对齐，实现无需标注数据的可解释性迁移，降低可解释AI的成本。

RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models

RCP：一种用于缓解大视觉-语言模型中分布偏移的表示一致性剪枝方法

Jianwei Zhang, Chaoning Zhang, Sihan Cao, Wang Liu, Pengcheng Zheng, Jiaxin Huang, Caiyan Qin, Yalan Ye, Wei Dong, Yang Yang

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； Machine Learning Department, Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学机器学习系） ； School of Robotics and Advanced Manufacture, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）机器人与先进制造学院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；LLM(abstract)

AI总结 本文提出RCP框架，通过累积视觉token剪枝与延迟修复机制，有效缓解大视觉-语言模型中的分布偏移问题，实验表明可剪除高达88.9%的视觉token并减少85.7%的FLOPs，同时保持较低的精度损失。

Revisiting Multimodal Positional Encoding in Vision-Language Models

重新审视视觉-语言模型中的多模态位置编码

Jie Huang, Xuejing Liu, Sibo Song, Ruibing Hou, Hong Chang, Junyang Lin, Shuai Bai

机构 * Qwen Team, Alibaba Group（Qwen团队，阿里巴巴集团） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；LLM(abstract)

AI总结 本文分析了多模态Rotary Positional Embedding的核心组件，提出MHRoPE和MRoPE-Interleave两种改进方法，在多种基准测试中表现优异，提升了多模态理解能力。

Comments 16 pages

On the Geometric Structure of Layer Updates in Deep Language Models

深度语言模型中层更新的几何结构研究

Jun-Sik Yoo

机构 * Institute of Basic Science, Korea University（韩国大学基础科学研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究深度语言模型中层更新的几何结构，发现层更新可分解为主导的tokenwise组件和一个几何上不同的残差部分，残差对输出扰动有显著影响。

Comments 11 pages, 5 figures

Perturbation: A simple and efficient adversarial tracer for representation learning in language models

扰动：一种简单且高效的对抗追踪器，用于语言模型中的表示学习

Joshua Rozner, Cory Shain

机构 * Stanford University（斯坦福大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出扰动方法，通过微调语言模型于单个对抗示例，揭示训练模型在不同语言粒度上的结构迁移，展示语言模型在无监督学习中获得语言抽象的能力。

YOLOv10 with Kolmogorov-Arnold networks and vision-language foundation models for interpretable object detection and trustworthy multimodal AI in computer vision perception

YOLOv10结合Kolmogorov-Arnold网络和视觉-语言基础模型用于可解释的目标检测和可信的多模态AI在计算机视觉感知

Marios Impraimakis, Daniel Vazquez, Feiyu Zhou

机构 * University of Bath（巴斯大学） ； Zhejiang University（浙江大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种基于Kolmogorov-Arnold网络和视觉-语言基础模型的YOLOv10框架，通过七种几何和语义特征提升目标检测的可解释性，并在模糊、遮挡或低纹理场景中实现可信的置信度估计。

Comments 14 pages, 23 Figures, 6 Tables

LLM-Driven Instance-Specific Heuristic Generation and Selection

基于大语言模型的实例特定启发式生成与选择

Shaofeng Zhang, Shengcai Liu, Ning Lu, Jiahao Wu, Ji Liu, Yew-Soon Ong, Ke Tang

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出InstSpecHH框架，通过实例特征划分问题子类，实现差异化启发式设计，提升求解效率并减少计算开销。

Dissecting Chronos: Sparse Autoencoders Reveal Causal Feature Hierarchies in Time Series Foundation Models

拆解Chronos：稀疏自编码器揭示时间序列基础模型中的因果特征层次

Anurag Mishra

机构 * Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过稀疏自编码器揭示时间序列基础模型中的因果特征层次，发现中编码器的特征对预测质量影响最大，表明Chronos-T5依赖突变动态而非周期性模式识别。

Comments Accepted as a poster in ICLR 2026 Workshop on Time Series in the Age of Large Models (TSALM)

Lyapunov Probes for Hallucination Detection in Large Foundation Models

Lyapunov探针用于大型基础模型中的幻觉检测

Bozhi Luan, Gen Li, Yalan Qin, Jifeng Guo, Yun Zhou, Faguo Wu, Hongwei Zheng, Wenjun Wu, Zhaoxin Fan

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算先进创新中心，人工智能学院，北航） ； School of Electronic and Information Engineering, State Key Laboratory of CNS/ATM, Beihang University（电子与信息工程学院， CNS/ATM 国家重点实验室，北航） ； National Key Laboratory of Information Systems Engineering, National University of Defense Technology（信息系统工程国家重点实验室，国防科技大学） ； Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院） ； Shanghai University（上海大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title)；large language model(abstract)；language model(abstract)

AI总结 通过Lyapunov探针检测大型基础模型中的幻觉，利用动力系统稳定性理论分析知识过渡区域的边界特征。

Designing Social Robots with Ethical, User-Adaptive Explainability in the Era of Foundation Models

在基础模型时代设计具有伦理性和用户适应性的社交机器人

Fethiye Irmak Dogan, Alva Markelius, Hatice Gunes

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；LLM(abstract)

AI总结 本文提出在基础模型驱动的社交机器人中，需通过伦理性和用户适应性的可解释性设计，解决适应与解释委托给基础模型带来的挑战。

Comments Companion Proceedings of the 21st ACM/IEEE International Conference on Human-Robot Interaction

Leveraging Multimodal LLM Descriptions of Activity for Explainable Semi-Supervised Video Anomaly Detection

利用多模态大语言模型对活动的描述进行可解释的半监督视频异常检测

Furkan Mumcu, Michael J. Jones, Anoop Cherian, Yasin Yilmaz

机构 * Department of Electrical Engineering University of South Florida（电气工程系 佛罗里达州立大学） ； Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL）） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出利用多模态大语言模型描述活动，以实现可解释的半监督视频异常检测，有效检测复杂交互异常并提升模型可解释性。

How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?

在线性表示假设下，语言模型能存储多少特征？

Nikhil Garg, Jon Kleinberg, Kenny Peng

机构 * Cornell University（康奈尔大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究在线性表示假设下，探讨了语言模型存储特征的理论上限和下限，证明了神经元可存储指数级特征数量，并揭示了线性可访问性比线性表示更强的假设。

Training Language Models to Explain Their Own Computations

训练语言模型以解释其自身的计算

Belinda Z. Li, Zifan Carl Guo, Vincent Huang, Jacob Steinhardt, Jacob Andreas

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过训练语言模型解释自身计算，发现其能有效生成内部机制的自然语言描述，为可解释性方法提供新途径。

Comments 23 pages, 8 tables, 7 figures. Code and data at https://github.com/TransluceAI/introspective-interp

Probing Prompt Design for Socially Compliant Robot Navigation with Vision Language Models

通过视觉语言模型探索社交合规机器人导航的提示设计

Ling Xiao, Toshihiko Yamasaki

机构 * Hokkaido University（北海道大学） ； The University of Tokyo（东京大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)

AI总结 本文通过设计社交合规的提示策略，提升小型视觉语言模型在机器人导航中的行动准确性，发现与自我竞争的提示设计效果最佳。

LLM-Driven Accessible Interface: A Model-Based Approach

基于大语言模型的可及性界面：一种基于模型的方法

Blessing Jerry, Lourdes Moreno, Virginia Francisco, Raquel Hervas

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种基于模型的框架，利用大语言模型生成个性化、多模态且符合可及性标准的用户界面，通过结构化用户档案、声明性适应规则和验证提示模板，提升医疗场景中对认知和感官需求的可及性支持。

QCD in Language Models: What do they really know about QCD?

语言模型中的QCD：它们真的了解QCD吗？

Antonin Sulc, Patrick L. S. Connor

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)

AI总结 研究分析了语言模型对QCD的理解，揭示其在参数空间中对QCD概念的嵌入模式，并指出模型在高级量子场论表示上的局限性。

Comments 6 pages, 4 figures, presented at EPS HEP 2025 by Patrick L.S. Connor as Oral Presentation

Internal Causal Mechanisms Robustly Predict Language Model Out-of-Distribution Behaviors

Jing Huang, Junyi Tao, Thomas Icard, Diyi Yang, Christopher Potts

机构 * stanford（斯坦福大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments ICML 2025

Finding 3D Scene Analogies with Multimodal Foundation Models

Junho Kim, Young Min Kim

机构 * Institute of New Media and Communications（新媒体与通讯研究所） ； Dept. of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；language model(abstract)

Comments Accepted to FM4RoboPlan workshop at RSS 2025