语言大模型 / LLM

The Signs Were Always There: Training-Free Concept Detection and Steering in Raw Transformer Dimensions

Bag of Dims：通过维度级符号模式实现无需训练的机制可解释性

Varun Reddy Nalagatla

机构 * Amazon Web Services（亚马逊云服务） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Bag of Dims框架，证明Transformer隐藏状态的标准基即可作为无需训练的特征基，通过维度符号模式编码语义，并在三个模型上验证了其有效性。

Comments Preprint. 35 pages, 5 figures. Detection method reproducible from the paper; full steering code to follow

What Images Cannot Say: Language-Guided Olfactory Representation Learning

图像无法表达的：语言引导的嗅觉表征学习

Eleftherios Tsonis, Xi Wang, Vicky Kalogeiton

机构 * LIX, École Polytechnique, IP Paris, CNRS（LIX，巴黎高等理工学院，IP巴黎，CNRS） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究图像与嗅觉对齐难题，提出SCENT多模态框架，利用视觉语言模型生成场景描述符，训练气味编码器，通过语言引导潜在分解分离特定对象气味与环境贡献，提升跨模态检索性能，产生可解释表征。

Comments ECCV 2026. Project page: https://www.lix.polytechnique.fr/vista/projects/2026_scent_tsonis/

Mitigating Factual Hallucination in Large Reasoning Models via Mixed-Mode Advantage Regularization

通过混合模式优势正则化减轻大型推理模型中的事实幻觉

Kaishen Wang, Tong Zheng, Xuehao Cui, Ruibo Chen, Tianyi Xiong, Heng Huang

机构 * Department of Computer Science, University of Maryland, College Park（计算机科学系，马里兰大学，College Park） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究大型推理模型在面向事实问答中存在思维诱导幻觉的问题，提出MARGO框架，通过构建混合模式展开组评估思维价值，抑制幻觉思维，实验证明该方法在提升事实可靠性的同时保留了推理能力。

Comments 19 pages, 3 figures, 8 tables

Knowledge Knows, Verbalization Tells: Disentangling Latent Directions for Mathematical Solvability in LLMs

知识所知，语言所表：解开大语言模型中数学可解性的潜在方向

Nikolaos Xiros, Maria-Eleni Zoumpoulidi, Georgios Paraskevopoulos

机构 * Institute for Language and Speech Processing, Athena Research Center（语言与语音处理研究所，雅典娜研究中心） 纠错

专题命中 知识编辑与模型理解 ：prompting(abstract)；分类 cs.CL、cs.LG

AI总结 研究大语言模型数学推理中数学问题可解性判定难题，通过分别探究可解性知识与语言表达的表征，揭示二者在模型隐藏状态中可分离，还表明提示不可解线索等可减少编造，操纵表征能改善模型弃权。

Comments 14 pages, 9 Figures

Differentiate the Evaluator, Not the Program: An Efficient Runtime Representation for Neuro-Symbolic Learning

区分评估器，而非程序：神经符号学习的高效运行时表示

Lucas Sheneman

机构 * Institute for Interdisciplinary Data Sciences（交叉学科数据科学研究所） ； University of Idaho（爱达荷大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究神经符号学习中程序与参数协同搜索瓶颈，提出原生可微虚拟机（NDVM），将符号结构与可微数值状态分离，实现运行时差异化，提升搜索效率。

Mechanistic Interpretability and Causal Feature Steering of Neural Quantum States via Sparse Autoencoders

神经量子态的机械可解释性与因果特征引导：基于稀疏自编码器

Zihao Qi, Christopher Earls

机构 * Department of Physics, Cornell University（康奈尔大学物理系） ； Center for Applied Mathematics, Cornell University（康奈尔大学应用数学中心） 纠错

专题命中 知识编辑与模型理解 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 利用稀疏自编码器从神经量子态内部激活中无监督提取物理可观测量相关特征，并通过后训练干预单一特征因果地平滑引导对应可观测量，揭示其可解释内部表示。

Comments 15 pages, 7 figures. Comments welcome!

Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test

大规模激活在架构上是鲁棒的：一种受控的暂存/提交残差流测试

Maruthi Vemula

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过引入Ledger Residuals架构分离残差流的读写角色，发现大规模激活并非伪影，而是功能性的，在受保护通道中重新出现。

Comments 7 pages, 2 figures, 2 tables. Code at https://github.com/MaruthiV/ledger-residuals

TelcoAgent: A Scalable 5G Multi-KPM Forecasting With 3GPP-Grounded Explainability

TelcoAgent: 一种可扩展的5G多KPM预测与3GPP基础可解释性

Geon Kim, Dara Ron, Sukhdeep Singh, Suyog Moogi, Pranshav Gajjar, V V N K Someswara Rao Koduri, Een Kee Hong, Vijay K. Shah

机构 * NextG Wireless Lab, North Carolina State University（北卡罗来纳州立大学下一代无线实验室） ； Kyung Hee University（庆熙大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出TelcoAgent框架，利用基础模型实现多KPM的零样本预测，通过3GPP知识图谱和可解释性管道提供可操作诊断。

Comments 6 pages, 6 figures. Submitted to IEEE GLOBECOM 2026

LOKI: Memory-Free Null-Space Constrained Lifelong Knowledge Editing

LOKI: 无记忆零空间约束的终身知识编辑

Masih Eskandar, Miquel Sirera Perelló, Stratis Ioannidis, Jennifer Dy

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LOKI方法，通过希尔伯特-施密特独立性准则动态选择层，并将梯度更新投影到模型权重的零空间，实现无需访问旧知识的终身知识编辑，平均准确率提升14%。

Concept Flow Models: Anchoring Concept-Based Reasoning with Hierarchical Bottlenecks

概念流模型：通过层次瓶颈锚定基于概念的推理

Ya Wang, Adrian Paschke

机构 * Fraunhofer Institute for Open Communication Systems（弗劳恩霍夫开放通信系统研究所） ； Freie Universität Berlin（柏林自由大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出概念流模型（CFM），用层次化概念决策树替代扁平瓶颈，通过逐步缩小预测范围减少信息泄露，在保持预测性能的同时提升可解释性。

Journal ref Transaction on Machine Learning Research, 2/2026

From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability

从稀疏特征到可信代理：认证基于SAE的可解释性

Dibyanayan Bandyopadhyay, Asif Ekbal

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Patna（印度理工学院巴特那分校计算机科学与工程系） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种后验泛化框架，通过稀疏代理（SAE重建）认证语言模型，推导期望风险上界，并在GPT-2 Small等模型上验证非平凡界，揭示深层更易认证且特征分解区分语义对齐与统计稀疏性。

Rational Sparse Autoencoder

有理稀疏自编码器

Naiyu Yin, Yue Yu

机构 * Lehigh University（里海大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出有理稀疏自编码器（RSAE），用可训练有理函数替代固定编码器激活，通过两阶段流程（初始化+微调）在多种语言模型和基线激活族上提升重构与下游行为指标，不牺牲特征可解释性。

Comments Accepted to the Mechanistic Interpretability Workshop at ICML 2026

CAP: Towards PPG Universal Representation Learning with Patient-level Supervision

CAP：面向患者级监督的PPG通用表示学习

Chenyang He, Xinyi Shao, Shun Huang, Bosong Huang, Daoqiang Zhang, Ming Jing, Cheng Ding

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Peking University（北京大学） ； Independent Researcher（独立研究者） ； Jinling Clinical Medical College College of Artificial Intelligence Nanjing University of Aeronautics and Astronautics（金陵临床医学院人工智能学院南京航空航天大学） 纠错

专题命中 知识编辑与模型理解 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出CAP方法，通过构建大规模PPG-EHR多模态数据集和跨模态对比对齐，学习患者级临床语义的PPG表示，在四项下游任务中平均提升26.7%，呼吸率预测提升87.6%。

Comments Accepted as an Oral presentation at KDD 2026

One Lens, Many Worlds : A Capability-Typed Interface for World-Model Interpretability

一个镜头，多个世界：面向世界模型可解释性的能力类型接口

Bhavith Chandra Challagundla, Sanskar Pandey, Param Thakkar, Rishikesh Mallagundla, Yugandhar Reddy Gogireddy, Wenhao Lu, Hindol Roy Choudhury, Shravani Challagundla, Mohamed Deraz Nasr, Spursh Deshpande

机构 * New York University（纽约大学） ； Independent Researcher（独立研究者） ； Veermata Jijabai Technological Institute（韦尔玛塔·吉贾拜技术学院） ； Mercity ； University of Southern California（南加州大学） ； Independent Researcher, MIT（麻省理工学院独立研究者） ； Independent Researcher, GITAM（GITAM独立研究者） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出WorldModelLens，通过能力类型适配器统一不同世界模型（如PlaNet、IRIS、I-JEPA）的可解释性分析，避免重复实现。

Co-GLANCE: Uncertainty-Aware Active Perception for Heterogeneous Robot Teaming

Co-GLANCE: 异构机器人团队的不确定性感知主动感知

Michal P. Podolinsky, Neel P. Bhatt, Pranay Samineni, Rohan Siva, Christian Ellis, Ufuk Topcu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Co-GLANCE系统，通过蒸馏视觉语言模型实现实时遮挡分割与机器人分配，结合共形预测与选择性弃权提供统计保证的不确定性量化，驱动主动感知，在真实场景中遮挡分割和分配准确率分别提升25%和36%，推理延迟降低350倍。

Comments Code, videos, and dataset available at https://co-glance.github.io/

When Attribution Patching Lies: Diagnosis and a Second-Order Correction

当归因补丁说谎时：诊断与二阶修正

Luyang Zhang, Jialu Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究归因补丁（梯度一阶近似）在机制可解释性中的不可靠性，发现主要误差源于下游网络的非线性，并提出可靠性评分、误差界和HVP二阶修正方法。

Comments 30 pages, 12 figures

A Universal Dense Football Event Representation Based on TabTransformer

基于TabTransformer的通用密集足球事件表示

Weiran Yang, Daniel Memmert, Maximilian Klemp-Weins

机构 * Institute of Exercise Training and Sport Informatics, German Sport University Cologne（科隆德国体育大学运动训练与体育信息学研究所） 纠错

专题命中 知识编辑与模型理解 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于TabTransformer的模型，通过学习分类特征的嵌入向量，生成密集的足球事件表示，在下游任务中优于基线方法。

Comments 12 pages, 1 figure. Preprint submitted to the 13th Workshop on Machine Learning and Data Mining for Sports Analytics (MLSA 2026)

How Many Counterfactuals Does It Take? Probing VLM Hallucinations Through Circuits and Causal Effects

需要多少反事实？通过电路和因果效应探究VLM幻觉

Abhivansh Gupta, Simardeep Singh, Advika Sinha, Shreyansh Modi, Akshat Tomar

机构 * University of California, Berkeley（加州大学伯克利分校） ； DeepMind（深度思维） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过定义基于对数概率差异的因果影响度量，并利用电路发现技术，研究视觉语言模型幻觉输出的反事实鲁棒性，推导出检测不稳定所需的最小反事实样本数。

Steer Where It Matters: Token-Level Visual-Sensitivity Steering for LVLMs Hallucination Mitigation

关键位置引导：基于令牌级视觉敏感度引导的LVLMs幻觉缓解

Ruipeng Zhang, Zhihao Li, C. L. Philip Chen, Tong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出令牌级视觉敏感度引导（TLVS）方法，通过提取令牌级引导向量并自适应调整引导强度，仅在关键解码步骤抑制幻觉，在多个基准上优于现有方法。

SV-Detect: AI-generated Text Detection with Steering Vectors

SV-Detect: 基于引导向量的AI生成文本检测

Mikhail Vishnyakov, Tatiana Gaintseva

机构 * Independent Researcher（独立研究者） ； Queen Mary University of London（伦敦女王学院） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出从冻结语言模型的隐藏表示中提取引导向量，通过层间投影特征训练轻量分类器，实现跨域、跨模型和编辑攻击下的机器生成文本检测。

Probing Memorization of Tabular In-Context Learning

探测表格上下文学习中的记忆化

Francesco Capano, Jonas Böhler

机构 * SAP SE（SAP公司） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract,comments)；分类 cs.LG

AI总结 提出ICLMEM框架探测表格基础模型在上下文学习中的参数记忆化，发现低基数任务中存在中等记忆信号，但实际训练条件下信号消失。

Comments Accepted at 2nd ICML Workshop on Foundation Models for Structured Data, 2026

Disentangled Shared Representations Improve Morpho-Transcriptomic Integration

解耦共享表示可改进形态-转录组整合

Julian Ostermaier, Swann Ruyter, Reuben Dorent, Daniel Racoceanu

机构 * ESPCI Paris, PSL University（巴黎高等物理化工学院，PSL大学） ； Sorbonne Université（索邦大学） ； CNRS（法国国家科学研究中心） ； Inserm（法国国家健康与医学研究院） ； AP-HP（巴黎公共医疗集团） ； Inria（法国国家信息与自动化研究所） ； Paris Brain Institute – ICM（巴黎脑研究所 – ICM） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI

AI总结 本研究针对空间转录组学的多模态表示学习问题，对比不同模型的标准与解耦变体，发现解耦共享与模态特有信息可提升相关指标，为多模态学习提供评估框架。

The Impact of Temporal Context Length and Encoding Strategies on Self-Supervised ECG Representation Learning

时间上下文长度与编码策略对自监督心电图表征学习的影响

Ahmed Sameh, Ramzi Al-Sharawi, Yogatheesan Varatharajah

机构 * University of Minnesota Twin Cities（明尼苏达大学双子城分校） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.LG

AI总结 该研究在Icentia11k数据集上对比不同时间上下文长度与编码策略，发现扩展上下文、采用连续补丁嵌入的自监督ECG模型在心律检测与跨会话检索任务中性能更优，为临床ECG模型构建提供了指导。

Comments Accepted at the 48th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC 2026). 6 pages, 2 figures, 1 table

UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations

UniProbe：基于多结构内部表征的可学习大视觉语言模型（VLM） token 级幻觉检测器

Dvir Samuel, Guy Bar-Shalom, Fabrizio Frasca, Ethan Fetaya, Yftah Ziser, Gal Chechik, Haggai Maron

机构 * NVIDIA Research（英伟达研究院） ； Technion（以色列理工学院） ； Bar-Ilan University（巴伊兰大学） ； University of Groningen（格罗宁根大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.LG

AI总结 UniProbe 是基于 LVLM 异构计算轨迹的可学习 token 级幻觉检测器，通过多结构模块交互实现 SOTA 检测性能，解码时可降 55% 对象幻觉且延迟仅增 6%

Comments Project Page: https://research.nvidia.com/labs/par/uniprobe/

Fisher8: Stabilizing Neural Heteroscedastic Regression via Output-Layer Fisher Geometry

Fisher8：通过输出层Fisher几何稳定神经异方差回归

Sumedh Vemuganti, Nickvash Kani

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 知识编辑与模型理解 ：prompting(abstract)；分类 cs.LG

AI总结 Fisher8是一种输出层梯度修正方法，通过Fisher几何稳定神经异方差回归，无数据依赖超参数，在多维回归等任务中实现了更优的似然-误差权衡与校准不确定性估计。

Dynamic Distribution-Aware Uncertainty Tracking in Vision-Language Representation Learning

视觉-语言表示学习中的动态分布感知不确定性跟踪

Ao Zhou, Zhiwei Jiang, Zifeng Cheng, Cong Wang, Shufan Yang, Haoru Chen, Qing Gu

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； ByteDance Inc（字节跳动公司） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.LG

AI总结 针对视觉-语言模型事后不确定性量化方法忽略测试分布动态性的问题，提出DDA-UQ框架，通过高斯混合模型建模嵌入空间，实现动态不确定性估计，性能优于现有最优方法。

Wiener Representation Filtering for VLM Hallucination Suppression

用于抑制视觉语言模型幻觉的维纳表示滤波

Ameen Ali, Tamim Zoabi, Lidor Brami, Lior Wolf

机构 * Tel Aviv University（特拉维夫大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.LG

AI总结 该研究提出一种无需训练的事后维纳表示滤波技术，通过离线校准校正视觉语言模型深层前馈输出投影，可在保持运行速度的同时降低其对象幻觉，在多类模型及基准上均验证了有效性与通用性。

Estimating Uncertainty in Galaxy Morphology Classification

星系形态分类中的不确定性估计

Kai Cheng, Ruoqi Wang, Qiong Luo

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI

AI总结 针对星系形态分类（GMC）中基础模型无法量化不确定性的问题，提出后验框架UEGMC，可从冻结骨干网络提取的表示中直接预测不确定性，实验显示其不确定性量化性能具竞争力。

Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination

相同注意力，不同真相：在视觉注意力上应用Logit-Lens检测并缓解LVLM的物体幻觉

Zichuan Wang, Songlin Yang, Bo Peng, Zhenchen Tang, Yang Li, Beibei Dong, Jing Dong

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI

AI总结 该研究针对LVLM的物体幻觉问题，通过Logit Lens分析视觉注意力，揭示两种幻觉机制，提出无需训练的Detect-Mitigate框架，在多个基准上实现最优结果。

Comments CVPR2026 Highlight

Representation-driven Endoscopic Visual Embedding Alignment for Latent Generation

面向隐空间生成的表征驱动型内窥镜视觉嵌入对齐

Francisco Caetano, Tim J. M. Jaspers, Haiko Middeljans, Martijn R. Jong, Rixta A. H. van Eijck van Heslinga, Floor Slooter, Albert J. de Groof, Jacques J. Bergman, Peter H. N. De With, Fons van der Sommen

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； Amsterdam University Medical Centers（阿姆斯特丹大学医学中心） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI

AI总结 本研究针对内窥镜生成模型的领域差距与计算成本问题，提出REVEAL模型，基于500万帧内窥镜数据训练，在多任务中性能优于同类模型，为临床智能工具开发提供基础。

Comments Accepted at the DCA-MI Workshop (ECCV 2026)