语言大模型 / LLM

Tracing Moral Foundations in Large Language Models

在大型语言模型中追溯道德基础

Chenxiao Yu, Bowen Yi, Farzan Karimi-Malekabadi, Suhaib Abdurahman, Jinyi Ye, Shrikanth Narayanan, Yue Zhao, Morteza Dehghani

机构 * Department of Computer Science, University of Southern California（南加州大学计算机科学系） ； Department of Psychology, University of Southern California（南加州大学心理学系） ； Center for Computational Language Sciences, University of Southern California（南加州大学计算语言科学中心） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；pretraining(abstract)

AI总结 本文研究了大型语言模型中道德基础的编码、组织和表达，通过多层方法分析道德基础与人类道德感知的一致性，并发现道德结构在预训练和微调过程中自然形成，且部分解耦。

PASC: Pipeline-Aware Conformal Prediction with Joint Coverage Guarantees for Multi-Stage NLP and LLM Pipelines

PASC：面向多阶段NLP和LLM流水线的管道感知置信区间

Varun Kotte

机构 * Independent Researcher（独立研究者） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 本文提出PASC，一种面向多阶段NLP和LLM流水线的管道感知置信区间方法，通过联合覆盖保证提升多阶段流水线的置信区间性能。

Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering

位置：在LLM中的不确定性量化仅仅是无监督聚类

Tiejin Chen, Longchao Da, Xiaoou Liu, Hua Wei

机构 * School of Computing（计算学院） ； Augmented Intelligence, Arizona State University（智能增强与亚利桑那州立大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文指出，当前LLM的不确定性量化方法本质上是无监督聚类算法，无法有效评估模型的外部正确性，导致无法检测出自信但错误的回答。文章提出了改进的不确定性量化方法，以确保模型的自信度能可靠地反映现实。

Comments Accepted by ICML 2026 Position Paper Track

UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

UCCI：用于成本最优LLM级联路由的校准不确定性

Varun Kotte

机构 * Independent Researcher（独立研究者） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 本文提出UCCI，一种以校准为核心的路由方法，通过异质回归将token层面的边际不确定性映射到查询级误差概率，并通过约束成本最小化选择升级阈值。在三个显式假设下，阈值策略在校准分数上是成本最优的，异质校准在期望校准误差（ECE）上实现O(n^{-1/3})的样本复杂度。在75000个生产命名实体识别工作负载上，UCCI将推理成本降低了31%（95%CI：[27%, 35%]），同时将ECE从0.12降低到0.03。

Comments 9 pages, 2 figures, 4 tables. Code: https://github.com/varunkotte6/ucci

DECOR: Auditing LLM Deception via Information Manipulation Theory

DECOR：通过信息操纵理论审计大语言模型的欺骗行为

Linyue Cai, Samuel Yeh, Jwala Dhamala, Rahul Gupta, Sharon Li

机构 * Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系） ； Amazon（亚马逊） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出DECOR框架，基于信息操纵理论，通过细粒度审计实现对大语言模型欺骗行为的有效检测，展示了其在单轮和多轮欺骗检测中的优越性能。

BalanceRAG: Joint Risk Calibration for Cascaded Retrieval-Augmented Generation

BalanceRAG: 为级联检索增强生成进行联合风险校准

Zijun Jia, Yuanchang Ye, Sen Jia, Yiyao Qian, Haoning Wang, Baojie Chen, Diyin Tang, Jinsong Yu, Zhiyuan Wang

机构 * Beihang University（北航） ； Shenzhen Institute of Advanced Technology（深圳先进技术研究院） ； Zhejiang University of Finance & Economics（浙江财经大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出BalanceRAG，一种用于级联检索增强生成的联合风险校准方法，通过在二维晶格上确定安全操作点，实现风险自适应的阈值校准，从而在控制系统级错误率的同时保留更多示例，并扩展到多风险校准。

ContextRAG: Extraction-Free Hierarchical Graph Construction for Retrieval-Augmented Generation

ContextRAG: 无提取的分层图构建用于检索增强生成

Roman Prosvirnin, Sergei Kuznetsov, Seungmin Jin

机构 * HSE University（俄罗斯高等经济大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ContextRAG，一种无需大型语言模型提取实体和关系的图检索增强生成系统，通过残差量化k均值和Formal Concept Analysis方法构建模糊概念图，在130个任务的UltraDomain子集中实现了33.6%的F1分数，显著优于传统方法。

Comments Preprint. 6 tables

Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing

最优表示尺寸：预训练和线性探测的高维分析

Valentina Njaradi, Clémentine Dominé, Rachel Swanson, Marco Mondelli, Andrew Saxe

机构 * Gatsby Computational Neuroscience Unit（Gatsby计算神经科学单元） ； University College London（伦敦大学学院） ； Institute of Science and Technology Austria（奥地利科学与技术研究所） ； Sainsbury Wellcome Centre（萨金斯-韦尔科姆中心） 纠错

专题命中 知识编辑与模型理解 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文研究了预训练和线性探测过程中的最优表示尺寸问题，通过高维分析揭示了表示维度、未标记和标记样本数量以及任务对齐性对训练和泛化误差的影响，提出了在不同预训练和下游数据条件下优化表示尺寸的条件。

Causal Evidence that Language Models use Confidence to Drive Behavior

语言模型使用置信度驱动行为的因果证据

Dharshan Kumaran, Nathaniel Daw, Simon Osindero, Petar Veličković, Viorica Patraucean

机构 * Google DeepMind（谷歌DeepMind） ； Princeton University（普林斯顿大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 研究探讨了语言模型是否利用置信度信号来控制行为，如决定回答或 abstain，通过四个阶段实验发现模型使用多维内部置信表示和阈值策略来实现 abstention，揭示了结构化的元认知控制机制。

Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models

自适应残差更新引导用于大型视觉语言模型中低开销幻觉抑制

Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

机构 * Aalto University, Espoo, Finland（艾尔沃大学，芬兰 Espoo） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China（深圳先进技术研究院，中国科学院，深圳） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出RUDDER框架，通过创建持久视觉锚点来对抗视觉稀释，利用模型的prefill残差更新提取鲁棒证据方向，并通过自适应门控机制注入解码过程，有效抑制幻觉并保持高吞吐量。

Comments Accepted by ICML 2026; Code available at: https://github.com/Akko000/RUDDER-Residual-Update-Directed-DEcoding-Regulation-

Mechanisms of Object Localization in Vision-Language Models

视觉-语言模型中物体定位的机制

Timothy Schaumlöffel, Martina G. Vilas, Gemma Roig

机构 * Goethe University Frankfurt, Germany（法兰克福歌德大学，德国） ； The Hessian Center for AI, Germany（黑森人工智能中心，德国） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)

AI总结 本文研究了视觉-语言模型中物体定位的核心机制，通过分析LLaVA-1.5和InternVL-3.5等模型，揭示了定位依赖于容器化机制，并发现只有少量注意力头参与分类和定位任务，为未来模型设计提供了指导。

Comments Accepted at CVPR 2026

Quantifying the Pre-training Dividend: Generative versus Latent Self-Supervised Learning for Time Series Foundation Models

量化预训练红利：生成与潜在自监督学习在时间序列基础模型中的应用

Noam Major, Kathy Razmadze, Yoli Shavit

机构 * Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title)；分类 cs.AI、cs.LG

AI总结 本文研究了自监督学习在时间序列中的应用，比较了生成范式与潜在对齐架构，发现预训练红利在异常检测和分类任务中显著提升，但在预测任务中效果有限，同时表明表示质量与数据来源无关，且在适度的架构深度下趋于稳定。

Concept-Guided Noisy Negative Suppression for Zero-Shot Classification and Grounding of Chest X-Ray Findings

基于概念的噪声负样本抑制用于零样本分类和胸片发现的 grounding

Chenyu Lian, Hong-Yu Zhou, Chun-Ka Wong, Jing Qin

机构 * The Center for Smart Health, School of Nursing, the Hong Kong Polytechnic University, Hong Kong, China（香港理工大学智能健康中心，护理学院，中国香港） ； Research Institute for Smart Ageing, the Hong Kong Polytechnic University, Hong Kong, China（香港理工大学智能老龄化研究 institute，中国香港） ； School of Biomedical Engineering, Tsinghua Medicine, Tsinghua University, Beijing, China（清华大学生物医学工程学院，清华大学，北京，中国） ； Queen Mary Hospital, LKS Faculty of Medicine, The University of Hong Kong, Hong Kong, China（香港大学李嘉诚医学院Queen Mary医院，中国香港） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于概念的噪声负样本抑制框架CoNNS，通过构建层次化概念本体，解决不同患者间相似发现导致的噪声负样本问题，提升零样本理解任务的性能。

Comments Early accepted by MICCAI 2026

HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing

HoReN：用于大规模序列模型编辑的归一化Hopfield检索

Yuan Fang, Yi Xie, Xuming Ran

机构 * IXL Learning, Inc（IXL学习公司） ； Technical University of Munich（慕尼黑技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出HoReN，一种基于代码本的参数保持编辑器，通过在单个MLP层中引入离散键值记忆，实现了在大规模序列模型编辑中的高效检索和更新，同时在多种基准测试中表现出色。

Comments 30 pages, 10 figures

TrajTok: Adaptive Spatial Tokenization for Trajectory Representation Learning

TrajTok: 用于轨迹表示学习的自适应空间令牌化

Zhen Xiong, Shang-Ling Hsu, Cyrus Shahabi

机构 * University of Southern California（南加州大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出TrajTok，一种通过自适应空间令牌化学习通用轨迹表示的方法，通过多分辨率六边形网格划分和预训练策略，实现了在轨迹相似性搜索、分类、预计到达时间和旅行时间回归等任务上的优异表现。

Silent Collapse in Recursive Learning Systems

递归学习系统中的沉默崩溃

Zhipeng Zhang

机构 * China Mobile Research Institute（中国移动研究院） ； China Mobile GBA (Greater Bay Area) Innovation Institute（中国移动大湾区创新研究院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了递归学习系统中模型内部分布逐渐退化的现象，提出MTR框架通过监测轨迹统计量和调整学习强度来提前预警并防止沉默崩溃。

Feature-Space Smoothing: Certified Robustness of Deep Representations

特征空间平滑：深度表示的认证鲁棒性

Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（快速-丰富目标搜索实验室，电气电子工程学院，南洋理工大学，新加坡） ； Pengcheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种特征空间平滑（FS）框架，通过在特征表示层面提供认证鲁棒性，以解决深度学习模型对恶意输入的脆弱性问题，核心方法是通过特征平滑保证清洁和对抗特征之间的余弦相似度下界，并引入高斯平滑增强器（GSB）提升编码器的高斯鲁棒性得分，从而提升模型的鲁棒性并保持下游任务性能。

Comments Under review

Causal Evidence for Attention Head Imbalance in Modality Conflict Hallucination

因果证据：模态冲突幻觉中的注意力头不平衡

Jinrui Jiang, Zhangtai Wu, Zhen Wu, Xinyu Dai

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Artificial Intelligence（人工智能学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了多模态大语言模型在模态冲突中产生幻觉的原因，通过分析注意力头的因果作用，发现驱动幻觉的头部分布更广且权重更大，而抑制幻觉的头部集中在少量重要头部，提出MACI方法在减少幻觉的同时保持准确性。

From Refusal to Recovery: A Control-Theoretic Approach to Generative AI Guardrails

从拒绝到恢复：一种生成AI防护机制的控制论方法

Ravi Pandya, Madison Bland, Duy P. Nguyen, Changliu Liu, Jaime Fernández Fisac, Andrea Bajcsy

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系） ； Equal Advising（平等指导） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出了一种基于控制论的生成AI防护机制，通过实时监控和主动纠正高风险输出，提供了一种动态替代传统标志和阻断方法的解决方案。

Journal ref Second International Association on Safe and Ethical AI Conference (IASEAI 2026)

How do LLMs Compute Verbal Confidence

LLMs如何计算言语自信

Dharshan Kumaran, Arthur Conmy, Federico Barbero, Simon Osindero, Viorica Patraucean, Petar Veličković

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 知识编辑与模型理解 ：prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了大型语言模型如何内部生成言语自信评分，通过实验发现自信评分在回答生成后被缓存并用于后续输出，揭示了模型自我评估的机制。

Toward Robust GraphRAG: Mitigating Retrieval Drift and Hallucination from Imperfect Knowledge Graphs

迈向稳健的GraphRAG：减轻不完美知识图谱中的检索漂移和幻觉

Yizhuo Ma, Jinchuan Xu, Tao Wen, Qizhi Chen, Jiakai Li, Rongzheng Wang, Muquan Li, Shuang Liang, Ke Qin

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)

AI总结 本文针对GraphRAG中因知识图谱不完美导致的检索漂移和幻觉问题，提出CS-RAG框架，通过精细化检索和充分性检查来减少不准确的证据延续。

Fast and Lightweight Backdoor Detection via Head Random Probing

通过头部随机探测实现快速且轻量的后门检测

Yinbo Yu, Xueyu Yin, Jing Fang, Chunwei Tian, Qi Zhu, Jiajia Liu, Daoqiang Zhang

机构 * College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院） ； School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络安全学院） ； Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院） ； School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） 纠错

专题命中 知识编辑与模型理解 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出HTell，一种基于头部随机探测的快速且轻量的数据无关后门检测器，通过分析模型预测头部在随机潜在探测下的响应统计，实现高效准确的后门检测。

VCR: Learning Valid Contextual Representation for Incomplete Wearable Signals

VCR：学习不完整可穿戴信号的有效上下文表示

Yuxuan Weng, Wenhan Luo, Qijia Shao

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 知识编辑与模型理解 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出VCR框架，通过学习鲁棒于模态缺失的表示，解决可穿戴信号不完整问题，提升在多种健康监测任务中的性能和鲁棒性。

KappaPlace: Learning Hyperspherical Uncertainty for Visual Place Recognition via Prototype-Anchored Supervision

KappaPlace: 通过原型锚定监督学习超球面不确定性用于视觉位置识别

Maya Yanko, Yoli Shavit

机构 * Faculty of Engineering Bar-Ilan University（工程学院巴伊兰大学） 纠错

专题命中 知识编辑与模型理解 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出KappaPlace，一种学习具有不确定性的视觉位置识别表示的框架，通过原型锚定监督策略利用潜在类别代表作为概率目标，以减轻视觉位置识别中不确定性估计不准确的问题，从而提高导航系统的可靠性。

What Makes a Representation Good for Single-Cell Perturbation Prediction?

什么使一个表示对单细胞扰动预测有效？

Wenkang Jiang, Yuhang Liu, Yichao Cai, Erdun Gao, Jiayi Dong, Ehsan Abbasnejad, Lina Yao, Javen Qinfeng Shi

机构 * Australian Institute for Machine Learning（澳大利亚机器学习研究院） ； Responsible AI Research Centre（负责任人工智能研究中心） ； College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） ； Department of Data Science and AI（数据科学与人工智能部门） ； School of Computer Science and Engineering（计算机科学与工程学院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出PerturbedVAE框架，通过分离扰动特定信息和主导不变结构，恢复因果表示以有效利用此类信息进行预测，并通过可识别性分析明确在特定条件下如何具体指定框架。

Comments Accepted to ICML 2026

EnsemHalDet: Robust VLM Hallucination Detection via Ensemble of Internal State Detectors

EnsemHalDet: 通过内部状态检测器的集成实现鲁棒的视觉语言模型幻觉检测

Ryuhei Miyazato, Shunsuke Kitada, Kei Harada

机构 * The University of Electro-Communications（电通大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL

AI总结 本文提出EnsemHalDet，一种通过集成多个内部表示的视觉语言模型幻觉检测框架，以提高多模态幻觉检测的鲁棒性。

Locate-then-Sparsify: Attribution Guided Sparse Strategy for Visual Hallucination Mitigation

定位后再稀疏化：基于归因的视觉幻觉缓解稀疏策略

Tiantian Dang, Chao Bi, Shufan Shen, Jinzhe Liu, Qingming Huang, Shuhui Wang

机构 * State Key Lab. of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全国家重点实验室，计算技术研究所） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.LG

AI总结 本文提出了一种名为Locate-Then-Sparsify for Feature Steering (LTS-FS)的框架，通过定位和稀疏化策略，根据每层与幻觉的相关性调整特征引导强度，从而有效缓解视觉语言模型中的幻觉问题，同时保持良好的性能。

Comments Accepted by CVPR 2026

SetCon: Towards Open-Ended Referring Segmentation via Set-Level Concept Prediction

SetCon: 通过集级概念预测实现开放式的指称分割

Zhixiong Zhang, Yizhuo Li, Shuangrui Ding, Yuhang Zang, Shengyuan Ding, Long Xing, Yibin Wang, Qiaosheng Zhang, Jiaqi Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)

AI总结 本文提出SetCon，通过集级概念预测实现开放式的指称分割，利用LVLM生成的自然语言概念作为语义条件进行联合掩码-集解码，提高了分割的完整性和互斥性。

Trust It or Not: Evidential Uncertainty for Feed-Forward 3D Reconstruction with Trust3R

信任它还是不信任它：基于信任3R的证据不确定性用于前馈3D重建

Zihao Zhu, Wenyuan Zhao, Nuo Chen, Chao Tian, Zhiwen Fan

机构 * Department of Electrical and Computer Engineering, Texas A\&M University, College Station, TX, USA（电子与计算机工程系，德克萨斯农工大学，学院站，德克萨斯州，美国） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)

AI总结 本文提出Trust3R，一种轻量级的证据不确定性框架，用于前馈3D重建，通过结合门控残差均值细化和正态-逆 Wishart 证据头，生成点云不确定性估计，提升几何重建的准确性和可靠性。

Comments Accepted at ICML 2026. 10 pages main paper, with appendix