语言大模型 / LLM

Evaluating LLM Uncertainty in Long-Form Generation Using Deterministic Ground Truth

使用确定性真实数据评估长文本生成中语言模型的不确定性

Ido Amit, Ido Galil, Ran El-Yaniv

机构 * Technion（技术学院） ； Nvidia（英伟达） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对长文本生成中语言模型不确定性评估难题，引入含单一确定性长文本真值的SALT基准，通过对50多个模型分析揭示关键见解，如置信函数作用、错误驱动因素及推理影响等，为风险关键应用提供参考。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026). Code available at https://github.com/IdoAmit198/SALT

The Anatomy of Uncertainty in LLMs

大语言模型中不确定性的解剖结构

Aditya Taparia, Ransalu Senanayake, Kowshik Thopalli, Vivek Narayanaswamy

机构 * School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种将大语言模型不确定性分解为输入模糊性、知识缺口和解码随机性的框架，通过实验展示不同模型规模和任务中各组件的重要性，以提升模型可靠性与可信度。

Comments Accepted at the ICBINB Workshop, ICLR 2026

Pathways of Visual Information Flow in Vision-Language Models

视觉语言模型中的视觉信息流路径

Israfel Salazar, Stella Frank, Dan Oneata, Desmond Elliott, Constanza Fierro

机构 * University of Copenhagen（哥本哈根大学） ； Technical University of Denmark（丹麦技术大学） ； POLITEHNICA Bucharest（布加勒斯特理工大学） ； Bitdefender, Romania（罗马尼亚比特梵德公司） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究视觉语言模型中视觉信息的路由，用因果补丁法发现其依赖直接和文本介导两条路径，路径选择与任务、数据分布和提示设计有关，且路径具灵活性。

TORINO: Token Reduction via Interpretable Concept Overlap in Vision-Language Models

TORINO：通过视觉语言模型中可解释的概念重叠进行令牌减少

Riccardo Renzulli, Gabriele Spadaro, Shruthi Gowda, Alaa Eddine Mazouz, Van-Tam Nguyen

机构 * University of Turin, Italy（意大利都灵大学） ； Eindhoven University of Technology, The Netherlands（荷兰埃因霍温理工大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 研究视觉语言模型计算成本高问题，提出TORINO框架，利用稀疏自动编码器将视觉令牌投影到可解释潜在空间，通过概念重叠分组并减少令牌，兼顾效率与准确性。

SeeMe: Mitigating Hallucinations in Large Vision-Language Models through Effective Visual Token Engineering

SeeMe：通过有效的视觉令牌工程减轻大型视觉语言模型中的幻觉

Kai Tang, Jinhao You, Bohua Zhang, Yichen Guo, Yiding Sun, Dongxu Zhang, Chenxi Li, Xiande Huang, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机科学学院多媒体信息处理国家重点实验室） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； De Artificial Intelligence Lab（德人工智能实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 研究大型视觉语言模型易产生幻觉问题，提出无训练框架SeeMe，引入传统机器学习特征工程概念，经三阶段令牌工程重组视觉令牌抑制幻觉源，实验证明其能减轻幻觉并提高输出一致性。

Comments 12 pages, 4 figures, 6 tables

From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control

从判决到问题：具有引用幻觉控制的法律推理结构化提取

Giovanni Piccioli, Alessia Fidelangeli, Piera Santin, Pierpaolo Vivo

机构 * Quantitative and Digital Law Laboratory（量化与数字法律实验室） ； CIRSFID - Alma AI, Faculty of Law University of Bologna（CIRSFID - 阿尔玛AI，博洛尼亚大学法学院） ； Robert Schuman Centre European University Institute（罗伯特·施曼中心欧洲大学研究所） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出自动化流程，将意大利税务法庭判决分解为法律问题，基于IRAC框架和法律三段论提取结构化XML表示，用通用模型并结合幻觉检测过滤器处理大量判决，经专家验证，为下游应用提供起点。

Comments 33 pages, 2 figures

Cultural Binding Heads in Language Models

语言模型中的文化绑定头

Avrile Floro, Luca Benedetto

机构 * Mistral-7B ； Mistral-Nemo-12B ； Llama-3.1-8B ； Gemma-2-9B 纠错

专题命中 知识编辑与模型理解 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过机制可解释性和析因设计，识别出8个语言模型中2-3个中间层注意力头对文化绑定有因果贡献，且绑定主要在预训练阶段形成，知识探测表明模型知道的知识远多于其行为表现。

AgentFoX: LLM Agent-Guided Fusion with eXplainability for AI-Generated Image Detection

AgentFoX: 基于可解释性的大语言模型引导融合的AI生成图像检测

Yangxin Yu, Yue Zhou, Bin Li, Kaiqing Lin, Haodong Li, Jiangqun Ni, Bo Cao

机构 * Guangdong Provincial Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室） ； Shenzhen Key Laboratory of Media Security（深圳媒体安全重点实验室） ； SZU-AFS Joint Innovation Center for AI Technology（深圳大学-AFS人工智能技术联合创新中心） ； Shenzhen University（深圳大学） ； School of Cyber Science and Technology（网络安全科学与技术学院） ； The Smart City Research Institute of China Electronics Technology Group Corporation（中国电子科技集团有限公司智慧城市研究院） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)

AI总结 AgentFoX通过多阶段分析流程提升AI生成图像检测的可靠性，结合专家和上下文聚类资料，生成可读性强的报告以增强可解释性与可信度。

How Much is Left? LLMs Linearly Encode Their Remaining Output Length

还剩多少？大语言模型对其剩余输出长度进行线性编码

Mohamed Amine Merzouk, Dmitri Carpov, Mirko Bronzi, Damiano Fornasiere, Adam Oberman

机构 * Mila, Quebec AI Institute（米拉，魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； LawZero（法律零） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究探究大语言模型是否保有剩余输出长度的内部估计，通过在冻结隐藏状态上训练线性探针，证实LLMs可线性编码剩余输出长度，存在类计划的输出长度内部表征。

Comments 21 pages, 9 figures

Probing Geospatial SSL Representations with Environmental Signals

利用环境信号探测地理空间自监督学习表示

Rohita Mocharla, Vishal M. Patel

机构 * Johns Hopkins Applied Physics Laboratory（约翰·霍普金斯大学应用物理实验室） ； Johns Hopkins University（约翰·霍普金斯大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 针对地理空间自监督学习表示内在信息分析不足问题，用匹配的ERA5环境变量探测其对环境信号的编码能力，发现相关指标可区分下游性能相近模型，还开源了配套标注数据集。

Unsupervised Features Mining via Activation Geometry

通过激活几何进行无监督特征挖掘

Amit LeVi, Elad David, Max Fomin

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 介绍通过激活几何挖掘（MAG）的无监督框架，在输入前加指令Q，用m(Q∣p)-m(p)衡量其对模型内部表征的影响，探索多种MAG，所提取特征可预测模型理解与判断，还用于选择最佳训练数据集。

Journal ref ICML 2026, workshop on Failure Modes in Agentic AI (FAGEN)

Attending to Multimodal Generation One Token at a Time

一次关注一个令牌的多模态生成

Varun Gupta, Vineet Gandhi, Makarand Tapaswi

机构 * CVIT, IIIT Hyderabad（海得拉巴国际信息技术研究所计算机视觉与信息处理中心） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型生成时令牌级动态，按语义角色跟踪注意力转移。引入多模态任务，通过因果注意力阻断干预等方法，发现一致模式并据此提出测试时干预，提升多模态任务性能。

Learning Taxonomic Trees with Hierarchical Representation Regularization for Large Multimodal Models

使用层次表示正则化学习大型多模态模型的分类树

Hulingxiao He, Zhi Tan, Yuxin Peng

机构 * PKU-ICST-MIPL（北京大学信息科学技术学院多媒体信息处理实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大型多模态模型缺乏分类知识致层次视觉识别一致性低的问题，提出层次表示正则化方法，含语义感知视觉树构建框架，结合两个互补目标，有效捕捉分类结构。

Comments Published as a conference paper at ICML 2026

They Infer What You Meant: Models Represent Communicative Intent More Reliably Than They Act On It

他们推断你的意图：模型对交际意图的表征比其实际行动更可靠

Alex Kwon

机构 * Independent Researcher（独立研究者） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究语言模型常按信息表面而非发送者意图回复的问题，用线性探针从模型隐藏状态解码意图，表明表征可靠但读出存在问题，还找到因果处理方向可恢复预期行为。

Comments 17 pages, 3 figures

Individual Parameters in Weight-Sparse Transformers Appear Interpretable

权重稀疏变压器中的单个参数似乎具有可解释性

Arnau Marin-Llobet, Stefan Heimersheim

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究单个权重能否在整个训练分布中全局理解，引入自动语言模型管道描述权重何时重要并验证，发现稀疏变压器中可解释权重比例更高。

Comments 20 pages, 19 figures, 3 tables. Project website: https://weightpedia.org/individual-parameters-in-sparse-transformers/

Knowledge Knows, Verbalization Tells: Disentangling Latent Directions for Mathematical Solvability in LLMs

知识所知，语言所表：解开大语言模型中数学可解性的潜在方向

Nikolaos Xiros, Maria-Eleni Zoumpoulidi, Georgios Paraskevopoulos

机构 * Institute for Language and Speech Processing, Athena Research Center（语言与语音处理研究所，雅典娜研究中心） 纠错

专题命中 知识编辑与模型理解 ：prompting(abstract)；分类 cs.CL、cs.LG

AI总结 研究大语言模型数学推理中数学问题可解性判定难题，通过分别探究可解性知识与语言表达的表征，揭示二者在模型隐藏状态中可分离，还表明提示不可解线索等可减少编造，操纵表征能改善模型弃权。

Comments 14 pages, 9 Figures

Differentiate the Evaluator, Not the Program: An Efficient Runtime Representation for Neuro-Symbolic Learning

区分评估器，而非程序：神经符号学习的高效运行时表示

Lucas Sheneman

机构 * Institute for Interdisciplinary Data Sciences（交叉学科数据科学研究所） ； University of Idaho（爱达荷大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究神经符号学习中程序与参数协同搜索瓶颈，提出原生可微虚拟机（NDVM），将符号结构与可微数值状态分离，实现运行时差异化，提升搜索效率。

Probing Low-Level Acoustic Attribute Encoding in CLAP Audio Embeddings

探测CLAP音频嵌入中的低层声学属性编码

Héctor Martel, Joe Hennessy-Priest, Taemin Cho

机构 * BandLab Technologies（BandLab技术公司） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI

AI总结 该研究通过探测框架分析CLAP音频嵌入，探究混响、响度等三类基础声学属性的编码方式，发现多数属性可恢复，存在线性与非线性两种编码模式，还验证了跨模态一致性。

Comments Accepted to DAFx 2026

RustMizan: A Compilable, Contamination-Aware Benchmarking Framework for Rust Vulnerabilities

RustMizan：用于Rust漏洞的可编译、污染感知基准测试框架

Tarek Elsayed, Shiping Yang, Eunsong Koh, Sanika Goyal, Vincent Huang, Paul Ngo, Nathan Young, Mohammad Omidvar Tehrani, Alvyn Kang, Arnell Kang, Zeyu Chen, Angélica Moreira, Xuan Feng, Angel X. Chang, Nick Sumner, Steven Y. Ko

机构 * Simon Fraser University（西蒙弗雷泽大学） ； Trinity University（特里尼蒂大学） ； Microsoft Research（微软研究院） ； Amii（阿米国际） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI

AI总结 针对现有Rust漏洞分析基准不足，介绍RustMizan框架，含可编译代码变体及注释，用配对突变框架测试，给出不同模型在该框架下的测试结果。

Comments 36 pages, 7 figures

Full Glyph Images Beat Token Embeddings: A Controlled Study for Transformers

完整字形图像胜过词元嵌入：Transformer的对照研究

Shuyang Xiang, Hao Guan

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI

AI总结 挑战用离散词元嵌入表示文本，用字符序列光栅化图像经视觉编码器处理替代，构建双分支框架对比，发现基于视觉模型性能优于基线，揭示优势条件及跨脚本差异。

MANCE: Manifold Aware Concept Erasure

MANCE：流形感知概念擦除

Matan Avitan, Yoav Goldberg, Yanai Elazar

机构 * Bar-Ilan University（巴伊兰大学） ； Allen Institute for Artificial Intelligence（艾伦人工智能研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.LG

AI总结 提出流形约束假设，在新概念擦除方法MANCE中实例化，利用分类器信号迭代更新表示，投影概念移除更新到估计流形，经多设置评估，其改进泄漏结果，MANCE+和MANCE++有更好权衡，MANCE++达非线性概念擦除最优。

CDCP: Conditional Diffusion Model with Contextual Prompts for Multi-task Offline Safe Reinforcement Learning

CDCP：用于多任务离线安全强化学习的带上下文提示的条件扩散模型

Jiayi Guan, Tianle Zhang, Li Shen, Ruiqi Zhang, Ao Zhou, Lusong Li, Guai Chen, Mengjie Li, Alois Knoll, Xiaodong He, Changjun Jiang

机构 * Tongji University（同济大学） ； JD Explore Academy（京东探索研究院） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络科学与技术学院） ； Berkeley AI Research Lab, University of California, Berkeley（加州大学伯克利分校伯克利人工智能研究实验室） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 知识编辑与模型理解 ：prompting(abstract)；分类 cs.LG

AI总结 针对多任务离线安全强化学习面临的挑战，提出CDCP模型。通过重新审视需求建立目标，用扩散模型转化问题，设计策略并引入新方法，提升性能与安全性，提供灵活成本约束解决方案。

CoGen3D: An Agentic Human-AI Co-Design Pipeline for 3D Asset Generation for Virtual Reality

CoGen3D：用于虚拟现实3D资产生成的智能人机协同设计管道

Weiwei Jiang, Wanyu He, Zheyu Tan, Zheyuan Kuang, Difeng Yu, Shinobu Hasegawa, Sven Mayer, Zhanna Sarsenbayeva

机构 * Nanjing University of Information Science and Technology（南京信息工程大学） ； Japan Advanced Institute of Science and Technology（日本科学技术大学） ； The University of Sydney（悉尼大学） ； University of Copenhagen（哥本哈根大学） ； TU Dortmund University（多特蒙德技术大学） ； Research Center Trustworthy Data Science and Security（可信数据科学与安全研究中心） 纠错

专题命中 知识编辑与模型理解 ：prompting(abstract)；分类 cs.AI

AI总结 研究针对虚拟现实3D资产创作需建模专业知识的问题，引入CoGen3D智能人机协同设计管道，经用户研究评估，发现其可促进创作、改变情感反应，推动创作从技术执行转向协作空间设计。

Ask the World Before Acting: Environment Probing for Calibrated Agent World Models

行动前先询问世界：预算受限的环境探测用于世界模型校准

Xinyuan Song, Zekun Cai

机构 * Emory University（埃默里大学） ； The University of Tokyo（东京大学） ； LocationMind 纠错

专题命中 知识编辑与模型理解 ：language agent(abstract)；分类 cs.AI

AI总结 提出预算受限的环境探测算子，通过结构化信念表在行动前校准世界模型，减少长期任务中的终端误差。

Comments Under Review

GlaBoost: A Multimodal Structured Framework for Glaucoma Risk Stratification

GlaBoost：用于青光眼风险分层的多模态结构化框架

Cheng Huang, Zeyu Han, Weizheng Xie, Karanjit Kooner, Tsengdar Lee, Jui-Kai Wang, Jia Zhang

机构 * Department of Computer Science, Southern Methodist University（计算机科学系，南方 Methodist 大学） ； Department of Ophthalmology, UT Southwestern Medical Center（眼科学系，UT 南方医学中心） ； High Performance Computing Program, National Aeronautics and Space Administration（高性能计算计划，国家航空航天局） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.LG

AI总结 研究针对青光眼检测，提出多模态梯度提升框架GlaBoost，统一眼底图像嵌入、文本评估及生物标志物三信号预测风险，融合后用增强XGBoost分类，性能超基线且可解释。

Comments Accepted by IEEE 48th EMBC (2026)

Explainable Concept Generation through Vision-Language Preference Learning for Understanding Neural Networks' Internal Representations

通过视觉-语言偏好学习实现可解释的概念生成以理解神经网络的内部表示

Aditya Taparia, Som Sagar, Ransalu Senanayake

专题命中 知识编辑与模型理解 ：preference optimization(abstract)；分类 cs.LG

AI总结 本文提出通过视觉-语言偏好学习生成概念图像集，解决传统方法需手动收集概念图像集的不足，提高神经网络内部表示理解的效率和可靠性。

Comments 28 pages, 31 figures

Journal ref Proceedings of the 42nd International Conference on Machine Learning (ICML 2025), PMLR 267:59154-59181, 2025

PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Space

PixWorld：在像素空间中统一3D场景生成与重建

Sensen Gao, Zhaoqing Wang, Qihang Cao, Dongdong Yu, Changhu Wang, Jia-Wang Bian

机构 * Nanyang Technological University（南洋理工大学） ； AISphere（人工智能领域） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)

AI总结 针对3D场景生成与重建原有范式存在信息损失等缺陷，提出像素空间统一扩散框架PixWorld，引入几何感知损失，无需预训练自编码器，性能优于现有方法。

Comments Project page: https://sensengao.github.io/PixWorld/

TGRIP: A Text-Guided Approach to Vehicle Instance Prediction in Autonomous Driving

TGRIP：一种用于自动驾驶中车辆实例预测的文本引导方法

Miguel Antunes-García, Santiago Montiel-Marín, Fabio Sánchez-García, Rodrigo Gutiérrez-Moreno, Rafael Barea, Luis M. Bergasa

机构 * Electronics Department, University of Alcalá (UAH)（阿尔卡拉大学（UAH）电子系） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)

AI总结 研究自动驾驶中鸟瞰图实例预测问题，提出TGRIP框架，利用视觉语言基础模型生成语义增强地图作辅助监督，使网络学习时空表征，提升预测能力。

Comments 11 pages, 5 figures

Probe-EM: Targeted Neuron Tracing via Training-Free Semantic Verification

Probe-EM：通过无训练语义验证进行靶向神经元追踪

Liuyun Jiang, Yanchao Zhang, Jinyue Guo, Chuanyue Chen, Haiyang Yan, Ye Yuan, Jing Liu, Hua Han

机构 * State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化所脑认知与脑机智能技术重点实验室） ； School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学高等研究院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)

AI总结 为解决自动重建算法过分割瓶颈及传统追踪方法问题，提出无训练靶向神经元追踪框架，利用几何先验和新策略迭代重建神经元形态，集成到平台减少人工校对时间。

Comments Accepted at MICCAI 2026

Robustness of quantized Hall resistivity under cavity coupling at zero temperature

零温下腔耦合时量子化霍尔电阻率的鲁棒性

Juan Román-Roche, Jie Wang, Michael Ruggenthaler, Angel Rubio, Vasil Rokaj

专题命中 知识编辑与模型理解 ：prompting(abstract)

AI总结 研究电磁腔强光-物质耦合对量子霍尔系统输运性质的影响，通过现象学模型揭示强光-物质相互作用下量子霍尔系统电导率和电阻率的不对称性及零温时霍尔电阻率的特性。