语言大模型 / LLM

Automated Attention Pattern Discovery at Scale in Large Language Models

在大规模大型语言模型中实现自动化注意力模式发现

Jonathan Katzy, Razvan-Mihai Popescu, Erik Mekkes, Arie van Deursen, Maliheh Izadi

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过分析Java代码数据集中的完成场景，提出了一种在大规模大型语言模型中发现重复行为的方法，展示了注意力模式作为可扩展解释信号的潜力，并引入了AP-MAE模型以高效重建掩码注意力模式。

Comments Accepted to TMLR

Journal ref Transactions on Machine Learning Research 2026

Hallucination Basins: A Dynamic Framework for Understanding and Controlling LLM Hallucinations

幻觉盆地：一种动态框架用于理解和控制LLM幻觉

Kalyan Cherukuri, Lav R. Varshney

机构 * Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院） ； AI Innovation Institute, Stony Brook University（石溪大学人工智能创新研究所） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出几何动态系统框架，通过分析潜在空间中的盆地结构来理解LLM幻觉现象，发现任务依赖性显著影响分离性，并通过任务复杂度和多盆地定理展示几何感知引导可降低幻觉概率。

Revisiting Multimodal Positional Encoding in Vision-Language Models

重新审视视觉-语言模型中的多模态位置编码

Jie Huang, Xuejing Liu, Sibo Song, Ruibing Hou, Hong Chang, Junyang Lin, Shuai Bai

机构 * Qwen Team, Alibaba Group（Qwen团队，阿里巴巴集团） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；LLM(abstract)

AI总结 本文分析了多模态Rotary Positional Embedding的核心组件，提出MHRoPE和MRoPE-Interleave两种改进方法，在多种基准测试中表现优异，提升了多模态理解能力。

Comments 16 pages

Focus Matters: Phase-Aware Suppression for Hallucination in Vision-Language Models

重点至关重要：面向视觉语言模型中幻觉的相位感知抑制

Sohyeon Kim, Sang Yeon Yoon, Kyeongbo Kong

机构 * Pusan National University（釜山大学） ； Pukyong National University（釜庆大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种轻量级干预方法，在视觉编码器的聚焦阶段选择性抑制低关注的token，通过单次前向传递统计信息和DPP保留多样视觉线索，减少幻觉的同时保持caption质量，且推理延迟低。

Measuring Uncertainty in Transformer Circuits with Effective Information Consistency

通过有效信息一致性测量变换器电路中的不确定性

Anatoly A. Krasnovsky

机构 * Innopolis University（因诺波利斯大学） ； MB3R Lab（MB3R实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出有效信息一致性评分，通过局部雅可比矩阵和激活值计算规范化sheaf不一致性，并结合高斯EI代理评估电路层面因果涌现，以量化变换器电路行为的一致性与可信度。

Journal ref Automatic Documentation and Mathematical Linguistics 59 (Suppl 5), S423-S429 (2025)

Optimizing Service Operations via LLM-Powered Multi-Agent Simulation

通过LLM赋能的多智能体仿真优化服务运营

Yanyuan Wang, Xiaowei Zhang

机构 * Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出基于LLM的多智能体仿真框架，通过建模决策依赖的不确定性，优化服务运营的稳态性能，实验证明其在可持续供应链中的优越性。

When Adaptive Rewards Hurt: Causal Probing and the Switching-Stability Dilemma in LLM-Guided LEO Satellite Scheduling

当自适应奖励有害：因果探测与在LLM引导的LEO卫星调度中的切换-稳定性困境

Yuanhang Li

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文研究了在多波束LEO卫星调度中使用自适应奖励设计的挑战，发现固定奖励权重在PPO收敛中表现更优，通过因果探测方法揭示了特定权重的重要性，展示了LLM在通信系统中的应用价值。

Comments 8 pages, 3 figures

Evolutionary Search for Automated Design of Uncertainty Quantification Methods

为不确定性量化方法的自动化设计应用进化搜索

Mikhail Seleznyov, Daniil Korbut, Viktor Moskvoretskii, Oleg Somov, Alexander Panchenko, Elena Tutubalina

机构 * AIRI ； Skoltech（斯科尔科沃科学技术学院） ； Amazon（亚马逊） ； EPFL（瑞士联邦理工学院洛桑） ； MIPT（莫斯科物理技术学院） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过LLM驱动的进化搜索自动发现无监督的不确定性量化方法，其在原子声明验证任务中优于手动设计的基线方法，且在分布外泛化方面表现稳健。

ZINA: Multimodal Fine-grained Hallucination Detection and Editing

ZINA：多模态细粒度幻觉检测与编辑

Yuiga Wada, Kazuki Matsuda, Komei Sugiura, Graham Neubig

机构 * Keio AI Research Center（庆应义塾大学人工智能研究中心） ； Keio University（庆应义塾大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ZINA方法，用于多模态大语言模型的细粒度幻觉检测与编辑，通过构建VisionHall数据集验证了其在检测和编辑任务中的优越性。

Comments CVPR 2026 Main Conference

Comparative reversal learning reveals rigid adaptation in LLMs under non-stationary uncertainty

比较性反向学习揭示在非平稳不确定性下LLMs的刚性适应

Haomiaomiao Wang, Tomás E Ward, Lili Zhang

机构 * Insight Research Ireland Centre for Data Analytics, Ireland（爱尔兰洞察研究中心） ； School of Computing, Dublin City University, Ireland（都柏林城市大学计算机学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究通过比较确定性固定转移循环与随机性随机调度，探讨LLMs在非平稳环境下的适应性，发现DeepSeek-V3.2表现出极端的固着现象，而Gemini-3和GPT-5.2适应更快但仍不如人类敏感。

Comments 14 pages, 2 figures, accepted by IPMU 2026, SS04: Explainable AI and Decision-Making Under Uncertainty: Bridging Interpretability and Robustness

Similarity Field Theory: A Mathematical Framework for Intelligence

相似性场理论：智能的数学框架

Kei-Sing Ng

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出相似性场理论，通过定义相似性场、系统演化和生成算子，将智能定义为生成新实体的算子，并将其视为几何问题而非统计问题。

Representation learning to advance multi-institutional studies with electronic health record data from US and France

利用表示学习推动多机构研究的电子健康记录数据：来自美国和法国的数据

Doudou Zhou, Han Tong, Linshanshan Wang, Suqi Liu, Xin Xiong, Ziming Gan, Romain Griffier, Boris Hejblum, Yun-Chung Liu, Chuan Hong, Clara-Lea Bonzel, Tianrun Cai, Kevin Pan, Yuk-Lam Ho, Lauren Costa, Vidul A. Panickan, J. Michael Gaziano, Kenneth Mandl, Vianney Jouhet, Rodolphe Thiebaut, Zongqi Xia, Kelly Cho, Katherine Liao, Tianxi Cai

机构 * Department of Statistics and Data Science, National University of Singapore（新加坡国立大学统计与数据科学系） ； Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院） ； Department of Statistics, Columbia University（哥伦比亚大学统计系） ； Harvard Medical School（哈佛医学院） ； Department of Statistics, University of Chicago（芝加哥大学统计系） ； Univ. Bordeaux, INSERM, Bordeaux Population Health Research Center（波尔多大学，法国国家健康与医学研究院，波尔多人口健康研究中心） ； CHU de Bordeaux, Service d’Information Médicale（波尔多大学医院医学信息部） ； Inria SISTM Team（法国国家信息与自动化研究所SISTM团队） ； Duke University（杜克大学） ； VA Boston Healthcare System（VA波士顿医疗系统） ； Brigham and Women’s Hospital（布里格姆妇女医院） ； Brown University（布朗大学） ； Computational Health Informatics Program, Boston Children’s Hospital（波士顿儿童医院计算健康信息学项目） ； Department of Neurology, University of Pittsburgh（匹兹堡大学神经病学系） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出基于图的框架，通过学习共享语义空间解决多机构电子健康记录数据表示不一致问题，提升跨机构临床模型训练与部署的鲁棒性。

Ensemble-Based Uncertainty Estimation for Code Correctness Estimation

基于集成的代码正确性估计不确定性估计

Yunxiang Wei, Tianlin Li, Yuwei Zheng, Yanni Dong, Aishan Liu, Qiang Hu, Xiaoyu Zhang, Mingfei Cheng, Jian Yang

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)

AI总结 本文提出ESE方法，通过评估多模型集成样本的一致性来估计不确定性，实验表明其在代码正确性评估中表现更优，并提出Cas框架提升效率。

IDIOLEX: Unified and Continuous Representations for Idiolectal and Stylistic Variation

IDIOLEX：统一且连续的语用与风格变异表示

Anjali Kantharuban, Aarohi Srivastava, Fahim Faisal, Orevaoghene Ahia, Antonios Anastasopoulos, David Chiang, Yulia Tsvetkov, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Notre Dame（圣母大学） ； George Mason University（乔治梅森大学） ； University of Washington（华盛顿大学） ； Archimedes Research Unit（阿基米德研究单元） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL

AI总结 本文提出IDIOLEX框架，通过结合句子来源信息与语言特征，学习连续的风格和方言表示，用于分析和分类，并用于对齐语言模型的风格。

ALIEN: Aligned Entropy Head for Improving Uncertainty Estimation of LLMs

ALIEN：对齐熵头以提高大语言模型的不确定性估计

Artem Zabolotnyi, Roman Makarov, Mile Mitrovic, Polina Proskura, Oleg Travkin, Roman Alferov, Alexey Zaytsev

机构 * Applied AI Institute, Moscow, Russia（应用人工智能研究所，莫斯科，俄罗斯） ； SB AI Lab, Moscow, Russia（SB AI实验室，莫斯科，俄罗斯） ； Intellectual data analysis and predictive modeling Institute, Moscow, Russia（智能数据分析与预测建模研究所，莫斯科，俄罗斯） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL

AI总结 ALIEN通过轻量级对齐方法提升大语言模型的不确定性估计，减少过自信，改进模型在困难输入下的预测可靠性。

Comments 16 pages, 2 figures

'Layer su Layer': Identifying and Disambiguating the Italian NPN Construction in BERT's family

层su层：在BERT家族中识别和辨析意大利NPN结构

Greta Gorzoni, Ludovica Pannitto, Francesca Masini

机构 * Alma Mater Studiorum - University of Bologna（博洛尼亚大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.CL

AI总结 本研究通过BERT的层间探针分类器，评估上下文嵌入对意大利NPN结构的编码情况，揭示构造形式与意义在神经语言模型中的体现程度。

GPA: Learning GUI Process Automation from Demonstrations

GPA：从演示中学习图形用户界面过程自动化

Zirui Zhao, Jun Hao Liew, Yan Yang, Wenzhuo Yang, Ziyang Luo, Doyen Sahoo, Silvio Savarese, Junnan Li

机构 * Salesforce AI Research（Salesforce AI 研究院） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；分类 cs.AI

AI总结 GPA是一种轻量但通用的基于视觉的机器人流程自动化方法，通过单次演示实现快速稳定的过程回放，解决了传统RPA的脆弱性和当前基于视觉语言模型的GUI代理的非确定性风险，具备鲁棒性、确定性和隐私保护等核心优势。

DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality

DeepFact: 深度研究事实性共演基准与智能体

Yukun Huang, Leonardo F. R. Ribeiro, Momchil Hardalov, Bhuwan Dhingra, Markus Dreyer, Venkatesh Saligrama

机构 * Duke University（杜克大学） ； Amazon AGI（亚马逊AGI） ； Boston University（波士顿大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出DeepFact-Bench基准和DeepFact-Eval智能体，通过审计-评分机制提升事实性验证的可靠性，并在深度研究报告中实现高准确性。

Beyond Semantics: Uncovering the Physics of Fakes via Universal Physical Descriptors for Cross-Modal Synthetic Detection

超越语义：通过通用物理描述符揭示合成检测的物理本质

Mei Qiu, Jianqiang Zhao, Yanyun Qu

机构 * SDIC Intelligence Information Technology Co., Ltd.（国投智能信息技术有限公司） ； Xia'men University（厦门大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)

AI总结 本文提出通过通用物理描述符区分真实与AI生成图像，探索跨模态合成检测中的核心物理特征及多模态模型整合方法，实现高准确率检测。

The Indra Representation Hypothesis for Multimodal Alignment

多模态对齐的Indra表示假说

Jianglin Lu, Hailing Wang, Kuo Yang, Yitian Zhang, Simon Jenni, Yun Fu

机构 * Northeastern University（东北大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)

AI总结 本文提出Indra表示假说，通过范畴论中的V富化Yoneda嵌入，定义样本间关系轮廓，提升多模态对齐的鲁棒性和一致性。

Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning

爱我，爱我的标签：重新思考标签在视觉上下文学习中的提示检索中的作用

Tianci Luo, Haohao Pan, Jinpeng Wang, Niu Lian, Xinrui Chen, Bin Chen, Shu-Tao Xia, Chun Yuan

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)

AI总结 本文提出LaPR框架，通过增强标签信息提升视觉上下文学习中提示检索的性能，实验表明其在分割、检测和着色任务中表现优异。

Comments Accepted to CVPR 2026. 10 pages, 5 figures, 3 tables