语言大模型 / LLM

Vilya-1: An all-atom foundation model for macrocycle structure prediction and design

Vilya-1：用于大环结构预测与设计的全原子基础模型

Vilya Research, :, Pascal Sturmfels, Milad Salem, Naozumi Hiranuma, Stephen Rettie, Xiaoliang Pan, Benjamin D. Sellers, Adam P. Moyer, Patrick J. Salveson, Ivan Anishchanka

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对现有大环肽结构和性质建模方法的局限，提出全原子深度学习模型Vilya-1，可跨化学结构采样及预测属性，在异构数据集训练，提高几何精度且覆盖小分子，支持生成应用，为大环治疗药物开发加速。

Comments 21 pages, 14 figures

Uncertainty-guided Compositional Alignment with Part-to-Whole Semantic Representativeness in Hyperbolic Vision-Language Models

基于部分-整体语义代表性与不确定性引导的组合对齐超几何视觉语言模型

Hayeon Kim, Ji Ha Jang, Junghun James Kim, Se Young Chun

机构 * Dept. of Electrical and Computer Engineering（电子与计算机工程系） ； INMC & IPAI（INMC与IPAI） ； Seoul National University（首尔国立大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出UNCHA方法，通过超几何不确定性建模部分-整体语义代表性，提升超几何VLM对多物体场景的组合结构理解能力，实现零样本分类等任务的最先进性能。

Comments Accepted to CVPR 2026

HIVE: Understanding Post-Hallucination Reasoning in Vision Language Models

HIVE：理解视觉语言模型中的幻觉后推理

Feng He, Zhenting Wang, Qifan Wang, Qiang Guan, Dongfang Liu, Ruixiang Tang, Qiankun Li

机构 * Purdue University（普渡大学） ； Rutgers University（罗格斯大学） ； Meta AI ； Kent State University（肯特州立大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 研究视觉语言模型中幻觉后推理阶段，引入HIVE评估基础设施，通过九个任务和九个模型观察到模态依赖模式，发现幻觉线索能拓宽语义覆盖并重塑推理动态，强调理解此阶段对提升多模态推理系统可靠性和可解释性的重要性。

Comments Accepted by ECCV 2026

Canopy: A Heterograph Foundation Model for Metabolic Engineering

Canopy：用于代谢工程的异构图基础模型

Jake Bowden, Laurence Legon, Satnam Surae

机构 * an in-house laboratory information management system (LIMS)（一个内部实验室信息管理系统（LIMS）） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 代谢工程中设计高产微生物菌株有挑战，Canopy异构图基础模型集成多数据源成知识图谱，用特定模型编码特征，经自监督目标预训练，在发酵滴度预测任务中表现优于基线。

Comments Accepted at ICML GenBio Workshop 2026 https://openreview.net/forum?id=H8bvgKoT7j

TORINO: Token Reduction via Interpretable Concept Overlap in Vision-Language Models

TORINO：通过视觉语言模型中可解释的概念重叠进行令牌减少

Riccardo Renzulli, Gabriele Spadaro, Shruthi Gowda, Alaa Eddine Mazouz, Van-Tam Nguyen

机构 * University of Turin, Italy（意大利都灵大学） ； Eindhoven University of Technology, The Netherlands（荷兰埃因霍温理工大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 研究视觉语言模型计算成本高问题，提出TORINO框架，利用稀疏自动编码器将视觉令牌投影到可解释潜在空间，通过概念重叠分组并减少令牌，兼顾效率与准确性。

SeeMe: Mitigating Hallucinations in Large Vision-Language Models through Effective Visual Token Engineering

SeeMe：通过有效的视觉令牌工程减轻大型视觉语言模型中的幻觉

Kai Tang, Jinhao You, Bohua Zhang, Yichen Guo, Yiding Sun, Dongxu Zhang, Chenxi Li, Xiande Huang, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机科学学院多媒体信息处理国家重点实验室） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； De Artificial Intelligence Lab（德人工智能实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 研究大型视觉语言模型易产生幻觉问题，提出无训练框架SeeMe，引入传统机器学习特征工程概念，经三阶段令牌工程重组视觉令牌抑制幻觉源，实验证明其能减轻幻觉并提高输出一致性。

Comments 12 pages, 4 figures, 6 tables

Investigating the Representation of Backchannels and Fillers in Fine-tuned Language Models

探讨在微调语言模型中回话用语和填充词的表示

Yu Wang, Leyi Lao, Langchu Huang, Gabriel Skantze, Yang Xu, Hendrik Buschmeier

机构 * Bielefeld University（比勒菲尔德大学） ； Southern University of Science and Technology（南方科技大学） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本文通过三种微调策略研究回话用语和填充词在语言模型中的表示，发现微调能提升模型区分语义差异的能力，使生成的对话更接近人类语言。

Comments Accepted at ACL 2026 main

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers, ACL 2026), pp. 5319-5348

TreeAgent: A Generalizable Multi-Agent Framework for Automated Bias Labeling in Forestry via Compiled Expert Rules and Vision-Language Models

TreeAgent: 一种基于编译专家规则和视觉语言模型的通用多智能体框架，用于林业自动化偏差标注

Shiyi Chen, Nicholas Saban, Collin Hargreaves, Huiqi Wang

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 提出TreeAgent多智能体框架，结合专家决策树与视觉语言模型，通过解耦声明式决策实现零修改泛化，在树木偏差分类中超越监督学习基线并降低标注成本。

Comments 9 pages, 2 figures

Localized Conformal Prediction for Image Classification with Vision-Language Models

基于视觉语言模型的图像分类局部化共形预测

Clément Fuchs, Tim Bary, Benoît Macq

机构 * CÉCI ； F.R.S.-FNRS（比利时国家科学研究基金会） ； Walloon Region（瓦隆大区） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 针对图像分类中局部化共形预测未充分探索的问题，提出一种简单的余弦相似度非线性变换，在保持边际覆盖保证的同时显著降低平均集大小。

Comments 7 pages, 2 figures, 3 tables, code availables, accepted to EUVIP 2025

Journal ref 2025 13th European Workshop on Visual Information Processing (EUVIP)

Beyond Binary Instrument QA: Probing Instrument Grounding in Music Audio-Language Models

超越二元乐器问答：探究音乐音频-语言模型中的乐器接地

Yujun Lee, Joonhyeok Shin, Hyoeun Kim, Kyuhong Shim

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 本文通过多轴诊断基准测试发现，音乐音频-语言模型在二元乐器问答中的高准确率常掩盖选项位置偏差、易混淆乐器错误和时间响应偏差等问题，表明乐器接地评估需采用多维度基准而非单一准确率。

Comments Workshop on Machine Learning for Audio, ICML 2026

High-Entropy Tokens as Multimodal Failure Points in Vision-Language Models

高熵标记作为视觉-语言模型中的多模态失败点

Mengqi He, Xinyu Tian, Xin Shen, Jinhong Ni, Shu Zou, Zhaoyuan Yang, Jing Zhang

机构 * The Australia National University（澳大利亚国立大学） ； The University of Queensland（昆士兰大学） ； GE research（GE研究） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究揭示视觉-语言模型中约20%的高熵标记集中了不成比例的对抗性影响，并提出基于熵引导的稀疏攻击方法（EGA），实现高攻击成功率与有害率。

Comments 19 Pages,11 figures,8 tables

Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models

视觉默认，先验覆盖：视觉-语言模型中感知-知识冲突的因果机制

Niclas Lietzow, Danielle Bitterman, Carsten Eickhoff, William Rudman, Michal Golovanevsky

机构 * University of Tübingen（图宾根大学） ； Harvard University（哈佛大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 通过激活修补和消融实验，发现VLM中视觉默认激活，而先验知识依赖少量因果注意力头（2.5-4.8%），形成不对称因果结构。

Comments 14 pages, 11 figures, 8 tables

Developmental approach reveals the statistical learning of Neural Language Models: Transformers generalize from the most abstract statistical patterns

发展方法揭示神经语言模型的统计学习：Transformer从最抽象的统计模式中泛化

Wang Bojun, Holly Jenkins, Elizabeth Wonnacott

机构 * Department of Education, University of Oxford（牛津大学教育学院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究采用发展方法，通过训练生成式Transformer模型并分析其内部表征变化，发现神经语言模型先习得最抽象的全局统计知识，后习得局部统计依赖，并提出新的统计学习与语言认知框架。

Comments 10 pages, 7 figures, oral presentation at Interdisciplinary Advances in Statistical Learning

Can Language Model Agents be Helpful Circuit Explainers in Mechanistic Interpretability?

语言模型代理能否成为机械可解释性中有用的电路解释器？

Ayan Antik Khan, Harsh Kohli, Yuekun Yao, Huan Sun, Ziyu Yao

机构 * George Mason University（乔治梅森大学） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 研究语言模型代理在机械可解释性中自动解释已定位电路的能力，提出HyVE方法，通过迭代观察、假设生成和因果验证生成组件级解释，实验表明代理有潜力但可靠验证仍是关键障碍。

Comments 23 pages, 4 figures, 14 tables

Disentangling Geometry, Performance, and Training in Language Models

解耦语言模型中的几何、性能与训练

Atharva Kulkarni, Jacob Mitchell Springer, Arjun Subramonian, Swabha Swayamdipta

机构 * University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 系统研究Transformer权重几何（尤其是解嵌入矩阵有效秩）与下游性能的关系，发现有效秩主要反映训练超参数而非性能，不能可靠预测模型表现。

Sparse Neuron Ablation Triggers Catastrophic Collapse of the Language Core in Large Vision-Language Models

稀疏神经元消融引发大型视觉-语言模型中语言核心的灾难性崩溃

Cen Lu, Yung-Chen Tang, Andrea Cavallaro

机构 * École Polytechnique Fédérale de Lausanne (EPFL)（瑞士洛桑联邦理工学院） ； Idiap Research Institute（日内瓦研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 提出渐进式神经元消融方法CAN，发现消融极少量（如LLaVA-1.5-7b中仅4个）位于语言模型下投影层的神经元即可导致LVLM灾难性崩溃，揭示功能依赖语言骨干中的稀疏神经元子集。

Comments Accepted to ICML 2026 Mechanistic Interpretability Workshop

Clusters are All You Need: Pre-Training the Tsetlin Machine with Semantic Clusters from Language Models for Interpretability

聚类即一切：利用语言模型中的语义聚类预训练Tsetlin Machine以实现可解释性

Jiechao Gao, Rohan Kumar Yadav, Yuangang Li, Yuandong Pan, Jie Wang, Ying Liu, Michael Lepech

机构 * Independent Researcher（独立研究员） ； University of California, Irvine（加州大学尔湾分校） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 提出一种语义预训练框架，通过K-means或Top2Vec将文本聚类，用聚类-样本对预训练Tsetlin Machine，使其学习可解释的语义关键词，在五个数据集上性能优于传统方法且与BERT竞争。

A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models

大型音频语言模型时间理解失败模式的深入分析

Apoorva Kulkarni, Kaousheik Jayakumar, Sreyan Ghosh, Sarah Wiegreffe, Dinesh Manocha, Ramani Duraiswami

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 本文通过行为与因果机制分析，揭示大型音频语言模型在时间推理中因模态不平衡而失败，并提出注意力重分配方法提升准确率。

Comments Accepted to Interspeech 2026

Circuit Tracing in Autoregressive Protein Language Models

自回归蛋白质语言模型中的电路追踪

Darin Tsui, William Deinzer, Daniel Saeedi, Amirali Aghazadeh

机构 * Stanford University（斯坦福大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 提出ProGenMech框架，通过跨层稀疏编码器忠实恢复ProGen3的生成计算，并零样本发现与蛋白质生成和适应性预测相关的稀疏电路，揭示生物意义基序。

Comments Accepted into the Mechanistic Interpretability Workshop at ICML 2026. 24 pages, 14 figures

Machine-learned particle flow as a foundation model for collider physics

机器学习粒子流作为对撞机物理学的基础模型

Farouk Mokhtar, Joosep Pata, Michael Kagan, Javier Duarte

机构 * University of California San Diego（加州大学圣地亚哥分校） ； National Institute of Chemical Physics and Biophysics（化学物理与生物物理国家研究所） ； SLAC National Accelerator Laboratory（斯坦福线性加速器中心国家加速器实验室） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 将事件重建视为机器学习问题，利用MLPF模型学习到的潜在表示，在喷注味识别、喷注能量回归和缺失动量回归三项分析任务上显著提升性能，且单线性层即可媲美先进架构，参数减少约35倍。

Comments 15 pages, 11 figures

SpeechJBB: Probing Safety Alignment and Comprehension in Large Audio Language Models under Code-Switched Speech

SpeechJBB：探究大型音频语言模型在代码切换语音下的安全对齐与理解

Virginia Ceccatelli, Yejin Jeon, David Ifeoluwa Adelani

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 提出SpeechJBB数据集，通过代码切换有害音频和伪词插入方法，揭示大型音频语言模型在多语言和口语设置下的安全漏洞。

When Correct Decisions Hide Internal Stress: Decision-State Probing in Multimodal Language Models

当正确决策隐藏内部压力：多模态语言模型中的决策状态探测

Haoran Zhao, Soyeon Caren Han, Eduard Hovy

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 提出S³E框架，通过正锚定A/B强制选择任务和隐藏状态分析，发现多模态语言模型在正确行为下仍存在语义压力导致的决策状态位移。

The Last Visible Pixel: Probing Fine-Scale Perception in Vision-Language Models

最后一个可见像素：探究视觉-语言模型中的精细尺度感知

Lujun Li, Lama Sleem, Niccolo Gentile, Yangjie Xu, Yewei Song, Wenbo Wu, Radu State

机构 * University of Luxembourg（卢森堡大学） ； Foyer S.A. ； Université Paris-Saclay（巴黎-萨克雷大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 提出FineSightBench基准，通过4-48像素尺度分离感知与推理任务，发现视觉-语言模型感知在12像素饱和，推理在更大尺度仍受限，揭示精细视觉推理的根本缺陷。

Comments 25 pages

Beyond Point Estimates: Benchmarking Uncertainty Quantification Methods on the AION-1 Astronomical Foundation Model

超越点估计：在AION-1天文基础模型上基准测试不确定性量化方法

Karla Tame-Narvaez, Aleksandra Ćiprijanović, Shubhendu Trivedi

机构 * Scientific Computing Division Fermi National Accelerator Laboratory（费米国家加速器实验室科学计算部） ； Fermi National Accelerator Laboratory（费米国家加速器实验室） ； Department of Astronomy and Astrophysics University of Chicago（芝加哥大学天文学与天体物理学系） ； NSF and Simons SkAI Institute（国家科学基金会与Simons SkAI研究所） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文在AION-1基础模型嵌入上比较七种不确定性量化方法，发现共形预测（尤其是LVD框架）在星系属性回归中提供可靠的边际和局部覆盖，优于非共形基线。

Comments 7 pages, 1 table, 1 figure

Journal ref Contribution to Conference on Physics and AI at Stanford University (PAI 2026)

The Geometry of Representational Failures in Vision Language Models

视觉语言模型中表征失败的几何结构

Daniele Savietto, Declan Campbell, André Panisson, Marco Nurisso, Giovanni Petri, Jonathan D. Cohen, Alan Perotti

机构 * Dipartimento di Fisica, Università di Torino（都灵大学物理系） ； Princeton Neuroscience Institute and AI Lab, Princeton University（普林斯顿大学神经科学研究所和AI实验室） ； Intesa Sanpaolo AI Research（Intesa Sanpaolo AI研究中心） ； Dipartimento di Scienze Matematiche, Politecnico di Torino（都灵理工学院数学科学系） ； Network Science Institute, Northeastern University London, UK（伦敦大学东北方大学网络科学研究所） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 通过分析开源视觉语言模型的概念向量几何重叠，揭示多目标视觉任务中幻觉等错误与认知约束的关联，并提出基于干预的验证方法。

Adapting Diffusion Language Models for Lossless Pixel-Level Image Transmission

适应扩散语言模型用于无损像素级图像传输

Tianqi Ren, Rongpeng Li, Xianfu Chen, Yingyu Li, Zhifeng Zhao

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； Shenzhen CyberAray Network Technology Co., Ltd（深圳CyberAray网络技术有限公司） ； School of Mechanical Engineering and Electronic Information, China University of Geosciences（中国地质大学（武汉）机械与电子信息学院） ； Zhejiang Lab（浙江实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI

AI总结 提出基于离散扩散模型的分离源信道编码框架DDM-SSCC，通过双向注意力下的同步逆向算术编码实现无损像素级图像传输，并引入Halton引导去噪顺序、掩码率感知余弦调度和轻量温度校准模块提升性能。

KODA: Contrastive Representation Comparison and Alignment for Vision-Language Foundation Models

KODA: 视觉-语言基础模型的对比表示比较与对齐

Youqi Wu, Mohammad Jalali, Farzan Farnia

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出KODA框架，通过核优化方法对比分析视觉-语言基础模型的表示差异，并识别弱聚类与强聚类的样本子集，实现表示对齐。

Retrieval and competition: how a protein foundation model starts a protein

检索与竞争：蛋白质基础模型如何启动蛋白质

Piotr Jedryszek, Oliver M. Crook

机构 * Department of Biology, University of Oxford, Oxford, UK（牛津大学生物学系） ； Kavli Institute for Nanoscience Discovery, University of Oxford, Oxford, UK（牛津大学纳科学发现研究所） ； Department of Chemistry, University of Oxford, Oxford, UK（牛津大学化学系） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title)；language model(abstract)；分类 cs.AI

AI总结 通过追踪ESM2-8M预测蛋白质起始甲硫氨酸的计算路径，发现模型依赖位置先验检索而非直接识别，揭示了模型置信度与生物学证据之间的脱节。

Comments updated figure 4

The Mechanistic Emergence of Symbol Grounding in Language Models

语言模型中符号接地机制的涌现

Shuyu Wu, Ziqiao Ma, Xiaoxi Luo, Yidong Huang, Josue Torres-Fonseca, Freda Shi, Joyce Chai

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 通过机械因果分析，发现符号接地在语言模型的中层计算中通过注意力头聚合环境信息实现，并在多模态对话和多种架构中复现。

Knowledge Editing in Masked Diffusion Language Models

掩码扩散语言模型中的知识编辑

Haewon Park, Yohan Jo

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 研究将定位-编辑方法从自回归模型迁移到掩码扩散模型，发现编辑位置可迁移但多词编辑性能下降，并提出优化中间状态的简单修正方法。