语言大模型 / LLM

Rep2Text: Decoding Full Text from a Single LLM Token Representation

Rep2Text：从单个LLM标记表示解码完整文本

Haiyan Zhao, Zirui He, Yiming Tang, Fan Yang, Ali Payani, Dianbo Liu, Mengnan Du

机构 * New Jersey Institute of Technology（新泽西理工学院） ； National University of Singapore（国立新加坡大学） ； Cisco Research（思科研究） ； Wake Forest University（威克森林大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨如何从LLM单个最后标记表示恢复原始文本，提出Rep2Text框架，通过可训练适配器将目标模型的最后标记表示映射到解码语言模型的token嵌入空间，实现文本自回归重建，实验显示在16-token序列中约半数token可被恢复且保持语义连贯。

Comments 18 pages, 6 figures, 6 tables

Understanding Performance Collapse in Layer-Pruned Large Language Models via Decision Representation Transitions

通过决策表示过渡理解层剪枝大型语言模型中的性能崩溃

Boyu Shi, Chang Liu, ChuanBao Gao, Xu Yang, Xin Geng

机构 * School of Computer Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院，南京，中国） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用重点实验室（东南大学），教育部，中国） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文通过决策表示过渡分析层剪枝对大型语言模型性能的影响，提出决策边际和选项频率两个指标，揭示剪枝导致决策阶段转变的机制，发现剪枝沉默阶段会引发性能崩溃。

Towards Security-Auditable LLM Agents: A Unified Graph Representation

迈向安全可审计的LLM代理：一种统一的图表示

Chaofan Li, Lyuye Zhang, Jintao Zhai, Siyue Feng, Xichun Yang, Huahao Wang, Shihan Dou, Yu Ji, Yutao Hu, Yueming Wu, Yang Liu, Deqing Zou

机构 * Huazhong University of Science and Technology（华中科技大学） ； Nanyang Technological University（南洋理工大学） ； Fudan University（复旦大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） ； Donghua University（东华大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出Agent-BOM统一图表示，用于解决LLM代理系统中执行意图与物理事件间的语义鸿沟问题，通过构建分层属性有向图实现安全审计与风险评估。

Understanding Robustness of Model Editing in Code LLMs

理解代码LLM中模型编辑的鲁棒性

Vinaik Chhetri, Moghis Fereidouni, A. B Siddique, Umar Farooq

机构 * Louisiana State University（路易斯安那州立大学） ； University of Kentucky（肯塔基大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究代码LLM在API更新下的模型编辑鲁棒性，评估不同方法在单次和连续编辑下的性能，发现多数方法在泛化和特定性上表现不佳，且连续编辑导致性能显著下降。

Comments 26 pages, 14 figures, 20 tables

Steered LLM Activations are Non-Surjective

引导的LLM激活不是满射的

Aayush Mishra, Daniel Khashabi, Anqi Liu

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了激活引导是否能通过文本提示实现，证明引导行为在实际中无法通过提示复现，区分了白盒引导与黑盒提示的差异。

Comments 10 pages main text. ICLR 2026 Workshops (Sci4DL, Re-Align)

VITA-QinYu: Expressive Spoken Language Model for Role-Playing and Singing

VITA-QinYu：用于角色扮演和演唱的表达性口语语言模型

Jiacheng Xu, Heting Gao, Liufei Xie, Zhenchuan Yang, Lijiang Li, Yiting Chen, Bin Zhang, Meng Chen, Chaoyu Fu, Weifeng Zhao, Wenjiang Zhou

机构 * QinYu Team（秦宇团队） ； VITA-Team（VITA团队） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；SLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 VITA-QinYu是首个支持角色扮演和演唱生成的端到端口语语言模型，通过混合语音-文本范式和多代码本音频令牌提升表达性，优于同类模型7个百分点，在演唱和对话任务中均取得显著成果。

Comments https://tme-lyra-lab.github.io/VITA-QinYu/

Uncovering and Shaping the Latent Representation of 3D Scene Topology in Vision-Language Models

揭示和塑造视觉-语言模型中3D场景拓扑的潜在表示

Haoming Wang, Wei Gao

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 本文研究了视觉-语言模型是否能构建3D环境的拓扑表示，通过隔离空间子空间并数学塑造潜在表示，证明其与场景3D高斯核图的拉普拉斯特征映射一致，并在空间任务中提升性能。

Hallucination Detection via Activations of Open-Weight Proxy Analyzers

通过开放权重代理分析器的激活进行幻觉检测

Akshita Singh, Prabesh Paudel, Siddhartha Roy

机构 * Khoury College of Computer Sciences（科里学院计算机科学学院） ； Northeastern University（东北大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种代理分析器框架，通过本地部署的小型开放权重模型检测大语言模型的幻觉，采用变压器文本处理特性构建18种特征，并在多个模型架构上训练堆叠集成模型，最终在RAGTruth数据集上取得优于ReDeEP的AUC和F1分数。

Comments 12 pages, 4 figures. Code available at https://github.com/hallu-detect/llm_hallucination_detection

Uncertainty-Aware Structured Data Extraction from Full CMR Reports via Distilled LLMs

基于蒸馏LLM的全CMR报告不确定性感知结构化数据提取

Yi Yu, Parker Martin, Zhenyu Bu, Yixuan Liu, Yi-Yu Zheng, Orlando Simonetti, Yuchi Han, Yuan Xue

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 本文提出CMR-EXTR框架，通过蒸馏LLM将自由文本CMR报告转为结构化数据并提供字段置信度，实现无监督推理和不确定性整合，达到99.65%的变量级准确率。

Comments Accepted to ISBI 2026

TraceFix: Repairing Agent Coordination Protocols with TLA+ Counterexamples

TraceFix：基于TLA+反例的智能体协调协议修复

Shuren Xia, Qiwei Li, Taqiya Ehsan, Jorge Ortiz

机构 * Rutgers University（新泽西州普林斯顿大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 TraceFix通过TLA+反例迭代修复智能体协调协议，实现高效验证与执行，提升任务完成率和稳定性。

Mixture of Masters: Sparse Chess Language Models with Player Routing

大师混合：具有玩家路由的稀疏国际象棋语言模型

Giacomo Frisoni, Lorenzo Molfetta, Davide Freddi, Gianluca Moro

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Mixture-of-Masters模型，通过稀疏专家网络实现国际象棋生成的多样化与可控性，优于传统密集模型和GPT基线。

TextLDM: Language Modeling with Continuous Latent Diffusion

TextLDM：基于连续潜在扩散的语言建模

Jiaxiu Jiang, Jingjing Ren, Wenbo Li, Bo Wang, Haoze Sun, Yijun Yang, Jianhui Liu, Yanbing Zhang, Shenghe Zheng, Yuan Zhang, Haoyang Huang, Nan Duan, Wangmeng Zuo

机构 * Joy Future Academy（京东探索研究院） ； HIT（Harbin Institute of Technology） ； HKUST(GZ)（Hong Kong University of Science and Technology (Guangzhou)） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL

AI总结 TextLDM将视觉潜在扩散框架应用于文本生成，通过Representation Alignment提升文本表示质量，在OpenWebText2上训练后优于现有扩散语言模型，匹配GPT-2性能。

Don't Retrain, Align: Adapting Autoregressive LMs to Diffusion LMs via Representation Alignment

无需再训练，对齐：通过表征对齐将自回归语言模型适应到扩散语言模型

Fred Zhangzhi Peng, Alexis Fox, Anru R. Zhang, Alexander Tong

机构 * Duke University（杜克大学） ； AITHYRA 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出REPR-ALIGN方法，通过表征对齐将自回归模型转换为扩散模型，实现4倍训练加速，尤其在低数据情况下效果显著。

Comments Code available at https://github.com/pengzhangzhi/Open-dLLM

Is She Even Relevant? When BERT Ignores Explicit Gender Cues

她真的相关吗？当BERT忽视显性性别线索时

Jonas Klein, Chiara Manna, Eva Vanmassenhove

机构 * Department of Computational Cognitive Science, Tilburg University（蒂尔堡大学计算认知科学系） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了荷兰BERT模型在训练过程中性别信息的出现时机，发现模型在短句模板中难以更新性别表示，导致默认男性解读。

SoftSAE: Dynamic Top-K Selection for Adaptive Sparse Autoencoders

SoftSAE: 动态Top-K选择用于自适应稀疏自编码器

Jakub Stępień, Marcin Mazur, Jacek Tabor, Przemysław Spurek

机构 * Jagiellonian University（雅盖隆大学） ； IDEAS Research Institute（IDEAS研究所） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SoftSAE通过动态Top-K机制调整稀疏自编码器的激活特征数量，以适应不同输入复杂度，提升表示匹配度和解释长度。

LensVLM: Selective Context Expansion for Compressed Visual Representation of Text

LensVLM：压缩文本视觉表示的选取性上下文扩展

Roy Xie, Dan Friedman, Donghan Yu, Bowen Pan, Christopher Fifty, Jang-Hyun Kim, Xianzhi Du, Zhe Gan, Vivek Rathod, Bhuwan Dhingra

机构 * Apple（苹果公司） ； Duke University（杜克大学） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 LensVLM通过选择性上下文扩展提升压缩视觉表示的准确性，在4.3倍压缩下表现优异，且在多模态任务中表现更佳。

Anisotropic Modality Align

各向异性模态对齐

Xiaomin Yu, Yijiang Li, Yuhui Zhang, Hanzhen Zhao, Yue Yang, Hao Tang, Yue Song, Xiaobin Hu, Chengwei Qin, Shuicheng Yan, Hui Xiong

机构 * HKUST(GZ)（香港科技大学（广州）） ； NUS（国立新加坡大学） ； UCSD（加州大学圣地亚哥分校） ； Stanford（斯坦福大学） ； PKU（北京大学） ； THU（清华大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)

AI总结 本文研究了多模态模型中模态间转换的可行性，提出各向异性模态对齐方法，通过几何修正框架提升单模态数据的多模态训练效果。

Uncertainty Quantification for Prior-Data Fitted Networks using Martingale Posteriors

利用鞅后验的先验-数据拟合网络不确定性量化

Thomas Nagler, David Rügamer

机构 * Department of Statistics, LMU Munich（统计系，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种高效无调参的采样方法，基于鞅后验构建贝叶斯后验，用于量化先验-数据拟合网络预测均值、分位数等的不确定性，通过模拟和实际数据验证了方法的有效性和校准性。

Toward Better Geometric Representations for Molecule Generative Models

迈向更优的分子生成模型几何表示

Shaoheng Yan, Zian Li, Cai Zhou, Qiaojing Huang, Kai Liu, Muhan Zhang

机构 * Institute for Artificial Intelligence, PKU（北京大学人工智能学院） ； ByteDance AI Drug Discovery（字节跳动AI药物发现） ； School of Intelligence Science and Technology, PKU（北京大学智能科学与技术学院） ； Anew Labs（Anew实验室） ； Department of Electrical Engineering and Computer Science, MIT（麻省理工学院电子工程与计算机科学系） ； State Key Laboratory of General Artificial Intelligence, PKU（北京大学通用人工智能国家重点实验室） 纠错

专题命中 知识编辑与模型理解 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出LENSEs框架，通过改进分子表示方法提升生成质量，实验显示其在GEOM-DRUG数据集上取得高有效性和稳定性。

Neurosymbolic Framework for Concept-Driven Logical Reasoning in Skeleton-Based Human Action Recognition

基于骨架的人体动作识别的概念驱动逻辑推理神经符号框架

Talha Ilyas, Deval Mehta, Zongyuan Ge

机构 * Department of ECSE, Faculty of Engineering, Monash University, Australia（莫纳什大学工程学院电子与计算机工程系，澳大利亚） ； AIM for Health Lab, Faculty of Information Technology, Monash University, Australia（莫纳什大学信息科技学院健康人工智能实验室，澳大利亚） ； Department of DSAI, Faculty of Information Technology, Monash University, Australia（莫纳什大学信息科技学院数据科学与人工智能系，澳大利亚） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出一种神经符号框架，将骨架动作识别转化为概念驱动的一阶逻辑推理，通过结合表征学习与符号推理，提升动作识别的可解释性。

Comments Accepted In Proceedings of the 35th International Joint Conference on Artificial Intelligence (IJCAI 2026)

Weather-Robust Scene Semantics with Vision-Aligned 4D Radar

具有视觉对齐4D雷达的抗天气场景语义

Kali Hamilton, Christoffer Heckman

机构 * Autonomous Robotics and Perception Group（自主机器人与感知组） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)

AI总结 本文提出通过冻结视觉语言模型将雷达编码器对齐于SigLIP嵌入，以提升恶劣天气下的场景语义理解，实验表明雷达配置在雾、轻雪和重雪条件下优于相机基线。

Comments 5 pages + references, 2 appendix pages. ICRA 2026 Radar in Robotics Workshop