Towards Intrinsic Interpretability of Large Language Models:A Survey of Design Principles and Architectures
面向大语言模型内在可解释性的探索：设计原则与架构的综述
Yutong Gao, Qinglin Meng, Yuan Zhou, Liangming Pan
机构
*
MOE Key Lab of Computational Linguistics, Peking University（计算语言学MOE实验室，北京大学）
；
Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院，北京，中国）
；
Nanjing University of Science and Technology（南京理工大学）
；
Purdue University（普渡大学）
Retrieval as Generation: A Unified Framework with Self-Triggered Information Planning
检索即生成：一个统一框架与自触发信息规划
Bo Li, Mingda Wang, Gexiang Fang, Shikun Zhang, Wei Ye
机构
*
National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心，北京大学）
；
School of Computer Science, Peking University（北京大学计算机学院）
；
School of Health Sciences and Biomedical Engineering, Hebei University of Technology（河北工业大学健康科学与生物医学工程学院）
机构
*
National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心，北京大学）
；
School of Computer Science, Peking University（北京大学计算机学院）
；
PKU-CMCC(Hubei) Joint Research Lab for LLM Industrial Applications（北京大学-CMCC（湖北）大语言模型工业应用联合实验室）
；
School of Health Sciences and Biomedical Engineering, Hebei University of Technology（河北工业大学健康科学与生物医学工程学院）
Data Selection for Multi-turn Dialogue Instruction Tuning
多轮对话指令微调的数据选择
Bo Li, Shikun Zhang, Wei Ye
机构
*
National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心，北京大学）
；
School of Computer Science, Peking University（北京大学计算机学院）
；
PKU-CMCC(Hubei) Joint Research Lab for LLM Industrial Applications（北京大学-湖北CMCC大模型工业应用联合实验室）
From $\log π$ to $π$: Taming Divergence in Soft Clipping via Bilateral Decoupled Decay of Probability Gradient Weight
从log π到π：通过双侧解耦衰减概率梯度权重来驯服发散
Xiaoliang Fu, Jiaye Lin, Yangyi Fang, Chaowen Hu, Cong Qin, Zekai Shao, Binbin Zheng, Lu Pan, Ke Zeng
机构
*
Meituan（美团）
；
Fudan University（复旦大学）
；
Tsinghua University（清华大学）
；
Peking University（北京大学）
；
University of Science and Technology of China（中国科学技术大学）
机构
*
Peking University（北京大学）
；
State Key Lab of General AI at Peking University（北京大学通用人工智能国家重点实验室）
；
PKU-BingJi Joint Laboratory for Artificial Intelligence（北京大学-百度智云人工智能联合实验室）
；
Wuhan Major Scientific and Technological Special Program（武汉重大科技专项）
；
Hubei Embodied Intelligence Foundation Model Research and Development Program（湖北省具身智能基础模型研发计划）
；
National Comprehensive Experimental Base for Governance of Intelligent Society（智能社会治理国家综合实验基地）
；
LeapZenith AI Research（LeapZenith人工智能研究）
；
Tsinghua University（清华大学）
；
Embodied Intelligence Lab（具身智能实验室）
；
PKU-Wuhan Institute for Artificial Intelligence（北京大学-武汉人工智能研究院）
；
University of Chinese Academy of Sciences（中国科学院大学）
SafeVLA: Towards Safety Alignment of Vision-Language-Action Model via Constrained Learning
SafeVLA: 通过约束学习实现视觉-语言-动作模型的安全对齐
Borong Zhang, Yuhao Zhang, Jiaming Ji, Yingshan Lei, Yishuai Cai, Josef Dai, Yuanpei Chen, Yaodong Yang
机构
*
Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学）
；
PKU-PsiBot Joint Lab（北京大学PsiBot联合实验室）
；
State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学）
；
Zhongguancun Academy（中关村学院）
Q-DeepSight: Incentivizing Thinking with Images for Image Quality Assessment and Refinement
Q-DeepSight：利用图像激励思考用于图像质量评估与细化
Xudong Li, Jiaxi Tan, Ziyin Zhou, Yan Zhong, Zihao Huang, Jingyuan Zheng, Yan Zhang, Xiawu Zheng, Rongrong Ji
机构
*
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学）
；
Peking University（北京大学）
；
Beijing Institute of Technology（北京理工大学）
Han Xu, Xuerui Qiu, Baiyu Chen, Xinhao Luo, Xingrun Xing, Jiahong Zhang, Bo Lei, Tiejun Huang, Bo Xu, Guoqi Li
机构
*
Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China
；
School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 100049, China
；
Brain-Inspired Models Group, Beijing Academy of Artificial Intelligence, Beijing 100862, China
；
School of Future Technology, University of Chinese Academy of Sciences, Beijing 101408, China
；
Zhongguancun Academy, Beijing 100094, China
；
Pengcheng Laboratory, Guangdong 518055, China
；
School of Advanced Inter-disciplinary Sciences, University of Chinese Academy of Sciences, Beijing 101408, China
；
School of Computer Science, Peking University, Beijing 100871, China
；
Key Laboratory of Brain Cognition
；
Spiking Intelligence Lab, Tianqiao \& Chirssy Chen Institute, Shanghai 201203, China
机构
*
National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）
；
Peking University School of Computer Science（北京大学计算机科学学院）
；
Peking University School of Software and Microelectronics（北京大学软件与微电子学院）
机构
*
School of Computer Science, Peking University（北京大学计算机科学学院）
；
ZTE Corporation（中兴通讯）
；
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
；
School of Computer Science, China University of Geosciences (Wuhan)（中国地质大学（武汉）计算机科学学院）
；
School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
MASPO: Unifying Gradient Utilization, Probability Mass, and Signal Reliability for Robust and Sample-Efficient LLM Reasoning
MASPO：统一梯度利用、概率质量与信号可靠性以实现鲁棒且样本高效的LLM推理
Xiaoliang Fu, Jiaye Lin, Yangyi Fang, Binbin Zheng, Chaowen Hu, Zekai Shao, Cong Qin, Lu Pan, Ke Zeng, Xunliang Cai
机构
*
Meituan（美团）
；
Fudan University（复旦大学）
；
Tsinghua University（清华大学）
；
University of Science and Technology of China（中国科学技术大学）
；
Peking University（北京大学）
FedAdamW: A Communication-Efficient Optimizer with Convergence and Generalization Guarantees for Federated Large Models
FedAdamW: 一种具有收敛性和泛化保证的联邦大模型高效优化器
Junkang Liu, Fanhua Shang, Hongying Liu, Yuxuan Tian, Yuanyuan Liu, Jin Liu, Kewen Zhu, Zhouchen Lin
机构
*
School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院）
；
Medical College, Tianjin University（天津大学医学院）
；
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
；
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室）
；
Pazhou Laboratory (Huangpu), Guangzhou, Guangdong, China（广州黄埔 Pazhou 实验室）
机构
*
National Key Laboratory for Multimedia Information Processing, Peking University School of Computer Science, Peking University（国家多媒体信息处理重点实验室，北京大学计算机学院，北京大学）
StreamCacheVGGT: Streaming Visual Geometry Transformers with Robust Scoring and Hybrid Cache Compression
StreamCacheVGGT：具有鲁棒评分和混合缓存压缩的流式视觉几何变换
Xuanyi Liu, Chunan Yu, Deyi Ji, Qi Zhu, Lingyun Sun, Xuanfu Li, Jin Ma, Tianrun Chen, Lanyun Zhu
机构
*
Peking University（北京大学）
；
Nanjing University of Science and Technology（南京理工大学）
；
University of Science and Technology of China（中国科学技术大学）
；
Zhejiang University（浙江大学）
；
Huawei（华为）
；
Tongji University（同济大学）
Splats in Splats++: Robust and Generalizable 3D Gaussian Splatting Steganography
Splats in Splats++: 一种鲁棒且通用的3D高斯点云隐写框架
Yijia Guo, Wenkai Huang, Tong Hu, Gaolei Li, Yang Li, Yuxin Hong, Liwen Hu, Xitong Ling, Jianhua Li, Shengbo Chen, Tiejun Huang, Lei Ma
机构
*
State Key Laboratory of Multimedia Information Processing and National Engineering Research Center of Visual Technology, School of Computer Science, Peking University（多媒体信息处理国家重点实验室和视觉技术国家工程研究中心、计算机科学学院，北京大学）
；
Shanghai Key Laboratory of Integrated Administration Technologies for Information Security, School of Computer Science, Shanghai Jiao Tong University（信息安全集成管理技术上海市重点实验室、计算机科学学院，上海交通大学）
；
National Biomedical Imaging Center, College of Future Technology, Peking University（生物医学成像国家中心、未来技术学院，北京大学）
；
School of Software, Nanchang University（软件学院，南昌大学）
；
Institute of Biopharmaceutical and Health Engineering, Tsinghua Shenzhen International Graduate School, Tsinghua University（生物制药与健康工程研究院，清华大学深圳国际研究生院）
Discover and Prove: An Open-source Agentic Framework for Hard Mode Automated Theorem Proving in Lean 4
发现与证明：一个开源代理框架用于Lean 4中的硬模式自动定理 proving
Chengwu Liu, Yichun Yin, Ye Yuan, Jiaxuan Xie, Botao Li, Siqi Li, Jianhao Shen, Yan Xu, Lifeng Shang, Ming Zhang
机构
*
State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab, Peking University（信息处理国家重点实验室，计算机科学学院，PKU-Anker LLM实验室，北京大学）
；
Huawei Technologies Co., Ltd.（华为技术有限公司）
；
School of Software & Microelectronics, Peking University（软件与微电子学院，北京大学）
；
School of Electronics Engineering and Computer Science, Peking University（电子工程与计算机科学学院，北京大学）
MEDSYN: Benchmarking Multi-EviDence SYNthesis in Complex Clinical Cases for Multimodal Large Language Models
MEDSYN：多证据合成在复杂临床病例中的基准测试用于多模态大语言模型
Boqi Chen, Xudong Liu, Jiachuan Peng, Marianne Frey-Marti, Bang Zheng, Kyle Lam, Lin Li, Jianing Qiu
机构
*
ETH Zurich（苏黎世联邦理工学院）
；
MBZUAI（马克斯·普朗克人工智能研究所）
；
Amazon（亚马逊）
；
University of Oxford（牛津大学）
；
University of Bern（伯尔尼大学）
；
Imperial College London（伦敦帝国理工学院）
；
Peking University（北京大学）
SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning
SelfBudgeter：面向高效大语言模型推理的自适应令牌分配
Zheng Li, Qingxiu Dong, Jingyuan Ma, Di Zhang, Kai Jia, Zhifang Sui
机构
*
State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学）
；
BandAI, Bytedance（字节跳动BandAI）
