语言大模型 / LLM

XPERT: Expert Knowledge Transfer for Effective Training of Language Models

XPERT: 专家知识转移以有效训练语言模型

Chang Liu, Boyu Shi, Xu Yang, Xin Geng

机构 * School of Computer Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院，南京，中国） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用重点实验室（东南大学），教育部，中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 XPERT通过提取、整合和重用预训练MoE语言模型中的专家知识，提升不同规模语言模型的训练效果，实验表明其在语言理解和对话生成任务中表现更优。

ConQuR: Corner Aligned Activation Quantization via Optimized Rotations for LLMs

ConQuR：通过优化旋转实现的角对齐激活量化用于大语言模型

Chayne Thrash, Ali Abbasi, Soheil Kolouri

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出一种轻量级后训练旋转校准方法，通过学习正交旋转将归一化激活对齐超立方体的角落，提高激活能量在维度上的分布均匀性，避免端到端训练和大规模激活存储。

Fast-MIA: Efficient and Scalable Membership Inference for LLMs

Fast-MIA：高效且可扩展的大型语言模型成员推断

Hiromu Takahashi, Shotaro Ishihara

机构 * Independent Researcher（独立研究者） ； Nikkei Inc.（日本 Nikkei 公司） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Fast-MIA库，通过高吞吐量批量推理和交叉方法缓存架构，提升LLM成员推断攻击的效率与可扩展性，支持统一框架和灵活配置，促进可重复的隐私风险审计研究。

Comments ACL 2026 System Demonstrations

Selective Neuron Amplification in Transformer Language Models

Transformer语言模型中的选择性神经元放大

Ryyan Akhtar, Payal Pahwa, Monika Arora

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现Transformer语言模型在看似理解的任务上表现不佳，可能是内部电路未被激活而非知识缺失。提出选择性神经元放大方法，在推理时增强任务相关神经元的影响，不影响模型参数，主要在模型不确定时有效。

Comments 11 pages, 3 figures. Preprint. Code and experiments conducted independently

TAD: Temporal-Aware Trajectory Self-Distillation for Fast and Accurate Diffusion LLM

TAD: 时空感知轨迹自蒸馏用于快速准确的扩散大语言模型

Haoyang Zhou, Li Kong, Shijie Ren, Xiting Wang, Shuang Liang, Guowei Wang, Zhenxuan Pan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TAD通过时空感知轨迹自蒸馏方法，在提升生成速度的同时保持准确性，实验表明在LLaDA上质量模型将平均准确率提升至51.6%，速度模型将AUP提升至257.1。

Semantic Voting: Execution-Grounded Consensus for LLM Code Generation

语义投票：基于执行的共识机制用于大语言模型代码生成

Shan Jiang, Zijian Yi, Chenguang Zhu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大语言模型代码生成中基于执行的共识机制，通过比较不同方法发现输入质量对结果影响更大，语义投票在多数配置中表现最佳。

When Less is More: The LLM Scaling Paradox in Context Compression

当少即多：在上下文压缩中的LLM扩展悖论

Ruishan Guo, Yibing Liu, Guoxin Ma, Yan Wang, Yueyang Zhang, Long Xia, Kecheng Chen, Zhiyuan Sun, Daiting Shi

机构 * Baidu Inc.（百度公司） ； Tsinghua University（清华大学） ； Xi’an Jiaotong University（西安交通大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 研究揭示在上下文压缩中，增大压缩器规模反而降低重建上下文的忠实度，发现知识覆盖和语义漂移是主要因素，中等规模压缩器在忠实恢复上表现更优。

Comments 22 pages, 7 figures, conference

A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?

从知识蒸馏的角度看代码语言模型的元测试：学生是否深度模仿教师？

Md. Abdul Awal, Mrigank Rochan, Chanchal K. Roy

机构 * Department of Computer Science, University of Saskatchewan（萨斯喀彻温大学计算机科学系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 本文从元测试角度探讨代码语言模型知识蒸馏中的行为一致性问题，提出MetaCompress框架以评估学生模型对教师模型的深度模仿程度，揭示传统准确性评估的局限性。

Comments This paper has been accepted for publication in the Journal of Systems and Software (JSS)

TacoMAS: Test-Time Co-Evolution of Topology and Capability in LLM-based Multi-Agent Systems

TacoMAS: 在基于大语言模型的多智能体系统中拓扑与能力的测试时间共演

Chen Xu, Yicheng Hu, Ruizi Wang, Xinyu Lin, Wenjie Wang, Dongrui Liu, Fuli Feng

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL

AI总结 TacoMAS通过联合调整拓扑和能力，以不同时间尺度优化多智能体系统，实验表明其在四个基准测试中优于20个基线模型，平均提升13.3%。

DLink: Distilling Layer-wise and Dominant Knowledge from EEG Foundation Models

DLink：从EEG基础模型中蒸馏分层和主导知识

Jingyuan Wang, Zhihao Jia, Chenyu Liu, Xinliang Zhou, Haoran Luo, Ziyu Jia, Yong Li, Fang Li, Junfeng Yao, Yi Ding

机构 * Xiamen University（厦门大学） ； Nanyang Technological University（南洋理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 DLink通过输入条件化层路由和频谱引导蒸馏，有效蒸馏EEG基础模型知识，提升紧凑学生模型性能，减少参数和计算量。

mHC-SSM: Manifold-Constrained Hyper-Connections for State Space Language Models with Stream-Specialized Adapters

mHC-SSM：基于流的约束超连接用于具有流专用适配器的状态空间语言模型

Abdulvahap Mutlu, Şengül Doğan, Türker Tuncer

机构 * Department of Digital Forensics Engineering, Technology Faculty, Firat University（费拉特大学数字取证工程系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG；SLM(comments)

AI总结 本文提出mHC-SSM，通过约束残差流混合矩阵到双随机矩阵流形，改进状态空间语言模型的性能，并引入流专用适配器以提升模型效果。

Comments 28 Pages, 3 Figures, all implementation code available at: https://github.com/abdulvahapmutlu/mhc-slm

Position: Avoid Overstretching LLMs for every Enterprise Task

位置：避免为每个企业任务过度使用大语言模型

Kuldeep Singh, Anson Bastos, Isaiah Onando Mulang'

机构 * Eka Labs AI ； Microsoft（微软） ； SAP 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出企业任务应避免过度依赖大语言模型，主张通过模块化架构提升可靠性与可维护性。

TELL-TALE: Task Efficient LLMs with Task Aware Layer Elimination

TELL-TALE：任务高效的大语言模型与任务感知的层消除

Omar Naim, Krish Sharma, Niyar R Barman, Nicholas Asher

机构 * IRIT Université de Toulouse（IRIT图卢兹大学） ； IRIT CNRS（IRIT国家科学研究中心） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 TELL-TALE通过任务感知的层消除方法优化任务性能，减少计算成本，同时在零样本和少样本设置下实现性能提升，适用于任务专用的大语言模型推理。

Comments ACL 2026 Findings

GraphMERT: Efficient and Scalable Distillation of Reliable Knowledge Graphs from Unstructured Data

GraphMERT：从非结构化数据中高效可扩展地蒸馏可靠知识图谱

Margarita Belova, Jiaxin Xiao, Shikhar Tuli, Niraj K. Jha

机构 * Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出GraphMERT，一种高效的图神经网络模型，通过蒸馏高质量知识图谱提升领域知识的可靠性与有效性。

Comments Camera-ready version. Published in Transactions on Machine Learning Research (TMLR), 2026. Reviewed on OpenReview: https://openreview.net/forum?id=tnXSdDhvqc

Journal ref Transactions on Machine Learning Research, 2026

The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs

近确定性结构输出在线策略蒸馏中的外推悬崖

Xin Li, Hao Jiang, Annan Wang, Yichi Zhang, Chau Yuen

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；LLM(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了在线策略蒸馏中近确定性结构输出任务的外推悬崖问题，推导了基于模态概率、预热质量及重要性采样剪切强度的闭式安全阈值，并展示了在Amazon Fashion数据集上通过调整参数实现模型性能提升。

PARD-2: Target-Aligned Parallel Draft Model for Dual-Mode Speculative Decoding

PARD-2：面向双模式推测解码的目标对齐并行草稿模型

Zihao An, Taichi Liu, Ziqiong Liu, Dong Li, Ruofeng Liu, Emad Barsoum

机构 * Advanced Micro Devices, Inc.（先进微器件公司） ； Rutgers University（罗格斯大学） ； Michigan State University（密歇根州立大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PARD-2，一种双模式推测解码框架，通过Confidence-Adaptive Token优化提升LLM推理效率，实验显示其在Llama3.1-8B上实现6.94倍无损加速。

Validity-Calibrated Reasoning Distillation

有效性校准的推理蒸馏

Khouloud Saadi, Di Wang

机构 * Department of Computer Science（计算机科学系） ； KAUST（科威特大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出有效性校准的推理蒸馏框架，通过动态监督机制优化学习信号分配，提升数学推理、代码生成和指令遵循任务的性能。

Mantis: Mamba-native Tuning is Efficient for 3D Point Cloud Foundation Models

Mantis：Mamba原生微调在3D点云基础模型中的高效性

Zihao Guo, Jihua Zhu, Jian Liu, Ajmal Saeed Mian

机构 * Xi’an Jiaotong University（西安交通大学） ； School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院） ； University of Western Australia（西澳大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；prompting(abstract)

AI总结 针对Mamba架构基础模型的微调问题，提出Mantis框架，通过引入状态感知适配器和双序列一致性蒸馏，实现高效且稳定的微调，仅需约5%的可训练参数。

Learning More from Less: Exploiting Counterfactuals for Data-Efficient Chart Understanding

从少量数据中学习更多：利用反事实以提高图表理解的数据效率

Jianzhu Bao, Haozhen Zhang, Kuicai Dong, Bozhi Wu, Sarthak Ketanbhai Modi, Zi Pong Lim, Yon Shin Teo, Wenya Wang

机构 * Nanyang Technological University（南洋理工大学） ； Aumovio Singapore Pte. Ltd.（Aumovio新加坡私人有限公司） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 本文提出ChartCF框架，通过反事实数据合成和多模态偏好优化，提升图表理解的反事实敏感性，实验表明其在少数据下表现优异。

Comments Accepted to ACL 2026 Main Conference

Re-Triggering Safeguards within LLMs for Jailbreak Detection

在大语言模型中重新触发安全机制以检测劫持

Zheng Lin, Zhenxing Niu, Haoxuan Ji, Yuzhe Huang, Haichang Gao

机构 * Xidian University（西安电子科技大学） ； Xi'an Jiaotong University（西安交通大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种大语言模型劫持提示检测方法，通过重新激活内部安全机制提升防御能力，实验表明其在白盒和黑盒环境下有效抵御最新劫持攻击。

Budget-Efficient Automatic Algorithm Design via Code Graph

通过代码图实现高效的预算自动算法设计

Maxime Bouscary, Manxi Wu, Saurabh Amin

机构 * Operations Research Center（运筹学研究中心） ； Department of Civil and Environmental Engineering（土木与环境工程系） ； University of California, Berkeley（加州大学伯克利分校） ； Laboratory for Information & Decision Systems（信息与决策系统实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出基于代码图的高效自动算法设计方法，通过优化搜索策略和图结构分解算法，提升算法生成效率并验证其在组合优化问题中的优越性。

Dimension-Free Saddle-Point Escape in Muon

穆隆优化器中的无维度鞍点逃离

Yanlin Long, Yufei Gu, Zeke Xie

机构 * xLeaF Lab, The Hong Kong University of Science and Technology (Guangzhou)（xLeaF实验室，香港理工大学（广州）） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文分析了穆隆优化器的鞍点逃离动态，证明其通过非线性谱形变机制避免维度诅咒，实现无维度的确定性逃离。

Comments 33 pages, 5 figures. Preprint

Quantize What Counts: More for Keys, Less for Values

量化关键：更多关键，更少值

Mohsen Hariri, Alan Luo, Weicong Chen, Shaochen Zhong, Tianyi Zhang, Qifan Wang, Xia Hu, Xiaotian Han, Vipin Chaudhary

机构 * Case Western Reserve University（凯斯西储大学） ； Rice University（Rice大学） ； Meta 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出两项定理，基于Transformer模型的内在几何特性，指导混合精度KV量化。关键投影具有更大的谱范数和Frobenius范数，优先分配精度给关键能减少量化误差并保留准确性。

Journal ref The 64th Annual Meeting of the Association for Computational Linguistics (ACL), 2026

Biosignal Fingerprinting: A Cross-Modal PPG-ECG Foundation Model

生物信号指纹：一种跨模态PPG-ECG基础模型

Zhangdaihong Liu, Chang Liu, Fenglin Liu, Yixuan Chen, Yang Yang, David A. Clifton, Xiao Gu

机构 * Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Oxford Suzhou Centre for Advanced Research（牛津苏浙先进研究中心） ； School of Public Health, Shanghai Jiao Tong University（上海交通大学公共卫生学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出生物信号指纹，通过跨模态基础模型M2AE生成紧凑且可迁移的心血管状态表示，实现无需重新训练的多任务应用，在多个任务中表现出色。

Comments 21 pages, 8 figures, 7 tables

Event Fields: Learning Latent Event Structure for Waveform Foundation Models

事件场：学习隐式事件结构用于波形基础模型

Li Na, Yuanyun Zhang, Shi Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种新的波形基础模型，通过将生理时间序列建模为隐式事件过程的实现，而非传统序列表示。该方法通过自监督学习框架，促使波形的随机分割和时间频率投影之间的一致性，提升模型对信号扰动的鲁棒性并保持事件层面的组织结构。

Towards Universal Gene Regulatory Network Inference: Unlocking Generalizable Regulatory Knowledge in Single-cell Foundation Models

迈向通用基因调控网络推断：在单细胞基础模型中解锁可泛化的调控知识

Jiaxin Qi, Hang Li, Yan Cui, Yuhua Zheng, Jianqiang Huang

机构 * Computer Network Information Center, Chinese Academy of Sciences, Beijing, China（中国科学院计算机网络信息中心，北京，中国） ； Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences, Hangzhou, China（中国科学院大学杭州高等研究院，杭州，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出两种新方法，通过单细胞基础模型提取隐含的调控信息，提升基因调控网络推断的泛化能力，实验表明优于现有方法。

Comments Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

Thermal-Det: Language-Guided Cross-Modal Distillation for Open-Vocabulary Thermal Object Detection

Thermal-Det: 语言引导的跨模态蒸馏用于开放词汇热成像目标检测

Yasiru Ranasinghe, Elim Schenck, Florence Yellin, Shuowen Hu, Christopher Funk, Vishal M. Patel

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Kitware ； DEVCOM Army Research Laboratory（国防部陆军研究实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出Thermal-Det，首个针对热成像的开放词汇检测器，通过合成数据集和跨模态蒸馏提升热成像目标检测性能，实验显示在公开基准上取得2-4%的AP提升。

Comments Accepted at CVPR 26

EchoPrune: Interpreting Redundancy as Temporal Echoes for Efficient VideoLLMs

EchoPrune: 将冗余视为时间回声以实现高效的视频大语言模型

Jiameng Li, Minye Wu, Jiezhang Cao, Aleksei Tiulpin, Matthew B. Blaschko

机构 * KU Leuven（鲁文大学） ； Shanghai Jiaotong University（上海交通大学） ； Weill Cornell Medicine（韦尔医学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出EchoPrune方法，通过将冗余视频token视为时间回声，提升视频大语言模型在固定token预算下的时间分辨率，实验表明其在六个视频理解基准上使模型处理20倍帧数，性能提升8.6%且推理速度提升5.6倍。

Comments 9 pages

Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies

学习多指标权重用于数据选择：一种联合任务-模型适应框架与高效代理

Jingze Song, Zihao Chen, Wenqing Chen, Zibin Zheng

机构 * School of Software Engineering, Sun Yat-sen University（中山大学软件学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种联合任务-模型适应框架，通过在紧凑的tiny-validation集上利用上下文学习信号，无需全量微调即可学习多指标权重，提升数据选择效率和性能。

Comments This work has been accepted at IJCAI 2026

ORICF -- Open Robotics Inference and Control Framework

ORICF -- 开源机器人推断与控制框架

Andrés Meseguer Valenzuela, Luís Miguel Bartolín Arnau

机构 * Instituto Tecnológico de Informática (ITI)（技术信息学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出ORICF框架，通过模块化设计实现多模态机器人推断流水线，支持边缘计算，降低计算开销和能耗，保持模块化和可重复性。

Comments Accepted in ICRA26 Workshop: 8th International Workshop on Robotics Software Engineering (RoSE 26)