语言大模型 / LLM

Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models

自蒸馏推理器：用于大型语言模型的在线自蒸馏

Siyan Zhao, Zhihui Xie, Mengchen Liu, Jing Huang, Guan Pang, Feiyu Chen, Aditya Grover

机构 * Meta Superintelligence Labs（Meta 超智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出自蒸馏推理器，通过单个LLM同时担任教师和学生，利用特权信息提升推理效率，优于强化学习和离线蒸馏方法。

Comments code is released here: https://github.com/siyan-zhao/OPSD

Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models

语义标记聚类用于大型语言模型中的高效不确定性量化

Qi Cao, Andrew Gambardella, Takeshi Kojima, Yutaka Matsuo, Yusuke Iwasawa

机构 * The University of Tokyo（东京大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出语义标记聚类方法，通过语义信息高效量化大型语言模型的不确定性，无需辅助模型且计算开销低。

Comments EACL 2026

PoC: Performance-oriented Context Compression for Large Language Models via Performance Prediction

PoC：通过性能预测实现面向性能的上下文压缩

Runsong Zhao, Shilei Liu, Jiwei Tang, Langming Liu, Haibin Chen, Weidong Zhang, Yujin Yuan, Tong Xiao, Jingbo Zhu, Wenbo Su, Bo Zheng

机构 * Northeastern University, China（东北大学，中国） ； Tsinghua University（清华大学） ； Future Living Lab of Alibaba（阿里巴巴未来生活实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出PoC方法，通过设定性能底线而非压缩比来优化大语言模型的上下文压缩，设计两种预测器并验证其在问答和摘要任务中的性能优势。

FastMMoE: Accelerating Multimodal Large Language Models through Dynamic Expert Activation and Routing-Aware Token Pruning

FastMMoE：通过动态专家激活和路由感知的标记剪枝加速多模态大语言模型

Guoyang Xia, Yifeng Ding, Fengfa Li, Lei Ren, Wei Chen, Fangxiang Feng, Xiaojie Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Li Auto（利亚自动化） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出FastMMoE，一种无需训练的加速框架，通过动态专家激活和路由感知标记剪枝，显著降低计算量并保持性能，优于现有基线方法。

LLM-MRD: LLM-Guided Multi-View Reasoning Distillation for Fake News Detection

LLM-MRD: 基于大语言模型的多视角推理蒸馏用于虚假新闻检测

Weilin Zhou, Shanwen Tan, Enhao Gu, Yurong Qian

机构 * Xinjiang University, Urumqi, China（新疆大学） ； Sichuan University, Chengdu, China（四川大学） ； Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University, Urumqi, China（丝绸之路多语种认知计算国际联合实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LLM-MRD框架，通过多视角推理蒸馏提升虚假新闻检测性能，实验显示在准确率和F1-Fake指标上均优于现有方法。

Comments Accepted at DASFAA 2026 (Oral)

Utility-Guided Agent Orchestration for Efficient LLM Tool Use

基于效用的代理协调以提高大语言模型工具使用效率

Boyan Liu, Gongming Zhao, Hongli Xu

机构 * University of Science and Technology of China（科学技术大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种基于效用的代理协调策略，通过平衡收益、成本、不确定性及冗余性来优化大语言模型工具使用中的质量与成本权衡。实验表明显式协调信号显著影响代理行为。

Automated Membership Inference Attacks: Discovering MIA Signal Computations using LLM Agents

自动化成员推断攻击：利用LLM代理发现MIA信号计算

Toan Tran, Olivera Kotevska, Li Xiong

机构 * Emory University（埃默里大学） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出AutoMIA框架，利用LLM代理自动化设计和实现新的成员推断攻击策略，通过系统探索攻击策略空间，发现新型攻击方法，实验显示在目标模型和数据集上提升AUC达0.18。

PFM-VEPAR: Prompting Foundation Models for RGB-Event Camera based Pedestrian Attribute Recognition

基于RGB事件相机的行人属性识别的PFM-VEPAR：用于基础模型的提示方法

Minghe Xu, Rouying Wu, ChiaWei Chu, Xiao Wang, Yu Li

机构 * City University of Macau（澳门城市大学） ； Zhuhai College of Science and Technology（珠海科学技术学院） ； Macau University of Science and Technology（澳门科学大学） ； School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） 纠错

专题命中 效率与部署 ：foundation model(title)；prompting(title)；分类 cs.AI、cs.LG

AI总结 本文提出PFM-VEPAR，通过轻量级DCT和IDCT提取事件域特征，结合外部记忆库和Hopfield网络提升行人属性识别的准确性与效率。

Adapting a Pre-trained Single-Cell Foundation Model to Spatial Gene Expression Generation from Histology Images

适应预训练的单细胞基础模型以从组织学图像生成空间基因表达

Donghai Fang, Yongheng Li, Zhen Wang, Yuansong Zeng, Wenwen Min

机构 * Sun Yat-sen University（中山大学） ； Yunnan University（云南大学） ； Chongqing University（重庆大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 本文提出HINGE模型，通过引入SoftAdaLN和扩散目标，将预训练的单细胞基础模型适配为条件表达生成器，提升了组织学图像生成空间基因表达的性能。

Comments Accepted by CVPR 2026

ZOO-Prune: Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models

ZOO-Prune：基于零阶梯度估计的训练自由token剪枝方法用于视觉-语言模型

Youngeun Kim, Youjia Zhang, Huiling Liu, Aecheon Jung, Sunwoo Lee, Sungeun Hong

机构 * Amazon（亚马逊公司） ； Sungkyunkwan University（成均馆大学） ； Inha University（inha大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文提出ZOO-Prune方法，通过零阶梯度估计在视觉-语言模型中实现无需训练的token剪枝，实验表明其在剪枝94.4%token的同时保持精度，并提升推理效率2.3倍。

Overreliance on AI in Information-seeking from Video Content

对视频内容信息检索中过度依赖AI的研究

Anders Giovanni Møller, Elisa Bassignana, Francesco Pierri, Luca Maria Aiello

机构 * IT University of Copenhagen（丹麦技术大学） ； Bocconi University（博科尼大学） ； Politecnico di Milano（米兰理工学院） ； Pioneer Centre for AI（先锋人工智能中心） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究探讨生成式AI对视频信息检索准确性、效率及信心的影响，发现AI辅助提升准确率但易导致过度依赖，进而引发安全风险。

Detecting Cryptographically Relevant Software Packages with Collaborative LLMs

通过协作大语言模型检测具有加密相关性的软件包

Eduard Hirsch, Kristina Raab, Tobias J. Bauer, Daniel Loebenberger

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出利用协作大语言模型作为启发式工具，通过多数投票聚合多个模型输出，实现对加密资产的自动发现，减少人工工作量并辅助后量子密码学过渡。

Comments published at ICISSP (https://icissp.scitevents.org/)

Journal ref Proceedings of the 12th International Conference on Information Systems Security and Privacy (ICISSP 2026), Vol. 2, pp. 354-365, SciTePress, 2026

Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion

探测以精炼：通过解释性反向实现大语言模型的强化蒸馏

Zhen Tan, Chengshuai Zhao, Song Wang, Jundong Li, Tianlong Chen, Huan Liu

机构 * Arizona State University（亚利桑那州立大学） ； University of Virginia（弗吉尼亚大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ExGRPO框架，通过生成解释性探测和强化学习提升蒸馏模型的推理能力和泛化能力，实验显示在12个数据集上显著提升性能。

Comments Accepted to ICLR 2026

Engineering-Oriented Symbolic Regression: LLMs as Physics Agents for Discovery of Simulation-Ready Constitutive Laws

面向工程的符号回归：LLMs作为物理代理用于发现可模拟的本构定律

Yue Wu, Tianhao Su, Mingchuan Zhao, Shunbo Hu, Deng Pan

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种面向工程的符号回归框架，利用LLMs作为物理代理，解决传统工程拟合和数据驱动方法之间的矛盾，通过自动合成物理约束发现稳定的本构定律。

Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter

驯服长尾：通过自适应草案器实现高效的推理强化学习训练

Qinghao Hu, Shang Yang, Junxian Guo, Xiaozhe Yao, Yujun Lin, Yuxian Gu, Han Cai, Chuang Gan, Ana Klimovic, Song Han

机构 * MIT（麻省理工学院） ； ETH Zurich（苏黎世联邦理工学院） ； NVIDIA（英伟达） ； MIT-IBM AI Lab（麻省理工-IBM人工智能实验室） ； MIT, NVIDIA（麻省理工学院、英伟达） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TLT系统，通过自适应草案器和自适应回放引擎，解决强化学习训练中响应生成的长尾分布问题，实现1.7倍的训练加速并保持模型精度。

Speculating Experts Accelerates Inference for Mixture-of-Experts

专家推测加速混合专家模型推理

Vivan Madan, Prajwal Singhania, Abhinav Bhatele, Tom Goldstein, Ashwinee Panda

机构 * University of Maryland（马里兰大学） ； TogetherAI 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种专家预取方案，利用当前计算的内部表示推测未来专家，减少CPU-GPU传输开销，实现14%的TPOT提升，并通过轻量估计器优化预测精度。

Significance-Gain Pair Encoding for LLMs: A Statistical Alternative to Frequency-Based Subword Merging

显著性-增益配对编码用于LLMs：一种基于统计的替代子词合并方法

Azam Nouri

机构 * Department of Science, Technology & Mathematics（科学、技术与数学系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Significance-Gain BPE，通过统计方法改进子词合并，提升LLM的预测效率和压缩性能，实验显示在WikiText-103上验证了其有效性。

Comments 8 pages, 1 figures

Reinforcement Unlearning via Group Relative Policy Optimization

通过群体相对策略优化实现强化反学习

Efstratios Zaradoukas, Bardh Prenkaj, Gjergji Kasneci

机构 * Chair of Responsible Data Science（负责任数据科学教授职位） ； Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 效率与部署 ：LLM(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出PURGE方法，通过群体相对策略优化框架将反学习建模为可验证问题，有效减少敏感数据影响，提升模型流畅性和鲁棒性，实验表明其在反学习效果和实用性上优于现有方法。

Comments Accepted to ICLR 2026

BitSkip: An Empirical Analysis of Quantization and Early Exit Composition in Transformers

BitSkip：Transformer中量化与早退机制的实证分析

Ramshankar Bhuvaneswaran, Handan Liu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过BitSkip框架实证分析Transformer中量化与早退机制的交互作用，发现简单8位量化模型在性能和速度上均优于更复杂的4位和Hadamard增强模型，并与全精度基线持平。

Optimal Scalar Quantization for Matrix Multiplication: Closed-Form Density and Phase Transition

矩阵乘法最优标量量化：闭式密度与相变

Calvin Ang, Sungyoon Kim, Mert Pilanci

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究矩阵乘法前的逐元素标量量化，推导高分辨率下MSE的闭式密度和相变特性，适用于矩阵乘法量化和大语言模型激活量化。

dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3

dinov3.seg: 基于DINOv3的开放词汇语义分割

Saikat Dutta, Biplab Banerjee, Hamid Rezatofighi

机构 * IITB-Monash Research Academy（IITB-莫纳什研究学院） ； IIT Bombay（印度理工学院班加罗尔） ； Monash University（莫纳什大学） 纠错

专题命中 效率与部署 ：language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文提出dinov3.seg，通过改进DINOv3模型实现开放词汇语义分割，结合文本嵌入与视觉特征，提升复杂场景下的分割精度与鲁棒性。

L-PRISMA: An Extension of PRISMA in the Era of Generative Artificial Intelligence (GenAI)

L-PRISMA：生成人工智能时代PRISMA的扩展

Samar Shailendra, Rajan Kadel, Aakanksha Sharma, Islam Mohammad Tahidul, Urvashi Rahul Saxena

机构 * School of IT \& Engineering (SITE), Melbourne Institute of Technology, Melbourne, Australia. s\ 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出L-PRISMA框架，结合人工合成与生成式人工智能辅助的统计预筛选步骤，提升系统综述流程的可重复性和透明度。

Comments ICMET 2025

WVA: A Global Optimization Control Plane for llmd

WVA: 一种面向大语言模型的全局优化控制平面

Abhishek Malvankar, Lionel Villard, Mohammed Abdi, Tommaso Sgreccia, Evgeny Shindin, Braulio Dumba, Vishakha Ramani, Asser Tantawi, Tamar Eilam

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出WVA，一种专为大语言模型设计的控制平面，通过紧密耦合缩放决策与推理服务器内部饱和状态，提升吞吐量并减少请求失败，相比HPA实现37%的有效吞吐量提升和10倍的请求失败减少。

Parameter-Efficient Token Embedding Editing for Clinical Class-Level Unlearning

参数高效令牌嵌入编辑用于临床类级反学习

Iyad Ait Hou, Shrenik Borad, Harsh Sharma, Pooja Srinivasan, Rebecca Hwa, Aya Zirikly

机构 * Department of Computer Science, The George Washington University（乔治华盛顿大学计算机科学系） ； Center for Speech and Language Processing, Johns Hopkins University（约翰霍普金斯大学语音与语言处理中心） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出STEU方法，通过稀疏嵌入编辑实现高效类级反学习，在不修改深层编码器的情况下，有效抑制目标类并保持任务性能。

Comments 10 pages

RouterKGQA: Specialized--General Model Routing for Constraint-Aware Knowledge Graph Question Answering

RouterKGQA: 专用-通用模型路由用于约束感知的知识图谱问答

Bo Yuan, Hexuan Deng, Xuebo Liu, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳研究院） ； Zhongguancun Academy, Beijing, China（中关村学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL

AI总结 RouterKGQA提出专用-通用模型协作框架，通过专用模型生成推理路径，通用模型在必要时进行知识图谱引导修复，提升性能并降低成本，实验显示在多个基准上F1和Hits@1均优于现有最佳方法。

HyEvo: Self-Evolving Hybrid Agentic Workflows for Efficient Reasoning

HyEvo：自演化混合代理工作流用于高效推理

Beibei Xu, Yutong Ye, Chuyun Shen, Yingbo Zhou, Cheng Chen, Mingsong Chen

机构 * East China Normal University（华东师范大学） ； Beihang University（北京航空航天大学） ； Shanghai University of International Business and Economics（上海对外经贸大学） ； Fudan University（复旦大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI

AI总结 HyEvo通过混合原子合成方法，结合概率LLM节点和确定性代码节点，提升推理效率，减少计算成本和延迟。

TinyML Enhances CubeSat Mission Capabilities

TinyML增强立方卫星任务能力

Luigi Capogrosso, Michele Magno

机构 * Interdisciplinary Transformation University of Austria（奥地利跨学科转型大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：post-training(abstract)

AI总结 本文提出基于TinyML的卷积神经网络优化部署流程，用于立方卫星 onboard 图像分类，实现高效能、低能耗的推理，通过结构化迭代剪枝和量化压缩，降低内存和存储需求，满足实时处理需求。

Comments Accepted at the 17th ACM/IEEE International Conference on Cyber-Physical Systems (ICCPS) 2026

FeatureSLAM: Feature-enriched 3D gaussian splatting SLAM in real time

FeatureSLAM: 实时特征增强的3D高斯点云SLAM

Christopher Thirgood, Oscar Mendez, Erin Ling, Jon Storey, Simon Hadfield

机构 * CVSSP, Computer Science and Electronic Engineering, University of Surrey（Surrey大学计算机科学与电子工程系） ； Surrey Institute for People-Centered Artificial Intelligence, University of Surrey（Surrey大学人中心人工智能研究所） ； Industrial 3D Robotics（Industrial 3D Robotics公司） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 本文提出一种实时SLAM系统，结合高效相机跟踪与逼真特征映射，利用3D高斯点云技术。核心贡献是将密集特征栅格化整合到新视角合成中，提升语义准确性，优于传统RGB-D输入，增强跟踪与映射精度。