语言大模型 / LLM

MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models

MedPruner: 面向高效3D医学图像理解的免训练层次化令牌剪枝框架

Shengyuan Liu, Zanting Ye, Yunrui Lin, Chen Hu, Wanting Geng, Xu Han, Bulat Ibragimov, Yefeng Zheng, Yixuan Yuan

机构 * Chinese University of Hong Kong（香港中文大学） ； Westlake University（西湖大学） ； Southern Medical University（南方医科大学） ； Jiangnan University（江南大学） ； Dalian University of Technology（大连理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出MedPruner，一种免训练、模型无关的层次化令牌剪枝框架，通过帧间锚点过滤和动态信息核选择，在保留不到5%视觉令牌时保持甚至提升模型性能，显著降低计算开销。

Comments 11 pages

Use What You Know: Causal Foundation Models with Partial Graphs

利用已知信息：带有部分图结构的因果基础模型

Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

机构 * University of Cambridge（剑桥大学） ； Gatsby Computational Neuroscience Unit（加布特计算神经科学单位） ； Prior Labs（Prior实验室） ； University of Freiburg（弗赖堡大学） ； The Alan Turing Institute（艾伦·图灵研究所） ； University of Oxford（牛津大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出在因果基础模型中注入因果图或祖先信息的方法，利用图卷积编码器和注意力机制有效利用部分因果信息，使通用模型匹配专用模型性能。

Journal ref ICML 2026

DeMaVLA: A Vision-Language-Action Foundation Model for Generalizable Deformable Manipulation

DeMaVLA：面向可泛化可变形物体操作的视觉-语言-动作基础模型

Taiyi Su, Jian Zhu, Tianjian Wang, Youzhang He, Zitai Huang, Jianjun Zhang, Chong Ma, Hanyang Wang, Tianjiao Zhang, Munan Yin, Weihao Ding, Yi Xu

机构 * Tongji University（同济大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出DeMaVLA模型，采用VLM骨干与动作专家结合流匹配生成连续动作，通过剪枝Transformer层提升效率，并利用大规模真实世界数据和人类反馈数据聚合训练，实现可变形物体折叠操作的多类别泛化。

Comments 14 pages, 2 figures

Depth-Attention: Cross-Layer Value Mixing for Language Models

深度注意力：语言模型的跨层值混合

Boyi Zeng, Yiqin Hao, Zitong Wang, Shixiang Song, He Li, Feichen Song, Yifan Liu, Ziwei He, Xinbing Wang, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Sun Yat-sen University（中山大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 效率与部署 ：language model(title)；LLM(abstract_cn)；分类 cs.CL

AI总结 提出深度注意力机制，在注意力模块内部实现跨层值混合，无需额外参数和推理状态，提升语言模型性能。

Comments 21 pages, 4 figures, 9 tables

Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

受神经启发的多模态视觉-语言模型对成员推断隐私泄露是否具有弹性？

David Amebley, Sayanton Dibbo

机构 * The University of Alabama（阿拉巴马大学） ； Alabama Center for the Advancement of AI（阿拉巴马人工智能 advancement 中心） ； Trustworthy AI Lab（可信人工智能实验室） ； Department of Computer Science, The University of Alabama（计算机科学系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 研究受神经启发的多模态视觉-语言模型（VLM）对基于图像-文本的成员推断攻击的弹性，提出拓扑正则化框架，实验表明神经VLM在保持模型效用同时显著降低攻击成功率。

Comments Accepted at USENIX WOOT '26

Kalman Linear Attention: Parallel Bayesian Filtering For Efficient Language Modelling and State Tracking

Kalman线性注意力：用于高效语言建模和状态跟踪的并行贝叶斯滤波

Vaisakh Shaj, Cameron Barker, Aidan Scannell, Andras Szecsenyi, Elliot J. Crowley, Amos Storkey

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 提出Kalman线性注意力层，将序列混合重写为信息形式的精确贝叶斯滤波，实现时间并行推理，在相同计算成本下比GLA更具表达力，并在状态跟踪任务中超越线性SSM和注意力。

Comments Accepted at ICML 2026. An earlier version of this work was presented at the 1st Workshop on Epistemic Intelligence in Machine Learning (EIML) at EurIPS 2025

Diffusion-based Cumulative Adversarial Purification for Vision Language Models

基于扩散的累积对抗净化方法用于视觉语言模型

Jia Fu, Yongtao Wu, Yihang Chen, Kunyu Peng, Xiao Zhang, Volkan Cevher, Sepideh Pashami, Anders Holst

机构 * KTH Royal Institute of Technology（皇家理工学院） ； Swiss Federal Institute of Technology Lausanne（洛桑联邦理工学院） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍兹中心） ； RISE Research Institutes of Sweden（瑞典RISE研究机构） ； Halmstad University（哈马碧大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出DiffCAP，一种基于扩散的对抗净化策略，通过理论证明对抗效应随扩散单调衰减，并利用噪声注入与VLM嵌入相似度阈值自适应净化，显著提升防御效果并加速去噪。

Comments Accepted to Transactions on Machine Learning Research (TMLR 2026)

Collaborative Edge-to-Server Inference for Vision-Language Models

面向视觉-语言模型的协作式边缘到服务器推理

Soochang Song, Yongjune Kim

机构 * Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)（电气工程系，波扬科学技术大学（POSTECH）） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出一种协作式边缘到服务器推理框架，通过两阶段选择性重传策略，在降低通信成本的同时保持视觉-语言模型的推理精度。

Comments 12 pages, 15 figures, 3 tables

Focus-then-Context: Subject-Centric Progressive Visual Token Reduction for Vision-Language Models

聚焦-然后-上下文：面向视觉-语言模型的主体导向渐进视觉标记缩减

Yulin Zhao, Zheng Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳学院） ； ShenZhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种主体导向的渐进视觉标记缩减方法SPpruner，通过模拟人类视觉感知系统的'聚焦-然后-上下文'机制，有效减少视觉标记数量，提升视觉-语言模型的推理效率，实验表明其在速度和资源消耗上均优于现有方法。

VDC-Agent: When Video Detailed Captioners Evolve Themselves via Agentic Self-Reflection

VDC-Agent：当视频详细描述器通过代理自我反思而自我进化

Qiang Wang, Xinyuan Gao, Yuhang He, Jizhou Han, Jiangyang Li, SongLin Dong, Zhiheng Ma, Yihong Gong

机构 * Xi’an Jiaotong University（西安交通大学） ； Kuaishou Technology（快手科技） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 VDC-Agent通过自我反思机制实现视频详细描述的自我进化，利用自动生成的(描述，评分)对提升描述准确性与评分表现。

Comments Accepted to ECCV 2026. Project Page: https://vdcagent.github.io

Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update

代理探索与可重用引导：基于代理引导更新信号的模块化大语言模型训练后范式

Daocheng Fu, Rong Wu, Yu Yang, Jianbiao Mei, Licheng Wen, Pinlong Cai, Xuemeng Yang, Yong Liu, Botian Shi, Yu Qiao

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型训练后优化信号耦合问题，提出PUST框架，通过代理模型探索、提取并传输相对改进信号，解耦更新信号探索与分布对齐，减少计算开销，支持异步处理与跨模型转移，提升训练后范式的模块化、可重用性与效率。

Goose: Anisotropic Speculation Trees for Training-Free Speculative Decoding

Goose：用于无训练推测解码的各向异性推测树

Tao Jin, Phuong Minh Nguyen, Naoya Inoue

机构 * Japan Advanced Institute of Science and Technology (JAIST)（日本先端科学技术大学院大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Goose通过构建适应性脊柱树，利用高接受率的上下文匹配令牌和低接受率的替代分支，实现无训练推测解码的各向异性树结构，提升解码速度。

Towards Realistic Guarantees: A Probabilistic Certificate for SmoothLLM

迈向现实保证：一种概率证书用于SmoothLLM

Adarsh Kumarappan, Ayushi Mehrotra

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出一种概率框架，通过(k, ε)-unstable假设提升LLM对抗劫持攻击的安全性保障。

An Empirical Study of openPangu Quantization on Ascend NPUs

OpenPangu在昇腾NPU上量化的实证研究

Tong Shi, Jiacheng Wang, Hui Xie, Ying Li, Aishan Liu, Jinyang Guo, Xianglong Liu

机构 * State Key Laboratory of Complex & Critical Software Environment, Beihang University（北京航空航天大学复杂关键软件环境国家重点实验室） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文在昇腾910B1 NPU上系统评估了OpenPangu 1B和7B模型在多种后训练量化方法下的表现，发现8-bit权重量化无损，4-bit对7B模型可行但对1B模型有显著损害，极低比特量化仍具挑战。

When Drafts Evolve: Speculative Decoding Meets Online Learning

当草稿进化：推测解码与在线学习的交汇

Yu-Yang Qian, Hao-Cong Wu, Yichao Fu, Hao Zhang, Peng Zhao

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出OnlineSpec框架，利用交互反馈持续进化草稿模型，通过动态遗憾最小化建立在线学习性能与推测系统加速率的联系，实现24%的加速提升。

Comments ICML 2026

CUDA-L2: Surpassing cuBLAS Performance for Matrix Multiplication through Reinforcement Learning

CUDA-L2：通过强化学习超越cuBLAS在矩阵乘法上的性能

Songqiao Su, Xiaoya Li, Albert Wang, Guoyin Wang, Jiwei Li, Chris Shum

机构 * DeepReinforce Team（DeepReinforce 团队） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究提出CUDA-L2系统，结合大语言模型与强化学习自动优化HGEMM的CUDA内核，以CUDA执行速度为奖励，在多种配置上优化。实验表明其在离线和服务器模式下均超越主要基线，证明可通过该方法改进关键内核。

Comments Project code: github.com/ornith-ai/CUDA-L2

RooflineBench: A Benchmarking Framework for On-Device LLMs via Roofline Analysis

RooflineBench：通过 Roofline 分析为设备端 LLMs 提供的基准测试框架

Zhen Bi, Xueshu Chen, Luoyang Sun, Yuhang Yao, Qing Shen, Jungang Lou, Cheng Deng

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于 Roofline 模型的统一框架，通过操作强度（OI）统一架构原语和硬件约束，引入相对推理潜力作为新指标，分析不同 LLMs 在相同硬件上的效率差异，并揭示序列长度和模型深度对性能和 OI 的影响。

From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model

从生成器到嵌入器：通过构建零样本判别嵌入模型来利用多模态大语言模型的固有能力

Yeong-Joon Ju, Seong-Whan Lee

机构 * Department of Artificial Intelligence（人工智能系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种高效框架，通过构建零样本判别嵌入模型，利用多模态大语言模型的固有能力，提升多模态表示空间的鲁棒性和零样本嵌入能力。

Comments Accepted to IEEE Transactions on Multimedia (T-MM)

RAP: KV-Cache Compression via RoPE-Aligned Pruning

基于RoPE对齐的KV缓存压缩（RAP）

Jihao Xin, Tian Lyu, David Keyes, Hatem Ltaief, Marco Canini

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 RAP通过RoPE对齐剪枝技术，有效压缩KV缓存、注意力参数和FLOPs，同时保持模型精度，显著降低推理延迟。

Predict-then-Diffuse: Adaptive Response Length for Compute-Budgeted Inference in Diffusion LLMs

预测后扩散：面向扩散大语言模型的自适应响应长度计算

Michael Rottoli, Subhankar Roy, Stefano Paraboschi

机构 * IEEE 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Predict-then-Diffuse框架，通过自适应响应长度预测器和安全机制，实现计算预算下的高效推理，减少计算成本并保持输出质量。

Comments Accepted for publication in IJCNN 2026 (International Joint Conference on Neural Networks)

REGEN: Replay-recycling for Expert-to-Generalist distillation with Offline Reinforcement Learning

REGEN：用于从专家到通用模型蒸馏的离线强化学习的重放回收

Yunjie Chen, Xiaoxin Chen, Fang Wang

机构 * vivo AI Lab（vivo人工智能实验室） ； Department of Computer Science, Sun Yat-Sen University（中山大学计算机科学系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型强化学习扩展的挑战，提出REGEN方法，通过回收重放记忆并运用离线强化学习算法训练通用模型，解耦训练过程，降低成本，在多任务上以低成本达类似准确率，还可能变革在线强化学习及扩展训练阶段。

TRACE-ROUTER: Task-Consistent and Adaptive Online Routing for Agentic AI

TRACE-ROUTER：用于智能AI的任务一致且自适应的在线路由

Ritik Raj, Souvik Kundu, Sarbartha Banerjee, Dheemanth Joshi, Ishita Vohra, Tushar Krishna

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Intel（英特尔公司） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对企业AI中现有路由决策与智能应用任务级结果不匹配问题，提出TRACE-Router任务级路由框架，利用上下文博弈、终端奖励更新策略，在多基准测试中改善准确性-延迟权衡，取得较好效果。

ChipChat: Low-Latency Cascaded Conversational Agent in MLX

ChipChat：MLX 中的低延迟级联对话代理

Tatiana Likhomanenko, Richard He Bai, Zijin Gu, Zakaria Aldeneh, Shiladitya Dutta, Luke Carlson, Han Tran, Yizhe Zhang, Ruixiang Zhang, Huangjie Zheng, Navdeep Jaitly

机构 * Apple（苹果公司） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 探讨实时设备语音代理最佳架构问题，介绍低延迟级联系统 ChipChat，它通过架构创新和流优化克服传统瓶颈，集成多种技术，用 MLX 实现亚秒级响应延迟，为实用语音 AI 代理发展提供新路径。

Comments best demo paper award ASRU 2025

Journal ref ASRU 2025

Too Polite to Disagree: Understanding Sycophancy Propagation in Multi-Agent Systems

过于礼貌而不反驳：理解多智能体系统中的趋炎附势传播

Vira Kasprova, Amruta Parulekar, Abdulrahman AlRabah, Krishna Agaram, Ritwik Garg, Sagar Jha, Nimet Beyza Bozdag, Dilek Hakkani-Tur

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨多智能体系统中趋炎附势行为的影响，通过实验发现提供趋炎附势先验信息可减少影响、缓解错误连锁反应并提升讨论准确性。

Journal ref Proceedings of the 27th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2026), pages 795-814, Association for Computational Linguistics

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache

NSNQuant：一种用于KV缓存无校准低比特向量量化的双重归一化方法

Donghyun Son, Euntae Choi, Sungjoo Yoo

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型KV缓存内存密集问题，NSNQuant提出一种无校准向量量化技术，通过三步变换结合哈达玛变换使令牌分布与标准正态分布对齐，在1比特和2比特设置下优于先前方法，提升吞吐量。

Train at Moving Edge: Online-Verified Prompt Selection for Efficient RL Training of Large Reasoning Model

在移动边缘训练：一种在线验证的提示选择方法用于大型推理模型的高效强化学习训练

Jiahao Wu, Ning Lu, Shengcai Liu, Kun Wang, Yanting Yang, Bailong Lin, Chen Jason Zhang, Li Qing, Ke Tang

机构 * Southern University of Science and Technology（南方科技大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The Hong Kong University of Science and Technology（香港科学理工大学） ； Nanyang Technological University（南洋理工大学） ； Rutgers University（罗格斯大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学理工大学（广州）） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出HIVE方法，通过历史奖励轨迹和实时提示熵实现高效RL训练，提升提示选择效率而不牺牲性能。

MACD: Model-Aware Contrastive Decoding via Counterfactual Data

MACD：基于反事实数据的模型感知对比解码

Qixin Xiao, Kun Zhou

机构 * University of Michigan, Ann Arbor, MI, USA（密歇根大学，安娜堡分校） ； University of California San Diego, La Jolla, CA, USA（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MACD方法，利用视频语言模型自身反馈识别导致幻觉的目标区域，生成目标级反事实输入，结合对比解码减少幻觉，提升多模型在复杂场景下的准确性。

T-VSS: Test-Time Visual Subspace Steering for Adversarial Robustness of Vision-Language Models

T-VSS：面向视觉语言模型对抗鲁棒性的测试时视觉子空间引导

Jaehyuk Jang, Minseok Seo, Seungju Cho, Kangwook Ko, Changick Kim

机构 * School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 提出T-VSS方法，通过在视觉特征空间中构建样本特定的低秩子空间并学习共享特征校正，直接适应受攻击特征，提升视觉语言模型的对抗鲁棒性，同时保持清洁准确率和效率。

Pathryoshka: Compressing Pathology Foundation Models via Multi-Teacher Knowledge Distillation with Nested Embeddings

Pathryoshka: 通过多教师知识蒸馏与嵌套嵌入压缩病理基础模型

Christian Grashei, Christian Brechenmacher, Rao Muhammad Umer, Jingsong Liu, Carsten Marr, Peter J. Schüffler, Ewa Szczurek

机构 * Technical University of Munich（慕尼黑技术大学） ； Helmholtz Munich（马克斯·普朗克研究所慕尼黑分部） ； Munich Data Science Institute（慕尼黑数据科学研究所） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 Pathryoshka通过多教师知识蒸馏与嵌套嵌入技术，显著压缩病理基础模型规模，同时保持性能和精度，提升模型的可部署性与普及性。

Comments Author list in metadata corrected to match the paper

Majorization-Guided Test-Time Adaptation for Vision-Language Models under Modality-Specific Shift

基于主导性的测试时适应以应对视觉-语言模型在模态特定偏移下的表现

Lixian Chen, Mingxuan Huang, Yanhui Chen, Junyi Lin, Yang Shi

机构 * Guangdong University of Technology（广东工业大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文研究了视觉-语言模型在部署时视觉与文本分支不对称偏移的问题，提出MG-MTTA方法通过控制模态可靠性而非仅预测熵来提升性能。

Comments Accepted by ACM MM 2026