语言大模型 / LLM

LT2: Linear-Time Looped Transformers

LT2: 线性时间循环Transformer

Chunyuan Deng, Yizhe Zhang, Rui-Jie Zhu, Yuanyuan Xu, Jiarui Liu, T. S. Eugene Ng, Hanjie Chen

机构 * Rice University（里士大学） ； Apple（苹果公司） ； UC Santa Cruz（圣克ruz大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(abstract)；small language model(abstract)；分类 cs.LG

AI总结 提出LT2系列架构，用次二次线性时间注意力替代二次softmax注意力，通过循环实现线性注意力中的迭代记忆精炼和稀疏注意力中的有效感受野扩展，在召回、状态跟踪和语言建模任务上取得一致提升，并展示了混合变体在效率和性能上的优势。

RepetitionCurse: Measuring and Understanding Router Imbalance in Mixture-of-Experts LLMs under DoS Stress

RepetitionCurse：在DoS压力下测量和理解混合专家大语言模型中的路由器不平衡

Ruixuan Huang, Qingyue Wang, Hantao Huang, Yudong Gao, Dong Chen, Shuai Wang, Wei Wang

机构 * Ruixuan Huang（黄瑞轩） ； Qingyue Wang（王庆越） ； Hantao Huang（黄翰涛） ； Yudong Gao（高宇东） ； Dong Chen（陈东） ； Shuai Wang（王帅） ； Wei Wang（王伟） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对混合专家大语言模型在推理时缺乏显式负载均衡约束的问题，提出低成本的对抗性提示方法RepetitionCurse，利用重复令牌模式操纵路由策略，导致计算瓶颈和拒绝服务攻击，显著增加端到端推理延迟。

Comments Accepted by ICML 2026

PipeSD: An Efficient Cloud-Edge Collaborative Pipeline Inference Framework with Speculative Decoding

PipeSD：一种基于推测解码的高效云边协同流水线推理框架

Yunhe Han, Yunqi Gao, Bing Hu, Mahdi Boloursaz Mashhadi, Yitong Duan, Pei Xiao, Yanfeng Zhang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 提出PipeSD框架，通过令牌批处理流水线调度和双阈值非自回归验证触发机制，解决云边协同推测解码中的资源利用率和验证灵活性瓶颈，实现1.16倍至2.16倍加速并降低14.3%-25.3%能耗。

Comments Accepted by ICML 2026. *Equal contribution. Yunhe Han and Yunqi Gao contributed equally to this work

CLIP-Guided SAM: Parameter-Efficient Semantic Conditioning for Promptable Segmentation

CLIP引导的SAM：用于可提示分割的参数高效语义条件

Shayan Jalilian, Abdul Bais

机构 * University of Regina, Regina, SK, Canada（里贾纳大学） 纠错

专题命中 效率与部署 ：language model(abstract)；foundation model(abstract)

AI总结 提出CLIP-Guided SAM框架，通过轻量级多模态语义适配器将CLIP特征注入SAM图像编码器，实现内部语义条件化，在低标注数据下提升分割性能并支持手动和半自动两种模式。

De-Linearizing Agent Traces: Bayesian Inference of Latent Partial Orders for Efficient Execution

去线性化智能体轨迹：潜在偏序的贝叶斯推断以实现高效执行

Dongqing Li, Zheqiao Cheng, Geoff K. Nicholls, Quyu Kong

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 提出BPOP贝叶斯框架，从噪声线性化轨迹中推断潜在依赖偏序，通过可处理的边界-softmax似然实现高效MCMC推理，在云基础设施任务和科学工作流上显著减少令牌使用和执行时间。

Cross-Platform Fused MoE Dispatch in Triton: Portable Expert Routing Without CUDA

跨平台融合MoE调度在Triton中的实现：无需CUDA的可移植专家路由

Subhadip Mitra

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 提出TritonMoE，一种完全基于OpenAI Triton的融合MoE调度内核，通过融合门控和上投影GEMM核减少35%全局内存流量，在NVIDIA A100上达到CUDA优化Megablocks的89-131%吞吐量，并在NVIDIA A100和AMD MI300X上零代码修改通过所有正确性测试，验证了跨平台可移植性。

Comments 12 pages, 4 figures, 6 tables

Small Models, Strong Priors: Architectural Inductive Bias for Parameter-Efficient Neural PDE Solvers

小模型，强先验：参数高效神经PDE求解器的架构归纳偏置

Shyam Sankaran, Hanwen Wang, Paris Perdikaris

机构 * Department of Mechanical Engineering and Applied Mechanics, University of Pennsylvania（宾夕法尼亚大学机械工程与应用力学系） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出WaveLiT架构，通过小模型（1-10M参数）利用小波多尺度先验实现参数高效，在多个PDE基准上媲美大100-1000倍的基础模型，并揭示先验失败模式可提供有用信号。

Motion-Compensated Weight Compression

运动补偿权重压缩

Ismail Lamaakal

机构 * Multidisciplinary Faculty of Nador Mohammed Premier University（纳多莫哈梅德 premier 大学多学科学院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出运动补偿权重压缩（MCWC）方法，通过对齐置换对称块并利用层序预测和熵编码，有效压缩神经网络权重，在Transformer语言建模和视觉分类任务中提升率-精度帕累托前沿。

Comments 54 pages, 17 tables, 6 Figures

Deep Neural Sheaf Diffusion

深度神经层扩散

Rémi Bourgerie, Šarūnas Girdzijauskas, Viktoria Fodor

机构 * School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology, Stockholm, Sweden（电气工程与计算机科学学院，皇家理工学院，斯德哥尔摩，瑞典） 纠错

专题命中 效率与部署 ：foundation model(abstract,comments)；分类 cs.LG

AI总结 针对图神经网络深层堆叠导致表示崩溃的问题，提出用层邻接算子替代层拉普拉斯算子，结合归一化、奇非线性函数和门控机制，在合成和真实数据集上显著提升深层网络性能。

Comments Accepted at the ICML 2026 Workshop on Graph Foundation Models (GFM@ICML 2026). Code available at https://github.com/remibourgerie/deep-neural-sheaf-diffusion

Triplet-Block Diffusion RWKV

三元组块扩散RWKV

Ke Lin, Yiyang Luo, Zhaolong Su, Yunya Song, Anyi Rao

机构 * William & Mary（威廉玛丽学院） ； HKUST（香港科技大学） ； Cornell（康奈尔大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 提出B^3D-RWKV，通过三元组块布局方法将RWKV的线性推理效率与双向离散扩散结合，实现并行解码，在8任务套件上达到可比精度，解码吞吐量平均提升1.6倍。

The Quantization Benefits of Residual-Free Transformers

无残差Transformer的量化优势

Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

机构 * Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学） ； DATA61, CSIRO（DATA61，CSIRO） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.LG

AI总结 本文通过对比残差与无残差Transformer，发现残差连接导致激活值非高斯性增强，从而增加量化误差；而无残差Transformer通过正交初始化等技术保持近高斯激活值，显著提升低比特量化鲁棒性，揭示了精度与可压缩性之间的权衡。

Comments Under review

EMA-Nesterov: Stabilizing Nesterov's Lookahead for Accelerated Deep Learning Optimization

EMA-Nesterov：稳定Nesterov前瞻以加速深度学习优化

Chung-Yiu Yau, Dawei Li, Athanasios Glentis, Valentyn Boreiko, Hoi-To Wai, Mingyi Hong

机构 * University of Minnesota（明尼苏达大学） ； Amazon AGI（亚马逊人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 针对深度学习优化中Nesterov动量因随机梯度噪声和非凸损失导致的不稳定性，提出EMA-Nesterov方法，用参数更新的指数移动平均替代标准前瞻方向，通过低通滤波捕捉训练轨迹的低频趋势，在凸问题中保持理论加速收敛率，并在语言模型预训练中验证了其广泛适用性和优于现有前瞻方法的性能。

Comments 25 page, 10 figures

CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation

CounterFlow: 一种用于反事实视频拟音生成的两阶段推理时采样方法

Gyubin Lee, Junwon Lee, Juhan Nam

机构 * Kim Jaechul Graduate School of AI, KAIST（金 Jaechul人工智能研究生院，韩国科学技术院） 纠错

专题命中 效率与部署 ：prompting(abstract)；分类 cs.AI

AI总结 提出CounterFlow，一种两阶段推理时采样方案，用于预训练的流匹配VT2A模型，以生成与视觉证据矛盾但时间同步的反事实视频拟音，并通过新指标评估替换质量。

Comments accepted to CVPR 2026 Workshop on Sight and Sound

Your Embedding Model is SMARTer Than You Think

你的嵌入模型比你想象的更聪明

Jianrui Zhang, Hyun Jung Lee, Sukanta Ganguly, Tae-Eui Kam, Donghyun Kim, Yong Jae Lee

机构 * UW-Madison（威斯康星大学麦迪逊分校） ； Korea University（韩国大学） ； NetApp, Inc.（NetApp公司） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI

AI总结 提出SMART框架，通过利用标准单向量模型的隐式多向量能力，在推理时应用后期交互，无需额外训练即可提升多模态检索性能。

DisDop: Distillation with Domain Priors for Open-Vocabulary Aerial Object Detection

DisDop: 基于领域先验蒸馏的开放词汇航空目标检测

Ruihao Xu, Yong Liu, Yansong Tang, Sule Bai, Xubing Ye, Bingyao Yu, Yutao Guo, Jiwen Lu, Jie Zhou

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 提出DisDop框架，通过从遥感基础模型（RemoteCLIP和DINOv3）中系统蒸馏多级领域先验知识到轻量级检测器，实现开放词汇航空目标检测的最新性能。

Forgettable Federated Linear Learning with Certified Data Unlearning

具有认证数据遗忘的可遗忘联邦线性学习

Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Renmin University of China（中国人民大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.LG

AI总结 提出一种基于预训练模型线性近似的联邦遗忘框架，通过联邦线性训练实现高效、安全且可认证的客户端数据遗忘。

Comments IEEE Transactions on Neural Networks and Learning Systems

Journal ref IEEE Transactions on Neural Networks and Learning Systems, Early Access, pp. 1-10, 2026

End-to-End Intracortical Speech Decoding from Neural Activity

从神经活动进行端到端的脑皮层内语音解码

Owais Mujtaba Khanday, Jose A. Gonzalez-Lopez, Marc Ouellet, Alberto Galdon, Gonzalo Olivares Granados

机构 * Brain, Mind, and Behavior Research Center（脑、心智与行为研究中心） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 提出基于Conformer的端到端神经解码器，无需外部语言模型即可从肌萎缩侧索硬化症（ALS）患者的脑皮层内记录中实现字符级解码，字符错误率（CER）为23.80%。

Comments Accepted at Odyssey 2026 (Lisbon)

Palette: A Modular, Controllable, and Efficient Framework for On-demand Authorized Safety Alignment Relaxation in LLMs

Palette: 一种模块化、可控且高效的框架，用于按需授权安全对齐放松的LLMs

Qitao Tan, Xiaoying Song, Arman Akbari, Arash Akbari, Yanzhi Wang, Xiaoming Zhai, Lingzi Hong, Zhen Xiang, Jin Lu, Geng Yuan

机构 * University of Georgia（佐治亚大学） ； University of North Texas（北卡罗来纳州立大学） ； Northeastern University（东北大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 提出Palette框架，通过多目标搜索识别拒绝方向并轻量级适配模型，实现按需放松授权领域的安全拒绝行为，同时保持其他区域的标准安全，支持模块化组合多领域授权。

Multitask learning with semiempirical orbital charges enables sample-efficient MLIPs

基于半经验轨道电荷的多任务学习实现样本高效的机器学习原子间势

Ihor Neporozhnii, Sjoerd Hoogland, Oleksandr Voznyy

机构 * Department of Physical and Environmental Sciences（物理与环境科学系） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； The Alliance for AI-Accelerated Materials Discovery（人工智能加速材料发现联盟） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.LG

AI总结 提出利用半经验轨道电荷进行多任务学习，通过等变模型预测轨道电荷，显著提升机器学习原子间势的样本效率和精度，减少46%能量误差并降低五倍数据需求。

Comments 16 pages, 6 figures

AERIC: Anticipatory Hidden-State Monitoring for Implicit Harmful Dialogue

AERIC：面向隐式有害对话的预期性隐藏状态监控

Jihyung Park, Saleh Afroogh, Junfeng Jiao

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 提出AERIC方法，利用生成器的隐藏状态进行同路径监控，通过短期危害预测、支持敏感抑制和提示条件残差评分，在轻量级线性监控器（仅387个可训练参数）上实现对隐式有害对话的早期检测，显著提升AUROC并降低延迟。

R5DGS: Semantic-Aware 4D Gaussian Splatting with Rigid Body Constraints for Efficient Dynamic Scene Reconstruction

R5DGS：基于刚体约束的语义感知4D高斯泼溅用于高效动态场景重建

Denis Gridusov, Maxim Popov, Sergey Kolyubin

机构 * Biomechatronics and Energy-Efficient Robotics (BE2R) Lab, ITMO University（生物机电学与节能机器人实验室，ITMO大学） 纠错

专题命中 效率与部署 ：prompting(abstract)

AI总结 提出R5DGS框架，通过紧凑身份编码和CLIP对象查找表实现语义感知的4D高斯表示，并利用刚体推理约束仅预测对象质心动力学，从而在保持轨迹合理性的同时实现11 FPS的加速。

Comments Code: https://github.com/be2rlab/r5dgs

SAM3-Assisted Training of Lightweight YOLO Models for Precision Pig Farming

SAM3辅助训练的轻量级YOLO模型用于精准养猪

Marcos Vinicius Mendes Faria, Thiago Borges Pereira, Isabella C. F. S. Condotta, Thiago Meireles Paixão, Francisco de Assis Boldt

机构 * Department of Animal Sciences, University of Illinois at Urbana-Champaign, USA（动物科学系，伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 提出利用SAM 3自动生成伪标签训练YOLOv8检测器，无需人工标注，在PigLife数据集上达到79.4% mAP，推理速度比教师模型快约200倍。

Comments Accepted for publication at the IEEE Sensors Applications Symposium (SAS 2026)

[CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation

[CLS] 还不够：基于补丁级推理与自适应聚合的多标签识别

Akang Wang, Xili Deng, Zhanxuan Hu, Yi Zhao, Yonghang Tai, Huafeng Li

机构 * Yunnan Normal University, Kunming, China（云南师范大学，昆明，中国） ； Kunming University of Science and Technology, Kunming, China（昆明理工大学，昆明，中国） 纠错

专题命中 效率与部署 ：language model(abstract)

AI总结 针对CLIP等视觉语言模型在多标签识别中因[CLS]全局表征不足的问题，提出PIAA框架，通过补丁级推理和自适应聚合实现无训练的多标签识别，在NUS-WIDE上mAP提升超6%。

MindAdapter: Few-Shot Parameter-Efficient Residual Calibration of Cross-Subject Brain-to-Visual Decoding Models

MindAdapter: 跨被试脑到视觉解码模型的少样本参数高效残差校准

Jiaxiang Liu, Jiawei Du, Xupeng Chen, Guoqi Li, Jiang Cai, Simon Fong, Mingkun Xu

机构 * Guangdong Institute of Intelligence Science and Technology（广东智能科学与技术研究院） ； Agency for Science, Technology and Research（科技研究局） ； New York University（纽约大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系） 纠错

专题命中 效率与部署 ：pretraining(abstract)

AI总结 提出MindAdapter框架，通过解耦的线性-残差级联对齐和拓扑锚定双流流形约束，实现跨被试脑到视觉解码的少样本参数高效校准。

Comments Accepted to KDD 2026 (AI4Sciences Track). 15 pages, 7 figures

Efficient Long-Horizon Vision-Language-Action Models via Static-Dynamic Disentanglement

通过静态-动态解耦实现高效长程视觉-语言-动作模型

Weikang Qiu, Huashuo Lei, Tinglin Huang, Rex Ying

机构 * Yale University（耶鲁大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 效率与部署 ：language model(abstract)

AI总结 提出DySta框架，通过将视觉输入解耦为多级静态和动态令牌，减少上下文长度并复用KV缓存，实现高效多帧集成和推理，在基准测试和真实任务中显著提升性能。

A generative pre-trained transformer with Kerr-soliton attention

一种具有克尔孤子注意力的生成式预训练变压器

Lindell M. Williams, Yan Jin, Scott B. Papp

专题命中 效率与部署 ：language model(abstract)

AI总结 提出克尔孤子注意力机制，利用谐振器中的驱动耗散非线性动力学实现物理硬件上的深度学习注意力操作，并验证了其在变压器语言模型中的高保真度生成推理。

EnCoR: An end-to-end architecture for simplifying cellular networks

EnCoR：一种简化蜂窝网络的端到端架构

Wesley Woo, Zhuowei Wen, Monniiesh Velmurugan, Richard Raad, Sylvia Ratnasamy, Scott Shenker, Shaddi Hasan

专题命中 效率与部署 ：prompting(abstract)

AI总结 提出EnCoR架构，通过移除核心网中的移动性支持，利用端到端移动性消除隧道IP锚定，在保持与现有认证、计费和QoS技术兼容的同时，降低端到端延迟和运营商成本，并在实际应用中达到与传统LTE网络相当的性能。

Articulate That Object Part (ATOP): 3D Part Articulation via Text and Motion Personalization

Articulate That Object Part (ATOP): 通过文本和运动个性化实现3D部件关节运动

Aditya Vora, Sauradip Nag, Kai Wang, Hao Zhang

机构 * Computing Science, Simon Fraser University（西蒙弗雷泽大学计算科学系） 纠错

专题命中 效率与部署 ：prompting(abstract)

AI总结 提出ATOP方法，利用文本提示和运动个性化，通过少样本微调扩散模型生成运动样本，并借助可微渲染优化部件关节参数，实现静态3D对象的部件关节运动。

Comments Accepted to ACM Transactions of Graphics, 2026

Reducing segregation in vibrated binary-sized granular mixtures by excessive small particle introduction

通过过量引入小颗粒减少振动二元尺寸颗粒混合物中的分离

Fumiaki Nakai, Kiwamu Yoshii

专题命中 效率与部署 ：prompting(abstract)

AI总结 利用离散元方法数值研究二元尺寸颗粒混合物在垂直振动下的结构，发现增加小颗粒比例可诱导大颗粒间有效排斥，抑制其分离，并在低堆积分数下形成六方相。

Comments 28 pages, 20 figures

Privacy-Preserving Local Language Models for Longitudinal Data Retrieval in Chronic Dermatologic Disease: Implementation in Pemphigus Patients

慢性皮肤病纵向数据检索中的隐私保护本地语言模型：在天疱疮患者中的实施

Abdurrahim Yilmaz, Ayşe Esra Koku Aksu, Duygu Yamen, Vefa Asli Erdemir, Mehmet Salih Gurel, Gulsum Gencoglan, Joram M. Posma, Burak Temelkuran

机构 * Division of Systems Medicine, Department of Metabolism, Digestion and Reproduction, Imperial College London（系统医学系，代谢、消化与生殖部，帝国理工学院伦敦分校） ； Department of Dermatology and Venereology, Istanbul Research and Training Hospital（皮肤科与性病科，伊斯坦布尔研究与培训医院） ； Department of Dermatology and Venereology, Istanbul Medeniyet University（皮肤科与性病科，伊斯坦布尔梅德尼yet大学） ； Department of Dermatology and Venereology, Istanbul Medicana Atakoy Hospital（皮肤科与性病科，伊斯坦布尔Medicana阿塔科伊医院） 纠错

专题命中 领域大模型 ：SLM(summary_cn,abstract)；language model(title,abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估了本地部署的隐私保护小型语言模型（SLM）在天疱疮患者长期随访记录中检索结构化临床特征并生成纵向摘要的能力，结果显示SLM在特征检索任务中平均准确率达82.25%，且医生对AI生成摘要的质量、临床准确性和实用性评分较高。