语言大模型 / LLM

PyroDash: Cost-Efficient Token-Level Small-Large Language Model Collaborative Inference

PyroDash：具有成本效益的令牌级小语言模型与大语言模型协作推理

Niqi Lyu, Pengtao Shi, Wei Qiu, Jianlin Zhong, Sicong Xia, Jianyao Ma, Yicheng Ding

机构 * Pyromind Dynamics Inc.（Pyromind动力学公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)

AI总结 研究针对大语言模型推理成本高、小语言模型可靠性低的问题，提出PyroDash框架，通过令牌级协作推理，分三阶段训练小语言模型，在数学推理基准测试中能支持不同操作点，可减少大语言模型使用并保持推理性能。

Comments 19 pages, 3 figures

Efficient Clustering with Provable Guardrails for LLM Inference at Scale

大规模LLM推理中具有可证明护栏的高效聚类

Longshaokan Wang, Wai Tsang Keung, Punit Ghodasara, Roman Wang, Ali Dashti, Francesc Moreno-Noguer

机构 * Amazon（亚马逊） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；foundation model(abstract)；分类 cs.LG

AI总结 研究针对大规模LLM推理成本和延迟瓶颈，提出两阶段聚类算法，先用Mini-batch K-Means生成初始聚类，再在其中选代表，能保证逐样本质量控制，运行高效且可扩展，相比常见方法有显著优势，部署后大幅降低成本和延迟。

Comments Accepted for presentation at ICML HiLD workshop 2026 (non-archival)

AdaHome: An Adaptive Smart Home Assistant using Local Small Language Models

AdaHome：一种使用本地小语言模型的自适应智能家居助手

Eu Jin Lim, Zhaoxing Li, Sebastian Stein

机构 * University of Southampton（南安普顿大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 研究旨在解决智能家居助手问题，提出AdaHome，通过意图感知规划框架、草稿链策略及偏好适应机制，在本地小语言模型上实现高效决策与个性化，实验显示其在命令准确性、延迟及多轮场景中有良好表现。

GeoTrace: Geometry-Aware Trajectory Token Compression for Video Large Language Models

GeoTrace：用于视频大语言模型的几何感知轨迹令牌压缩

Guohuan Xie, Mengqi Lei, Chuan Shi, Wei Bao, Yue Gao, Siqi Li

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 研究针对Video LLMs视觉令牌多致效率受限问题，提出GeoTrace框架，通过CFPA和TCRC分别处理骨架与残差令牌，经实验评估证明该框架在多模型架构和场景下有效，能在大幅减少计算量时保留高比例性能。

Comments Withdrawn by the authors due to an incomplete internal approval process

Rewriting the Response Path: Silent Tampering and Provider-Signed Defense in BYOK LLM Agents

重写响应路径：BYOK LLM 代理中的静默篡改与提供者签名防御

Mingyu Luo, Zihan Zhang, Zesen Liu, Yuchong Xie, Zhixiang Zhang, Dung Hiu Hilton Yeung, Wai Ip Lai, Ping Chen, Ming Wen, Dongdong She

机构 * Fudan University（复旦大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究BYOK LLM代理响应路径完整性问题，发现中继可篡改响应。提出sign-c服务器端方案，能认证执行承载字段和查询，本地垫片验证，加密保护机密性，防御有效拒绝篡改响应，误拒率为零，延迟开销低。

Integrity of peer-to-peer distributed LLM inference under malicious nodes

恶意节点下对等分布式大语言模型推理的完整性

Mert Cihangiroglu, Antonino Nocera

机构 * DCALab, Department of Electrical, Computer and Biomedical Engineering, University of Pavia, Italy（DCALab，电气、计算机与生物医学工程系，帕维亚大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究对等分布式LLM推理在恶意节点下的完整性问题，提出通过测量节点激活值变化检查输出完整性的方法，即混入秘密金丝雀输入，利用与已知参考的偏差识别恶意节点，实验中检测器AUROC达1.0。

AlphaRoute: Large Language Models as Semantic Optimizers for Multi-Objective Routing

AlphaRoute：将大语言模型用作多目标路由的语义优化器

Kabir Murjani, Mishri Bhavsar, Manish I. Patel, Jonti Talukdar

机构 * Institute of Technology, Nirma University（尼玛大学理工学院） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG；LLM(comments)

AI总结 针对VLSI全局路由这一NP难组合优化问题，传统方法失效。AlphaRoute将拆线重布重构为动态优化系统，引入基于SHAP的溢出分解等技术，用大语言模型作语义策略优化器，在基准测试中大幅减少溢出，证明优越算法可克服Python实现的延迟。

Comments 7 pages, 5 figures. Accepted for publication in the IEEE International Conference on LLM-Aided Design, 2026, Stanford University, Stanford, CA, USA. Code available at https://github.com/Kcbir/AlphaRoute

Harmonia: Algorithm-Hardware Co-Design for Memory- and Compute-Efficient BFP-based LLM Inference

Harmonia：面向内存和计算效率的BFP基大语言模型推理算法-硬件协同设计

Xinyu Wang, Jieyu Li, Yanan Sun, Weifeng He

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 Harmonia通过算法-硬件协同设计实现所有层BFP激活，提升LLM推理的内存和计算效率。

LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models

LaCache：用于扩散大语言模型的精确缓存和精度自适应推理

Xingru Chen, Zelang Liang, Yongjia Ma, Jiqing Zhan, Shuling Yang, Lian Wen, Kun Zhan

机构 * Li Auto Inc.（理想汽车公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究针对扩散大语言模型算子级冗余问题，提出LaCache加速框架，通过无损缓存中间结果及集成FP8量化策略，无需训练，单独使用可实现约1.3倍端到端加速，与现有方法结合可达40.2倍加速且保持任务精度。

BaseRT: Advancing Best-in-Class LLM Inference with Apple M5 Neural Accelerators

BaseRT：利用苹果M5神经加速器提升一流大语言模型推理性能

Fabian Waschkowski, Prabod Rathnayaka, Lukas Wesemann

机构 * Base Compute 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究利用苹果M5神经加速器提升大语言模型推理性能，通过BaseRT无框架设计及添加特定内核，将计算密集型矩阵乘法经M5处理，大幅提升推理吞吐量及解码优势，确立了设备上大语言模型推理新性能上限。

Generative Augmented Inference of LLM-generated Data for Market Research: Theory and Empirical Evidence

生成式增强推断

Cheng Lu, Mengxin Wang, Dennis J. Zhang, Heng Zhang

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出生成式增强推断（GAI）框架，将AI输出视为学习真实标签的高维信息特征而非代理，通过非参数方法建模，实现人机数据联合的一致估计和有效推断，在随机标注下渐近效率严格优于仅用人类数据。

Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs

少看，快思考：多模态大语言模型的联合令牌-计算适配

Pengcheng Wang, Zhiquan Wang, Jayoung Lee, Zhuoyan Xu, Ran Xu, Saurabh Bagchi, Yin Li, Somali Chaterji

机构 * Purdue University（普渡大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对多模态大语言模型推理成本高的问题，提出SmartVL框架，通过视觉侧令牌控制器和LLM侧计算控制器联合控制视觉令牌数量和模型计算能力，实验证明该框架优于先前方法，实现更好的精度-效率平衡。

Comments Accepted at ECCV 2026

Defense Against LLM Backdoors using Critical Neuron Isolation Pruning

使用关键神经元隔离剪枝防御大语言模型后门攻击

Yuxi Li, Zhibo Zhang, Kailong Wang, Xingshuo Han, Ling Shi, Haoyu Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型后门攻击问题，提出DeCNIP方法，利用表征分析统一识别和中和后门，通过优化交叉熵损失发现潜在威胁，隔离并剪枝后门关键神经元，有效降低攻击成功率，保持模型性能。

FineServe: A Fine-Grained Dataset and Characterization of Global LLM Serving Workloads

FineServe：一个细粒度的数据集以及对全球大语言模型服务工作负载的特征描述

Tiancheng Zhang, Shaoyuan Huang, Mingyuan Wang, Yunfeng Zhao, Xiaofei Wang, Wenyu Wang

机构 * Tianjin University（天津大学） ； PPIO Cloud (Shanghai) Co., Ltd.（PPIO云（上海）有限公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大语言模型服务中高效服务面临的挑战，提出FineServe数据集，能对异构模型和任务的服务动态进行细粒度特征描述。通过分析得出波动模式，开发工作负载生成器，为评估相关策略提供现实基础。

Comments 14 pages, 14 figures

TriAgent: Divergence-Aware Multi-Agent Committees for Cost-Efficient Financial Sentiment Analysis

TriAgent：用于成本效益型金融情绪分析的差异感知多智能体委员会

Isabel Xu, Cynthia Xu, Rachel Ren, Cong Guo, Jiacheng Ding

机构 * The Overlake School（奥弗湖学校） ； Edwards Vacuum Inc.（爱德华兹真空公司） ； The University of Memphis（孟菲斯大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 研究针对基于生产LLM的金融情绪分析成本高问题，提出TriAgent多智能体委员会，按上下文粒度分层，用SDI衡量分歧并路由查询，有批评者平稳期等发现及三个推论，节省成本且效果好。

OpenEvoShield: Dual Non-Stationary Continual Defense for Open-World Multi-Agent System Attacks

OpenEvoShield：面向开放世界多智能体系统攻击的双重非平稳持续防御

Litian Zhang, Chaozhuo Li, Yuting Zhang, Zejian Chen, Bingyu Yan, Qiwei Ye

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Beihang University（北京航空航天大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对LLM-MAS中对手通过通信注入恶意指令的双重动态攻击，提出OpenEvoShield持续防御框架，含不对称速率控制器等组件，实验表明其在多基准和拓扑上优于基线，能检测多数未见攻击且误报率低。

Comments 29 pages, 5 figures, 14 tables

BitNet Text Embeddings

BitNet 文本嵌入

Zhen Li, Xin Huang, Liang Wang, Nan Yang, Ting Song, Yan Xia, Xun Wu, Shaohan Huang, Huishuai Zhang, Furu Wei, Dongyan Zhao

机构 * Peking University（北京大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出BITEMBED框架，通过将预训练LLM转换为BitNet风格编码器并联合训练，实现低比特文本嵌入，在MMTEB基准上性能接近全精度模型，同时降低存储和计算开销。

Model Gateway: Management Platform for Model-Driven Drug Discovery

模型网关：模型驱动药物发现的管理平台

Yan-Shiun Wu, Sai Mahit Vaddadi, Zachary A. Rollins, Nathan A. Morin

机构 * Eli Lilly and Company（埃利丽尔公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对药物发现对特殊机器学习基础设施的需求，现有平台无法满足。本文提出基于云的模型网关平台，可管理药物发现管道中的模型，提供多种服务，已在礼来公司生产，管理众多模型并服务多个下游应用。

Comments 20 pages, 4 figures, 3 tables

EvoThink: Evolving Thinking in Large Reasoning Models via Self-Pruning and Aha-Moment Preference Optimization

EvoThink：通过自剪枝和顿悟时刻偏好优化在大型推理模型中进化思维

Xinbang Dai, Zheyu Xin, Huikang Hu, Lin Ren, Rihui Jin, Guohui Xiao, Guilin Qi, Kuicai Dong, Zhaocheng Du, Yuyang Zhang

机构 * Southeast University（东南大学） ； Noah’s Ark Lab（诺亚方舟实验室） 纠错

专题命中 效率与部署 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 研究针对大型推理模型过度思考问题，提出EvoThink框架，含自剪枝训练和顿悟时刻偏好优化两个关键组件，能减少冗余验证、探索新推理路径，经评估可提高推理效率与能力。

Comments 9 pages, 7 figures, accepted by IJCAI 2026

DifFoundMAD: Foundation Models meet Differential Morphing Attack Detection

DifFoundMAD：基础模型与微分变形攻击检测

Lazaro J. Gonzalez-Soler, André Dörsch, Christian Rathgeb, Christoph Busch

机构 * Biometrics and Security Research Group（生物识别与安全研究组） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 DifFoundMAD利用视觉基础模型的泛化能力，通过轻量微调和类平衡优化，有效检测变形攻击，显著降低高安全等级下的误报率。

Comments Accepted in IJCB 2026

Twin Agent: Context Residual Compression for Privilege Separated Agents

孪生智能体：用于特权分离智能体的上下文残差压缩

Zhanhao Hu, Dennis Jacob, Xiao Huang, Zhaorun Chen, Bo Li, David Wagner

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Chicago（芝加哥大学） ； University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对大语言模型智能体易受安全风险问题，提出孪生智能体模式，由探索和安全智能体组成，通过探索智能体传递紧凑提示，减少信息需求，在保持高任务效用的同时防止提示注入攻击，优于其他基线。

Mage-Flow: An Efficient Native-Resolution Foundation Model for Image Generation and Editing

Mage-Flow：用于图像生成和编辑的高效原生分辨率基础模型

Xinjie Zhang, Peng Zhang, Shicheng Zheng, Jinghao Guo, Zhaoyang Jia, Yifei Shen, Xun Guo, Yuxuan Luo, Jiahao Li, Wenxuan Xie, Fanyi Pu, Xiaoyi Zhang, Kaichen Zhang, Zongyu Guo, Tianci Bi, Dongnan Gui, Zhening Liu, Zimo Wen, Zihan Zheng, Senqiao Yang, Xiao Li, Jinglu Wang, Bin Li, Yan Lu

机构 * Microsoft Mage Team（微软Mage团队） 纠错

专题命中 效率与部署 ：foundation model(title)；分类 cs.AI、cs.LG

AI总结 研究针对大规模视觉生成器成本高的问题，提出Mage-Flow，由Mage-VAE和原生分辨率多模态扩散Transformer组成。通过协同设计实现高效文本到图像生成及编辑，开发完整模型家族，Turbo变体在高分辨率下生成和编辑高效，性能有竞争力。

Neuro-Symbolic AI for Korean Criminal Law: Sentencing Prediction and Document Drafting

用于韩国刑法的神经符号人工智能：量刑预测与文件起草

Yeonseok Lee

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对韩国刑法中量刑预测与文件起草问题，提出神经符号框架，用大语言模型提取语义，可满足性模理论求解器计算法定罚款，减少幻觉风险，并纳入人工参与验证，对交通犯罪量刑指南形式化，支持简易起诉。

Comments 17 pages, 4 figures

Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX

在英特尔 TDX 下对 NVIDIA H100 上的机密 GPU 推理进行基准测试

Wei Wang, Abdul Hyee Waqas, Burns Smith

机构 * Mozilla 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究在英特尔 TDX 下 NVIDIA H100 GPU 上，比较标准与机密计算模式对语言模型推理的影响。通过两个模型实验，测量多项指标，发现机密模式会使首次令牌时间增加、全局令牌吞吐量下降，较大模型更早饱和，为容量规划提供参考。

Fine-grained Computation-Communication Overlap via Tile-level Signaling and Scheduling for Mixture-of-Experts

基于瓦片级信号与调度的专家混合模型细粒度计算-通信重叠

Minyu Cui, Anna Wingkvist, Morgan Ericsson

机构 * Linnaeus University（林纳大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对专家混合模型在多GPU系统中通信延迟问题，提出通过瓦片级信号与调度实现细粒度计算-通信重叠的方法，结合生产者-消费者协同设计，在4个A100 GPU平台评估中取得加速效果，提升了不同场景下的性能。

Comments To appear at the 55th International Conference on Parallel Processing (ICPP 26)

Statistical Inference for Rank Allocation in Low-Rank Adaptation

低秩适应中秩分配的统计推断

Yihang Gao, Vincent Y. F. Tan

机构 * Department of Mathematics, National University of Singapore（数学系，新加坡国立大学） ； Department of Mathematics and Department of Electrical and Computer Engineering, National University of Singapore（数学系和电气与计算机工程系，新加坡国立大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究低秩适应中在固定参数预算下分配秩资源的问题，提出StatLoRA方法，将其表述为统计假设检验问题，通过检验统计量和p值确定组件取舍，实验表明该方法在匹配秩预算下性能良好，支持了分配规则稳定性及渐近理论。

Comments 77 pages

Content Creation with Spillovers: An Incentive Design Approach

具有溢出效应的竞赛：利用生成式人工智能激励内容创作

Sagi Ohayon, Boaz Taitler, Omer Ben-Porat

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出CCS模型，解决GenAI时代内容创作中的溢出效应问题，通过参数化分配机制确保均衡存在，并提供强福利保障。

Trusting What You Cannot See: Auditable Fine-Tuning and Inference for Proprietary AI

信任你无法看到的东西：可审计的微调与推理用于专有AI

Heng Jin, Chaoyu Zhang, Hexuan Yu, Shanghao Shi, Ning Zhang, Y. Thomas Hou, Wenjing Lou

机构 * Virginia Tech（弗吉尼亚理工学院） ； Washington University in St. Louis（圣路易斯华盛顿大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 AFTUNE通过可审计和可验证的框架，确保云上微调和推理的计算完整性，实现可信模型服务。

Variable-length Gray codes for the Natural Numbers

自然数的可变长度格雷码

Ezequiel López-Rubio

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 研究提出一种自然数的可变长度格雷码\(\V\)，通过特定构造方式获得。证明了其具有双射、编辑距离为\(1\)、码字长度单调非递减等性质，实现了\(\Bits\)的哈密顿枚举，还讨论了其压缩行为及在特定编码家族中的应用。

Zero2Skill: Bootstrapping Robot Skills through Autonomous Data Collection, Training, and Deployment

PhysClaw-0：一种通过语言修正实现机器人自主的共生智能体系统

Boyuan Wang, Zhenyuan Zhang, Zhiqin Yang, Peijun Gu, Shuya Wang, Xiaofeng Wang, Xianghui Ze, Yifan Chang, Guosheng Zhao, Jiangnan Shao, Guan Huang, Hengyu Liu, Yonggang Zhang, Wei Xue, Chunyuan Guan, Chenglin Pu, Yike Guo, Xingang Wang, Zheng Zhu

机构 * GigaAI（字节跳动人工智能实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Leeds（利兹大学） ； Cornell University（康奈尔大学） ； Tsinghua University（清华大学） ； Nanjing University of Science and Technology（南京理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； FAWTD（一汽技术开发部） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 研究针对自主数据收集问题，提出PhysClaw-0共生智能体系统，通过跨轮保留和重用修正、自主收集验证等方式，在真实机器人测试中减少人力时间，提高成功率，并提升验证者与人类一致性。

Comments WebPage: https://open-gigaai.github.io/Zero2Skill