语言大模型 / LLM

FOCUS: DLLMs Know How to Tame Their Compute Bound

FOCUS: DLLMs 知道如何驯服它们的计算瓶颈

Kaihua Liang, Xin Tan, An Zhong, Hong Xu, Marco Canini

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Toronto（多伦多大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对扩散大语言模型解码中大部分计算浪费在不可解码令牌上的问题，提出 FOCUS 推理系统，通过动态聚焦可解码令牌并驱逐不可解码令牌，提升有效批大小，实现高达 3.52 倍的吞吐量提升。

Comments ICML 2026 camera-ready version

GRID: Scaling Task-Agnostic Inference in Continual Prompt Tuning

GRID：持续提示调优中任务无关推理的规模化

Anushka Tiwari, Sayantan Pal, Rohini K. Srihari, Kaiyi Ji

机构 * State University of New York at Buffalo（纽约州立大学布法罗分校） ； Department of Computer Science and Engineering（计算机科学与工程系） ； Institute for Artificial Intelligence and Data Science（人工智能与数据科学研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出GRID框架，通过输出空间感知解码和梯度引导提示选择，解决持续学习中任务无关推理的性能退化与可扩展性问题，在长序列和负迁移基准上提升后向迁移并减少提示内存。

Supracompetitive Pricing Under AI Monoculture

人工智能单一群体下的超竞争定价

Shengyu Cao, Ming Hu

机构 * Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了在共享AI模型下，竞争卖家委托定价时可能产生的超竞争定价问题，通过双寡头模型分析发现，AI模型的鲁棒性和可重复性配置可能导致超竞争定价现象，且市场结果取决于初始定价倾向。

Comments 46 pages

Revisiting Training Scale: An Empirical Study of Token Count, Power Consumption, and Parameter Efficiency

重新审视训练规模：关于令牌计数、功耗和参数效率的实证研究

Joe Dwyer

机构 * ECPI University（ECPI大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过固定硬件和训练条件的重复测量实验，发现增加训练令牌数会导致训练效率严格单调下降，即使性能有边际提升，也表明能耗效率低下。

Perplexity Can Miss SAE Feature Damage Under Quantization

量化如何改变可解释特征：语言模型的稀疏自编码器分析

Evan Duan

机构 * University of Michigan（密歇根大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过稀疏自编码器分析，发现量化导致语言模型中的可解释特征逐渐退化，且任务指标无法完全反映这种损伤，量化与幅度剪枝共享相似的损伤模式。

Comments 12 Pages of Content, Submitted to TMLR

MACS: Modality-Aware Capacity Scaling for Efficient Multimodal MoE Inference

MACS: 模态感知容量缩放用于高效多模态MoE推理

Bo Li, Chuan Wu, Shaolin Zhu

机构 * School of Software, Tsinghua University, Beijing, China（清华大学软件学院，北京，中国） ； TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院，中国） ； School of New Media and Communication, Tianjin University, China（天津大学新媒体与传播学院，中国） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态MoE大模型在专家并行推理中因信息异质性和模态动态性导致的效率瓶颈，提出无需训练的MACS框架，通过熵加权负载和动态模态自适应容量机制优化资源分配，显著提升多模态基准性能。

Comments Accepted by ACL 2026

MidSteer: Optimal Affine Framework for Steering Generative Models

MidSteer：用于引导生成模型的最优仿射框架

Tatiana Gaintseva, Andrew Stepanov, Ziquan Liu, Martin Benning, Gregory Slabaugh, Jiankang Deng, Ismail Elezi

机构 * University of Basel（巴塞尔大学） ； University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MidSteer，一种基于仿射变换的最优概念引导框架，通过最小干扰实现生成模型中的概念切换，并在视觉扩散模型和大型语言模型上验证其有效性。

PolarQuant: Leveraging Polar Transformation for Efficient Key Cache Quantization and Decoding Acceleration

PolarQuant: 利用极坐标变换实现高效键缓存量化和解码加速

Songhao Wu, Ang Lv, Xiao Feng, Yufei Zhang, Xun Zhang, Guojun Yin, Wei Lin, Rui Yan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； ShanghaiTech University（上海科技大学） ； Meituan（美团） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出PolarQuant方法，通过将键向量分组为二维子向量并编码为量化半径和极角，解决键缓存量化中的异常值问题，同时通过查表加速解码，保持全精度模型性能。

Comments NeurIPS 2025 version with minor revisions to the methodology

Fast and Efficient Approximate Nearest Neighbor Search for High-Dimensional LLM Embeddings

面向高维语言模型嵌入的快速高效近似最近邻搜索

Nico Hezel, Kai Uwe Barthel, Bruno Schilling, Konstantin Schall, Andre Moelle, Klaus Jung

专题命中 效率与部署 ：LLM(title)

AI总结 本文针对2026年SISAP索引挑战赛，介绍在高维语言模型嵌入上的近似最近邻搜索方法。利用EVP量化、重排策略及维度扩充等优化算法，通过FLAS预排序机制减少查询延迟和优化内存访问，提升空间局部性与缓存命中率。

WorldMirror: Universal 3D World Reconstruction with Any-Prior Prompting

WorldMirror：基于任意先验提示的通用三维世界重建

Yifan Liu, Zhiyuan Min, Zhenwei Wang, Junta Wu, Tengfei Wang, Yixuan Yuan, Yawei Luo, Chunchao Guo

机构 * Zhejiang University（浙江大学） ； Chinese University of Hong Kong（香港中文大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 效率与部署 ：prompting(title)

AI总结 本研究提出WorldMirror这一统一前馈模型，可整合多种几何先验并生成多种三维表示，在多类三维几何任务的基准测试中达到最优性能且推理效率高。

Comments Accepted to ICML 2026. Code: https://github.com/Tencent-Hunyuan/HunyuanWorld-Mirror Project page: https://3d-models.hunyuan.tencent.com/world/

Measurement Plasticity: Sensor-Level Adaptation for Vision-Language Models

测量塑性：面向视觉-语言模型的传感器级自适应

Boyeong Im, Wooseok Lee, Yoojin Kwon, Hyung-Sin Kim

机构 * University of Seoul（首尔大学） 纠错

专题命中 效率与部署 ：language model(title)

AI总结 提出多视角物理提示（MVP）用于测试时自适应，通过将相机曝光三角（ISO、快门速度、光圈）作为物理提示，在传感器层面进行自适应，无需梯度或模型修改，在ImageNet-ES上优于数字方法。

Comments Accepted to the ICML 2026 Workshop on Continual Adaptation at Scale

Decode-Branch Transformers: Decoupling the Primary Prefill Path from Additional Decode Computation

双流式Transformer：将主预填路径与额外解码计算解耦

Liming Liu, Mingze Wang, Tuo Zhao

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出双流式Transformer，将主预填路径与额外解码计算解耦，通过共享权重与缓存降低推理成本，在多架构与数据配置下实现更低验证损失，且可灵活分配MoE专家预算。

Comments 19 pages

Mitigating Bias in Locally Constrained Decoding via Tractable Proposals

通过可处理提议缓解局部约束解码中的偏差

Meihua Dang, Linxin Song, Honghua Zhang, Jieyu Zhao, Guy Van den Broeck, Stefano Ermon

机构 * Stanford University（斯坦福大学） ； University of California, Berkeley（加州大学伯克利分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对局部约束解码中因短视掩码导致的采样偏差，提出基于张量化有限自动机的全局约束解码提议和概率全局约束解码提议，结合序贯蒙特卡洛方法实现无偏采样，在函数调用、关键词生成和SQL生成任务中显著减少所需粒子数并加速收敛。

Comments ICML 2026

Leveraging Generative Artificial Intelligence for Causal Inference with Unstructured Data

生成式人工智能驱动的推断

Kosuke Imai, Kentaro Nakamura

机构 * Harvard University（哈佛大学） ； John F. Kennedy School of Government（约翰·F·肯尼迪政府学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究人员提出GPI统计框架，利用开源GenAI模型提取非结构化数据的低维表示，无需微调生成模型，通过三个应用验证其可用于因果与预测推断，开源软件包可实现该框架。

Parameter- and Bandwidth-Efficient Edge--cloud Many-to-Many Speech-to-Text Translation

带宽高效且隐私保护的边缘-云多对多语音翻译

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Lei Chen, Ming Liu, Bing Qin, Yang Xiang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出边缘-云协同框架ESRT，通过分割推理架构压缩中间特征实现带宽降低10倍和语音隐私保护，并采用多任务加权课程学习策略实现45种语言的多对多语音翻译。

Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack

先定位再中和：梯度引导的令牌抑制对抗视觉提示注入攻击

Dongpeng Zhang, Ke Ma, Yangbangyan Jiang, Gaozheng Pei, Longtao Huang, Qianqian Xu, Qingming Huang

机构 * School of Advanced Interdisciplinary Sciences, UCAS（UCAS交叉学科研究院） ； School of Electronic, Electrical and Communication Engineering, UCAS（UCAS电子电气与通信工程学院） ； State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室） ； Alibaba Group（阿里巴巴集团） ； School of Computer Science and Technology, UCAS（UCAS计算机科学与技术学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Key Laboratory of Big Data Mining and Knowledge Management, UCAS（UCAS大数据挖掘与知识管理重点实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对多模态大语言模型的视觉提示注入攻击，提出梯度令牌掩码（GTM）方法，通过梯度分析定位关键图像令牌并掩码中和，将攻击成功率降至接近零且计算开销极小。

AtomBridge: Agentic VLA Inference Plugin for Long-Horizon Tasks in Scientific Experiments

Sci-VLA：用于科学实验中长周期任务的代理VLA推理插件

Yiwen Pang, Bo Zhou, Changjin Li, Xuanhao Wang, Shengxiang Xu, Deng-Bao Wang, Peng Cheng, Shimin Di, Jingkuan Song, Min-Ling Zhang

机构 * School of Computer Science and Engineering & School of Software Engineering & School of Artificial Intelligence, Southeast University, Nanjing, China（计算机科学与工程学院、软件工程学院、人工智能学院，东南大学，南京，中国） ； Pattern Learning and Mining Lab, Southeast University, Nanjing, China（模式学习与挖掘实验室，东南大学，南京，中国） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出了一种基于大语言模型的代理VLA推理插件，用于提升科学实验中长周期任务的执行效率和成功率。

TrimMoE A communication aware and adaptive depth framework for distributed edge inference

TrimMoE：面向分布式边缘推理的通信感知自适应深度框架

Ning Li, Shuting Bai, Xin Yuan, Wenchao Xu, Song Guo, Haijun Zhang

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 TrimMoE是一种面向分布式边缘MoE大模型推理的通信感知自适应深度框架，通过层跳跃、提前退出等技术，在保证任务质量退化不超2%的前提下，将平均延迟降低最多62.8%，减少跨服务器流量与远程执行比例并提升吞吐量。

Comments 17 pages, 11 figures

Agentic Bayesian Optimization through Surrogate-Augmented Autoresearch

基于代理的贝叶斯优化：通过代理增强的自动研究

Paul Brunzema, Louis Tiao, Nhat Le, Kevin De Angeli, Yao Xuan, Djordje Gligorijevic

机构 * Meta ； RWTH Aachen University（亚琛工业大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 该研究提出代理式贝叶斯优化范式，构建Sara代理与lenz后端，在合成及真实基准测试中，其兼具可靠性与性能，还可动态重构优化问题。

OrderMoE: An expert similarity driven distributed edge MoE inference

OrderMoE：一种由专家相似度驱动的分布式边缘混合专家推理

Xin Yuan, Ning Li, Quan Chen, Wenchao Xu, Song Guo

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究在资源受限边缘基础设施部署MoE推理的挑战，提出OrderMoE框架，通过构建专家相似度模型、设计分组部署策略和选择算法，平衡推理延迟等指标，实验表明其能显著降低相关指标，仅带来小的推理质量下降。

Comments 17 pages, 12 figures

A Theoretical Framework for Modular Learning of Robust Generative Models

模块化鲁棒生成模型的理论框架

Corinna Cortes, Mehryar Mohri, Yutao Zhong

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出模块化鲁棒生成模型的理论框架，通过门控机制结合预训练专家，理论证明其在数据混合下的稳健性，并通过实验验证其优于整体模型的性能。

Comments ICML 2026

When Agent Automation Becomes Profitable: Quantifying and Insuring Autonomous AI Risk through Trace-Economic Underwriting

当智能体自动化变得有利可图：通过痕迹经济核保量化和保险自主AI风险

Binyan Xu, Xilin Dai, Fan Yang, Kehuan Zhang

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出痕迹经济核保方法，通过量化客户-任务-痕迹片段级别的风险并转移至保险，使自主AI部署在经济上可接受，实验显示定价误差从$17.7K降至$569，风险降低72%。

Comments 26 pages, 14 figures, 29 tables

HoloQ-VLA: Uniform W4A4 Quantization of Vision-Language-Action Models

Ω-QVLA: 通过复合旋转和逐步缩放实现视觉-语言-动作模型的鲁棒量化

Xinyu Wang, Mingze Li, Sicheng Lyu, Dongxiu Liu, Kaicheng Yang, Ziyu Zhao, Yufei Cui, Xiao-Wen Chang, Peng Lu

机构 * McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Jiao Tong University（上海交通大学） ； Mila – Quebec AI Institute（魁北克AI研究所） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 提出Ω-QVLA，首个无需训练的后训练量化框架，通过复合SVD-Hadamard旋转和逐步DiT激活缩放量化，将VLA模型的语言骨干和扩散动作头统一压缩至W4A4精度，在LIBERO上达到或超越FP16性能，内存减少71.3%。

Behavioral Inference at Scale: The Fundamental Asymmetry Between Motivations and Belief Systems

大规模行为推断：动机与信念系统之间的根本不对称性

Jason Starace, Terence Soule

机构 * Department of Computer Science University of Idaho（计算机科学系 俄克拉荷马州立大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 研究通过大规模实验揭示动机与信念系统在行为推断中的根本不对称性，发现动机推断效率远超信念系统，且信念系统推断的瓶颈在于信息理论限制。

Comments Published in Transactions on Machine Learning Research (2026). OpenReview: https://openreview.net/forum?id=aDMDqtw63H

Journal ref Transactions on Machine Learning Research, ISSN 2835-8856 (2026)

The Transformer Revolution, Part 1: Dynamic Processing through Output-Weight Interconnections

Transformer革命 第一部分：通过输出-权重互连实现的动态处理

Marco Giunti, Fabrizia Giulia Garavaglia

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出Transformer推理阶段的SIDPP计算机制，通过输出-权重互连构建依赖提示的动态变换，其贡献随提示长度增加，还推测人类语言处理或为类似SIDPP的形式。

Comments v1: 7 Sections, References, Appendix, Tables (2 tables), Figures Part A (6 figures), Figures Part B (42 figures), Figures Part C (5 figures); v2: corrected typos, new version of Figure 20

Resume Means Resume: A Machine-Checked Conformance Contract for Checkpoint, Interrupt, and Resume Semantics in Workflow Persistence Layers

恢复即恢复：工作流持久层中检查点、中断与恢复语义的机器可检查一致性契约

Sajjad Khan

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 该研究提出了RESUME CONTRACT契约，用TLA+模型等方法验证了五个智能体工作流框架的一致性问题，并通过REMIT修复了相关故障。

Comments 25 pages, 10 tables, 1 figure. Supplementary material included as an ancillary file. v3: rejoins a paragraph split across a table float and harmonizes a label glyph in the supplement; no change to results, claims, or numbers

dots.tts Technical Report

dots.tts 技术报告

Shi Lian, Changtao Li, Bohan Li, Hankun Wang, Da Zheng, Junfeng Tian, Yufeng Ma, Colin Zhang, Kai Yu

机构 * ByteDance（字节跳动） 纠错

专题命中 效率与部署 ：foundation model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出一个20亿参数的连续自回归TTS基础模型，通过多目标AudioVAE、全历史条件流匹配和无奖励自校正后训练，在Seed-TTS-Eval上取得最优性能，并支持低延迟推理。

Comments 22 pages, 2 figures. Revised technical report with updated technical content, experiments, efficiency results, references, figures, project links, and abstract metadata formatting

SALLIE: Generation-Free Hidden-State Detection of Jailbreaks and Prompt Injections Across Text and Vision

SALLIE：防范潜在语言与图像攻击

Guy Azov, Ofer Rivlin, Guy Shtar

机构 * Intuit 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SALLIE是一种轻量级运行时检测框架，通过机制可解释性提取模型内部激活信号，有效应对文本和图像攻击，无需性能降级或架构修改。

Comments 17 pages, 5 figures, 17 tables. Preprint under review. v2: substantially revised - new title expansion, reworked method presentation, added calibration-regime analysis (shared / threshold-only / fully calibrated) and matched-protocol comparison with RCS-KCD; technical appendices A-H now included

StitchCUDA: An Automated Multi-Agents End-to-End GPU Programing Framework with Rubric-based Agentic Reinforcement Learning

StitchCUDA：一种基于规则的多智能体端到端GPU编程框架与基于代理的强化学习

Shiyang Li, Zijian Zhang, Winson Chen, Yuebo Luo, Mingyi Hong, Caiwen Ding

机构 * Department of Computer Science\&Engineering, University of Minnesota-Twin Cities, Minnesota, USA ； Department of Electrical Engineering, University of Minnesota-Twin Cities, Minnesota, USA 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 StitchCUDA通过基于规则的多智能体强化学习，实现了端到端GPU编程的高效生成与验证，显著提升了性能和准确性。

Contamination Means Overestimation? A Fine-Grained Empirical Study in Code Intelligence

重新审视数据污染在代码智能中的影响

Zhen Yang, Hongyi Lin, Yifan He, Junqi Wang, Zeyu Sun, Shuo Liu, Jie Xu, Pengpeng Wang, Zhongxing Yu, Qingyuan Liang

机构 * Shandong University（山东大学） ； Institute of Software, Chinese Academy of sciences（中国科学院软件研究所） ； City University of Hong Kong（香港城市大学） ； Columbia University（哥伦比亚大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文重新审视了数据污染对代码智能模型的影响，发现不同模型在不同污染场景下的表现差异显著，挑战了污染必然导致性能高估的传统观点。