语言大模型 / LLM

Alpha-RTL: Test-Time Training for RTL Hardware Optimization

Alpha-RTL: 面向RTL硬件优化的测试时训练

Peilong Zhou, Zhirong Chen, Cangyuan Li, Haoyu Gao, Kaiyan Chang, Ziming Qu, Ying Wang

机构 * SKLP, Institute of Computing Technology, Chinese Academy of Sciences（SKLP，计算技术研究所，中国科学院） ； University of the Chinese Academy of Sciences（中国科学院大学） ； School of Advanced Interdisciplinary Sciences（先进交叉学科学院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出TTT-RTL框架，通过测试时强化学习结合EDA反馈（语法检查、仿真和PPA奖励）优化LLM生成的RTL设计，在RTLLM v2.0和工业级C910 FPU单元上分别降低PPA乘积65.1%和ADP 59.4%。

Comments 10 pages, 5 figures

Toward Pre-Deployment Assurance for Enterprise AI Agents: Ontology-Grounded Simulation and Trust Certification

面向企业AI代理的部署前保障：基于本体的仿真与信任认证

Thanh Luong Tuan, Abhijit Sanyal

机构 * Golden Gate University（金门大学） ； Data, Digital & IT, Novartis Healthcare Pvt. Ltd.（数据、数字与IT，诺华健康护理私人有限公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出一种基于本体的验证框架，通过本体驱动的场景生成和信任证书，实现企业AI代理在部署前的自动化监管合规与安全认证。

Comments 26 pages, 3 figures. Companion to arXiv:2604.00555. Code and data: https://github.com/frank-luongt/faos-research/tree/main/RA-6

EGTR-Review: Efficient Evidence-Grounded Scientific Peer Review Generation via Multi-Agent Teacher Distillation

EGTR-Review: 基于多智能体教师蒸馏的高效证据支撑科学同行评审生成

Xinpeng Qiu, Wang Yihu, Zhifeng Liu, Xiaochen Wang, Jimin Wang

机构 * Department of Information Management, Peking University（北京大学信息管理系） ； PKU-WUHAN Institute for Artificial Intelligence, Peking University（北京大学武汉人工智能研究院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出EGTR-Review框架，通过多智能体教师蒸馏和证据加权目标，实现轻量级学生模型的高质量、可溯源同行评审生成。

Topology-Aware Layer Pruning for Large Vision-Language Models

面向拓扑的层剪枝用于大型视觉-语言模型

Pengcheng Zheng, Chaoning Zhang, Ya Wen, Wang Liu, Qigan Sun, Jiarong Mo, Jiaquan Zhang, Jewon Lee, Tae-Ho Kim, Kuien Liu, Tianyu Li, Caiyan Qin, Yang Yang

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 本文提出了一种面向拓扑的层剪枝框架，用于大型视觉-语言模型，通过利用拓扑持续同调量化层间拓扑一致性，实现自适应剪枝以保留关键表示转换。

Comments This manuscript has been withdrawn by the authors. It reproduced the methodology of Gardinazzi et al., arXiv:2410.11042, without citation, and utilized code and data from the associated repository (github.com/RitAreaSciencePark/ZigZagLLMs) without disclosure or violate the MIT License. A revised future version with full attribution may be prepared. For any feedback, please contact Pengcheng Zheng

Vortex: Efficient and Programmable Sparse Attention Serving for AI Agents

Vortex: 面向AI Agent的高效可编程稀疏注意力服务

Zhuoming Chen, Xinrui Zhong, Qilong Feng, Ranajoy Sadhukhan, Yang Zhou, Michael Qizhe Shieh, Zhihao Jia, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Rice University（Rice大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Vortex系统，通过Python嵌入式前端语言和面向页面的张量抽象，结合高效后端，实现稀疏注意力算法的快速原型设计、部署和评估，显著提升吞吐量。

QCFuse: Query-Aware Cache Fusion via Compressed View for Efficient RAG Serving

QCFuse: 通过压缩视图的查询感知缓存融合实现高效RAG服务

Jianxin Yan, Wangze Ni, Zhenxin Li, Jiabao Jin, Zhitao Shen, Haoyang Li, Jia Zhu, Peng Cheng, Xuemin Lin, Lei Chen, Kui Ren

机构 * Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Ant Group（蚂蚁集团） ； The Hong Kong Polytechnic University（香港理工大学） ； Zhejiang Normal University（浙江师范大学） ； Tongji University（同济大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出QCFuse，一种基于压缩视图的查询感知选择器，通过块锚查询探测和关键层分析实现高效RAG缓存融合，在保持全预填充质量的同时平均加速1.7倍。

CUCo: An Agentic Framework for Compute and Communication Co-design

CUCo：一种用于计算与通信协同设计的代理框架

Yoga Sri Varshan Varadharajan, Bodun Hu, Saurabh Agarwal, Aditya Akella

机构 * UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 本文提出CUCo框架，通过结合结构化设计空间形式化和正确性优先的快速路径代理以及进化驱动的慢速路径代理，实现了CUDA内核的计算与通信协同设计，从而在四个多GPU工作负载中实现了1.57倍的加速，并在LLM推理成本低于10美元的情况下发现了一种双流重叠策略。

Towards Unified and Data-Efficient Prognostics and Health Management with Tabular Foundation Models

面向统一且数据高效的预测与健康管理：基于表格基础模型

Raffael Theiler, Lev Telyatnikov, Leandro Von Krannichfeldt, Olga Fink

机构 * IMOS Lab, EPFL（IMOS实验室，瑞士联邦理工学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出利用表格基础模型通过上下文学习处理工业时间序列，实现预测与健康管理（PHM）任务，在低数据场景下表现优异，并优于序列模型和梯度提升树。

Correcting Prompt Dependence in LLM Benchmarks: A Bayesian Hierarchical Model with Embedding-Space Clustering

纠正大语言模型基准测试中的提示依赖：一种具有嵌入空间聚类的贝叶斯分层模型

Mary Llewellyn, Isobel Thornton, James Bishop, Annie Gray

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种贝叶斯分层模型，通过嵌入空间聚类来纠正大语言模型基准测试中的提示依赖问题，在数据有限的情况下提供更稳健的性能指标，并在对抗鲁棒性基准测试中实现了性能指标的显著提升。

Comments Accepted to the 1st Workshop on Combining Theory and Benchmarks, CTB@ICML 2026, Seoul, South Korea

You Only Index Once: Cross-Layer Sparse Attention with Shared Routing

仅索引一次：具有共享路由的跨层稀疏注意力

Yutao Sun, Yanqi Zhang, Li Dong, Jianyong Wang, Furu Wei

机构 * Microsoft Research（微软研究院） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出跨层稀疏注意力（CLSA），通过共享KV缓存和路由索引，在保持token稀疏注意力精度的同时减少路由开销，显著提升长上下文LLM的解码效率。

MotionDisco: Motion Discovery for Extreme Humanoid Loco-Manipulation

MotionDisco: 用于极端人形机器人移动操作的运动发现

Ilyass Taouil, Michal Ciebelski, Shafeef Omar, Haizhou Zhao, Angela Dai, Aaron M. Johnson, Majid Khadiv

机构 * Technical University of Munich, Germany（慕尼黑技术大学） ； New York University, USA（纽约大学） ； Carnegie Mellon University, USA（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出MotionDisco框架，通过大语言模型引导的进化搜索和顺序运动动力学轨迹优化，从零开始自动发现长时域、接触丰富的人形机器人移动操作技能，并在真实机器人上部署。

On Advantage Estimates for Max@K Policy Gradients

关于 Max@K 策略梯度的优势估计

Shota Takashiro, Soichiro Nishimori, Paavo Parmas, Yongmin Kim, Kohsei Matsutani, Gouki Minegishi, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对稀疏奖励下推理模型后训练困难，提出一种新的优势估计方法 MaxPO，通过 Leave-Two-Out 基线实现中心化优势，降低梯度方差并提升性能。

Data-efficient flood depth prediction through domain-aware coreset selection and tabular foundation models

数据高效的洪水深度预测：通过领域感知的核心集选择与表格基础模型

Lipai Huang, Adithi Srinath, Manas Singh, Junwei Ma, Ali Mostafavi

机构 * Urban Resilience.AI Lab（Urban Resilience.AI实验室） ； Zachry Department of Civil and Environmental Engineering, Texas A&M University（Zachry土木与环境工程系，德克萨斯A&M大学） ； Department of Computer Science and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯A&M大学） ； Resilitix Intelligence LLC ； Institute for a Disaster Resilient Texas, Texas A&M University（德克萨斯灾难韧性研究所，德克萨斯A&M大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出一种领域感知的核心集构建流程，结合表格基础模型，仅用0.7%的训练数据即可实现与监督模型相当的洪水深度预测精度，并支持跨流域迁移。

LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models

LimiX-2M：缓解表格基础模型中的低秩坍塌和注意力瓶颈

Yuanrui Wang, Xingxuan Zhang, Han Yu, Mingchao Hao, Gang Ren, Hao Yuan, Li Mao, Yunjia Zhang, Chun Yuan, Peng Cui

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出统一tokenize-and-route框架LimiX-2M，通过RaBEL扩展标量为局部RBF特征并重新排序双向块S→N→F，以2M参数超越更大模型，改善表格基础模型的精度-效率权衡。

Comments Accepted to ICML 2026

LLM-Enhanced Dialogue Management for Full-Duplex Spoken Dialogue Systems

基于大语言模型的全双工语音对话系统对话管理

Hao Zhang, Weiwei Li, Rilin Chen, Vinay Kothapally, Meng Yu, Dong Yu

机构 * Tencent AI Lab（腾讯人工智能实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL

AI总结 本文提出一种基于大语言模型的语义语音活动检测模块，用于高效管理全双工语音对话系统的轮询，通过轻量级大语言模型实现意图和非意图打断的区分，并通过短间隔处理输入语音以实现实时决策，同时减少计算开销。

Comments In submission to INTERSPEECH 2025

Adversarial Attacks Already Tell the Answer: Directional Bias-Guided Test-time Defense for Vision-Language Models

对抗攻击已揭示答案：面向视觉语言模型的定向偏差引导测试时防御

Liangsheng Liu, Si Chen, Jiamin Wu, Weiwei Feng, Zhixin Cheng, Xiaotian Yin, Wenfei Yang, Tianzhu Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； National Key Laboratory of Deep Space Exploration, Deep Space Exploration Laboratory（国家深空探测重点实验室，深空探测实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 提出定向偏差引导防御（DBD），利用对抗样本在CLIP特征空间中沿主导方向偏移的现象，通过估计防御方向并采用DB分数双流重建策略恢复鲁棒表示，在15个数据集上实现最先进对抗鲁棒性且保持干净准确率。

Comments Accepted by ICLR2026

Drive-KD: Multi-Teacher Distillation for VLMs in Autonomous Driving

Drive-KD：自动驾驶中用于视觉语言模型的多教师知识蒸馏

Weitong Lian, Zecong Tang, Haoran Li, Tianjian Gao, Yifei Wang, Zixu Wang, Lingyi Meng, Tengju Ru, Zhejun Cui, Yichen Zhu, Hangshuo Cao, Qi Kang, Tianxing Chen, Kaixuan Wang, Yu Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；分类 cs.AI

AI总结 本文提出Drive-KD框架，通过将自动驾驶分解为感知-推理-规划三元组，并利用知识蒸馏转移能力，构建了专用教师模型，并通过异构梯度投影缓解跨能力梯度冲突，验证了方法在不同模型家族和规模上的泛化能力，展示了蒸馏模型在自动驾驶任务中的优越性能。

Comments Preprint. 23 pages, 14 figures

Less is MoE: Trimming Experts in Domain-Specialist Language Models

少即是MoE：修剪领域专家语言模型中的专家

Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

机构 * Carnegie Mellon University（卡内基梅隆大学） ； UCSD（加州大学圣地亚哥分校） ； MIT（麻省理工学院） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.CL、cs.LG

AI总结 针对MoE模型部署时参数过多的问题，提出基于Fisher重要性的中间维度修剪方法Fisher-MoE，在50%压缩比下保持模型能力，减少约45%权重内存并提升21%推理吞吐量。

A Conversational Framework for Human-Robot Collaborative Manipulation with Distributed Generative AI models

基于分布式生成式AI模型的人机协作操作对话框架

Arash Ghasemzadeh Kakroudi, Roel Pieters

机构 * Automation Technology and Mechanical Engineering, Tampere University（自动化技术与机械工程，塔尔库大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)

AI总结 提出一个分布式对话框架，集成语言和视觉语言模型与ROS 2执行栈，实现从自由形式用户命令生成结构化操作请求，并通过视觉基础将图像空间目标转换为机器人框架目标，实验验证了端到端任务可靠性和延迟。

Comments Accepted to the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026). The final published version will appear under the title "A Distributed Conversational Framework for Human-Robot Collaborative Manipulation Using Local LLMs and VLMs"

Filter, Then Reweight: Rethinking Optimization Granularity in On-Policy Distillation

先过滤，再重加权：重新思考在线策略蒸馏中的优化粒度

Yuying Li, Leqi Zheng, Yongzi Yu, Wenrui Zhou, Xuchang Zhong, Xing Hu, Jing Jin, Hangjie Yuan, Tao Feng

机构 * THU（清华大学） ； HKUST（香港科技大学） ； BIT（北京理工大学） ； Meituan（美团） ； ZJU（浙江大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对在线策略蒸馏，提出FiRe-OPD方法，通过轨迹级过滤和令牌级软重加权实现细粒度优化，在多种设置下优于现有方法。

Aligning Tree-Search Policies with Fixed Token Budgets in Test-Time Scaling of LLMs

在LLMs的测试时间扩展中对树搜索策略与固定令牌预算对齐

Sora Miyamoto, Daisuke Oba, Naoaki Okazaki

机构 * University of Tokyo（东京大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种名为Budget-Guided MCTS (BG-MCTS)的树搜索解码算法，通过将搜索策略与剩余令牌预算对齐，以提高在不同令牌预算下的推理性能。

Comments Accepted at ICML 2026. Code: https://github.com/Sora-Miyamoto/bg-mcts

Value-and-Structure Alignment for Routing-Consistent Quantization of Mixture-of-Experts Models

面向路由一致性的混合专家模型量化的值与结构对齐

Hancheol Park, Geonho Lee, Tairen Piao, Tae-Ho Kim

机构 * Nota Inc., South Korea（韩国Nota公司） 纠错

专题命中 效率与部署 ：foundation model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出VSRAQ方法，通过值对齐和结构对齐两个互补目标保持量化前后的专家选择行为一致性，减少量化引起的性能下降，无需推理开销。

Comments 8 pages, 1 figure

Extreme Region Policy Distillation

极端区域策略蒸馏

Changyu Chen, Xiting Wang, Rui Yan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院） ； Wuhan University（武汉大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出极端区域策略蒸馏（ERPD）两阶段框架，通过解耦样本效率与KL效率，在固定数据上先进行弱约束离策略优化以最大化提取训练信号，再在信任区域约束下蒸馏到基础策略，从而在数学推理任务中实现更好的性能与更小的KL散度。

SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion

SHRED: 通过自蒸馏与对数势降低实现无保留集的去记忆

Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

机构 * University of Southern California（南加州大学） ； USC Information Sciences Institute（USC信息科学研究所） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种无需保留集的去记忆方法SHRED，通过自蒸馏与对数势降低，在去记忆的同时保持模型的实用性，优于传统需要保留集的方法。

Evaluating CUDA Tile for AI Workloads on Hopper and Blackwell GPUs

评估Hopper和Blackwell GPU上的CUDA Tile用于AI工作负载

Divakar Kumar Yadav, Tian Zhao, Deepak Kumar

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文评估了CUDA Tile在Hopper和Blackwell GPU上的AI工作负载性能，比较了CuTile与cuBLAS、Triton等方法的效率和可移植性，发现CuTile在特定工作负载上表现优异，但在跨架构优化上仍有不足。

CLaaS: Continual learning as a service for sample efficient online learning

CLaaS: 作为服务的持续学习，用于样本高效的在线学习

Kion Fallah, Silen Naihin, Barak Widawsky, Qingqing Mao

机构 * Resolute Labs（Resolute实验室） ； Incept Labs（Incept实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出CLaaS系统，通过经验回放缓冲区实现异步训练中的梯度复用，在对抗性任务中展示参数更新优于上下文学习的前向迁移和遗忘减少。

Comments 4 pages main content, 7 figures

Learned Subspace Compression for Communication-Efficient Pipeline Parallelism

学习子空间压缩以实现通信高效的流水线并行

Paul Janson, Edouard Oyallon, Eugene Belilovsky

机构 * Concordia University（康科迪亚大学） ； Mila ； Quebec AI Institute（魁北克人工智能研究所） ； CNRS, Sorbonne University（法国国家科学研究中心，索邦大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出MAPL方法，通过Stiefel流形约束学习每个流水线阶段的任务最优正交投影，结合因子化锚点嵌入和残差向量量化，在低带宽网络中实现高压缩比且性能损失极小。

Comments Accepted at the 2nd Workshop on Connecting Low-rank Representations in AI, ICML 2026

MIRAI: Prediction and Generation of High-Impact Academic Research

MIRAI：高影响力学术研究的预测与生成

Alex Li, Joseph Jacobson

机构 * MIT Media Lab（MIT媒体实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出MIRAI深度学习框架，利用论文标题、摘要和发表日期预测其5年PageRank和引用量，并基于此构建研究构思流程以生成高影响力研究想法。

What Should Agents Say? Action-state Communication for Efficient Multi-Agent Systems

智能体应该说什么？面向高效多智能体系统的动作-状态通信

Chen Huang, Yuhao Wu, Wenxuan Zhang

机构 * Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多智能体系统中自由形式通信导致令牌膨胀和性能下降的问题，提出PACT协议，将通信视为公共状态更新问题，压缩为紧凑的动作-状态记录，在多种拓扑下实现性能与成本权衡的优化。

Comments 13 pages, 5 figures

Incremental Transformer Neural Processes

增量变换器神经过程

Philip Mortimer, Cristiana Diaconu, Tommy Rochussen, Bruno Mlodozeniec, Richard E. Turner

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出增量变换器神经过程（incTNP），通过因果掩码、键值缓存和高效自回归训练策略，在保持预测性能的同时将更新计算复杂度从二次降低到线性，从而在序列推理中实现显著的速度提升，并保持流式推理的一致性。

Comments Accepted at ICML 2026