语言大模型 / LLM

AgentJet: A Distributed Swarm Training Framework for Agentic Reinforcement Learning

AgentJet：一种用于智能体强化学习的灵活群体训练框架

Qingxu Fu, Boyin Liu, Shuchang Tao, Zhaoyang Liu, Cheng Chen, Xuanfa Jin, Rong Zhu, Bolin Ding

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出AgentJet，一种解耦的多节点群体训练框架，支持异构多模型强化学习、多任务鸡尾酒训练、容错执行和实时代码迭代，并通过上下文跟踪模块实现1.5-10倍训练加速。

Comments Technical report, 32 pages

OPINE-World: Programmatic World Modeling with Ontology-error-Prioritized Interactive Exploration for ARC-AGI-3

OPINE-World：基于本体错误优先的交互式探索的程序化世界建模

David Courtis, Wenhao Li, Scott Sanner

机构 * University of Toronto（多伦多大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出OPINE-World，一种在线交互学习面向对象的程序化世界模型的LLM智能体，通过本体错误度量引导探索，在ARC-AGI-3基准上无需逐游戏训练即解决20/25个游戏，动作效率达78.4。

Follow the Latent Roadmap: Navigating Revocable Decoding for Diffusion LLMs with Anchor Tokens

遵循潜在路径：利用锚定令牌导航扩散LLM的可撤销解码

Yizhen Yao, Qinglin Zhu, Runcong Zhao, Xiangxiang Dai, Yanzheng Xiang, Yulan He, Lin Gui

机构 * King's College London（伦敦国王学院） ； The Chinese University of Hong Kong（香港中文大学） ； The Alan Turing Institute, UK（英国艾伦·图灵研究所） 纠错

专题命中 效率与部署 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对扩散大语言模型解码速度与质量的权衡，提出无训练框架ASRD，通过锚定令牌解耦上下文，结合锚定引导生成与锚定扰动验证，在数学和编码基准上提升准确率6.4%，加速推理7.2倍。

ARCQuant: Boosting NVFP4 Quantization with Augmented Residual Channels for LLMs

ARCQuant：通过增强残差通道提升大语言模型的NVFP4量化

Haoqian Meng, Yilun Luo, Yafei Zhao, Wenyuan Liu, Peng Zhang, Xindian Ma

机构 * School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出ARCQuant框架，利用增强残差通道提升NVFP4性能，维持统一格式，将误差补偿融入矩阵降维以用标准GEMM内核，理论分析和实验表明达到先进精度且有实际效益。

Comments Accepted to ACL 2026 (Main Conference)

Journal ref In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 8609-8623, San Diego, California, United States, July 2026. Association for Computational Linguistics

Evergreen: Efficient Claim Verification for Semantic Aggregates

Evergreen：用于语义聚合的高效声明验证

Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

机构 * Brown University（布朗大学） ； Snowflake Inc.（Snowflake公司） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 Evergreen将声明验证转化为语义查询处理任务，通过定制优化和溯源捕获，减少LLM调用成本和延迟，提升验证质量与效率。

FED-FSTQ: Fisher-Guided Token Quantization for Communication-Efficient Federated Fine-Tuning of LLMs on Edge Devices

FED-FSTQ：基于Fisher的令牌量化用于边缘设备上通信高效联邦微调大型语言模型

Changyu Li, Shuanghong Huang, Jiashen Liu, Ming Lei, Jidu Xing, Kaishun Wu, Lu Wang, Fei Luo

机构 * School of Computing and Information Technology, Great Bay University（计算与信息学院，大亚湾大学） ； Beijing Institute of Technology（北京理工大学） ； University of Warwick（沃里克大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； College of Computer Science and Software Engineering, Shenzhen University（计算机科学与软件工程学院，深圳大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Fed-FSTQ，一种基于Fisher的令牌量化方法，用于在边缘设备上高效联邦微调大型语言模型，通过非均匀混合精度量化和重要性感知令牌选择，减少通信开销并提升训练效率。

Comments 18 pages, 14 figures

Hyperloop Transformers

超环变压器

Abbas Zeitoun, Lucas Torroba-Hennigen, Yoon Kim

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种改进语言模型参数效率的超环变压器架构，通过循环Transformer和超连接技术，在较少参数下优于基线模型。

Measuring the Redundancy of Decoder Layers in SpeechLLMs

测量语音大语言模型中解码器层的冗余性

Adel Moumen, Guangzhi Sun, Philip C Woodland

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究语音大语言模型解码器层的冗余性，发现7-8B模型仅需60%的解码器层即可保持良好ASR性能，且冗余结构跨语音编码器、任务和语言一致。

Trust Region On-Policy Distillation

信任区域在线策略蒸馏

Xingrun Xing, Haoqing Wang, Boyan Gao, Ziheng Li, Yehui Tang

机构 * Samsung Research（三星研究院） ； University of Oxford（牛津大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出信任区域在线策略蒸馏（TrOPD），通过信用分配策略和信任区域学习解决师生分布差异导致的训练不稳定问题，在数学推理、代码生成和通用基准上超越现有方法。

Efficient Rationale-based Retrieval: On-policy Distillation from Generative Rerankers based on JEPA

高效基于理由的检索：基于JEPA的生成重排序器的在线蒸馏

Teng Chen, Sheng Xu, Feixiang Guo, Xiaoyu Wang, Qingqing Gu, Hongyan Li, Luo Ji

机构 * Geely AI Lab（吉利人工智能实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Rabtriever，通过在线蒸馏从生成重排序器中学习，将查询和文档独立编码，提升检索效率，同时在多个任务中表现优异。

Comments 11 pages, 8 figures. ICMR 2026 (https://youtu.be/apDcrzEVwq4)

Causal Inference with Generative Artificial Intelligence: Application to Texts as Treatments

基于生成式人工智能的因果推断：以文本作为处理变量

Kosuke Imai, Kentaro Nakamura

机构 * Harvard University（哈佛大学） ； John F. Kennedy School of Government（约翰·F·肯尼迪政府学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出利用生成式AI（如大语言模型）生成处理变量并利用其内部表示进行因果效应估计，避免从数据中学习因果表示，提高估计准确性和效率。

Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps

全注意力再临：在数百次训练步骤内将全注意力转化为稀疏

Yanke Zhou, Yiduo Li, Hanlin Tang, Maohua Li, Kan Liu, Tao Lan, Lin Qu, Yuan Yao, Xiaoxing Ma

机构 * Nanjing University（南京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出RTPurbo方法，通过利用模型内在稀疏性，在少量训练步骤内实现高效的稀疏注意力，从而在保持接近无损精度的同时，显著提升推理效率。

Comments 20 pages, 9 figures

Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective

奖励塑形用于（推理时）对齐：一个Stackelberg博弈视角

Haichuan Wang, Tao Lin, Lingkai Kong, Ce Li, Hezi Jiang, Milind Tambe

机构 * University of Southern California（南加州大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对KL正则化导致LLM继承基策略偏见的问题，提出将奖励模型优化形式化为Stackelberg博弈，并通过简单奖励塑形方案近似最优奖励模型，在推理时对齐中持续提升平均奖励并达到超过66%的胜率。

Comments Accepted to ICML 2026. Camera-ready version

Length-MAX Tokenizer for Language Models

用于语言模型的Length-MAX分词器

Dong Dong, Weijie Su

机构 * Dong Dong（董东） ； Weijie Su（苏伟杰） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Length-MAX分词器通过优化平均token长度，提高了语言模型的效率和下游任务性能。

Comments Accepted at Transactions on Machine Learning Research (TMLR). OpenReview: https://openreview.net/forum?id=CRjrpwGD9A

A Switch-Centric In-Network Architecture for Accelerating LLM Inference in Shared-Memory Network

一种面向共享内存网络的开关中心网络架构，用于加速大语言模型推理

Aojie Jiang, Kang Zhu, Zhiheng Zhang, Zhengxu Su, Juntao Liu, Yuan Du, Li Du

专题命中 效率与部署 ：LLM(title,abstract)

AI总结 本文提出SCIN架构，通过在开关内直接访问附加加速器的内存区域，实现低延迟高带宽的All-Reduce，同时支持8位精度的In-Network Quantization，提升LLaMA-2模型推理效率。

Seeing the Unseen: Towards Training-Free Inspection for Wind Turbine Blades Using Knowledge-Augmented Vision Language Models

看见不可见：基于知识增强视觉语言模型的无训练风机叶片检测方法

Yang Zhang, Qianyu Zhou, Farhad Imani, Jiong Tang

专题命中 效率与部署 ：language model(title,abstract)

AI总结 该研究提出结合RAG与VLM的零样本风机叶片检测框架，构建多模态知识库，在小样本测试中表现优于基线，为工业检测提供数据高效方案。

A Sovereign, Open-Source Foundation Model for German and English

一个用于德语和英语的自主开源基础模型

Soofi-Team, :, Benedikt Droste, David Fitzek, Ruben Härle, Lukas Helff, Maximilian Idahl, Alex Jude, Abbas Goher Khan, Maurice Kraus, Timm Ruland, Richard Rutmann, Sebastian Sztwiertnia, Markus Frey, Daniil Gurgurov, Jan Pfister, Tom Röhr, Sebastian von Rohrscheidt, Jörg Bienert, Nicolas Flores-Herr, Simon Gottschalk, Andreas Hotho, Kristian Kersting, Joachim Köhler, Alexander Löser, Wolfgang Nejdl, Simon Ostermann, Jan Plogsties, Björn Plüster, Patrick Putzky, Mehdi Ali, Michael Fromm, Max Lübbering

机构 * KI Bundesverband（德国人工智能协会） ； DFKI（德国人工智能研究中心） ； Fraunhofer IAIS（弗劳恩霍夫自动化与信息研究所） ； Fraunhofer IIS（弗劳恩霍夫集成电路研究所） ； Technische Universität Darmstadt（达姆施塔特工业大学） ； Universität Würzburg（维尔茨堡大学） ； Berliner Hochschule für Technik（柏林技术大学） ； L3S Research Center（L3S研究中心） ； ellamind（艾拉明德公司） ； Merantix Momentum（梅兰蒂克斯动力公司） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出自主开源的Soofi S 30B - A3B基础模型，采用MoE混合设计，预训练于约27万亿令牌，在德英语基准测试表现出色，优于欧洲自主基线及其他开源模型，将在宽松条款下发布，为相关领域提供强大且开源的模型支持。

Context-Dependent Affordance Computation in Vision-Language Models

视觉-语言模型中基于情境的可及性计算

Murad Farzulla

机构 * Dissensus AI ； King’s College London（伦敦国王学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究揭示视觉-语言模型中可及性计算的高度情境依赖性，通过大规模实验显示超过90%的词汇描述受情境影响，提出动态本体投影方法替代静态世界建模。

Comments 33 pages, 13 tables, 3 figures. Code available at: https://github.com/studiofarzulla/semantic-vision

SpecFed: Accelerating Federated LLM Inference with Speculative Decoding and Compressed Transmission

SpecFed: 通过推测解码和压缩传输加速联邦大语言模型推理

Ce Zheng, Xinghan Wang, Jiahong Ning, Yuxuan Shi, Ning Huang, Tingting Yang

专题命中 效率与部署 ：LLM(title,abstract)

AI总结 本文提出SpecFed方法，通过推测解码和压缩传输技术，提升联邦学习中大语言模型推理效率，减少通信开销并保持生成质量。

Comments IEEE International Symposium on Information Theory (ISIT), 2026

Demystifying the Design Space and Best Practices for Heterogeneous LLM Inference and Serving

异构LLM推理与服务的解构设计空间与最佳实践

Zhixin Wang, Zhengbo Wang, Fangcheng Fu, Yinhui Lu, Jinlong Hou, Yijie Chen, Xiaowei Shen, He Liu, Xiangbin Li, Jun Chen, Ruya Gu, Dian Wang, Zhou Tan, Yuan Cheng, Hongzhou Zhang, Xiangjun Huang, Ping Zhang, Xiaohe Hu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 针对异构预填充-解码推理，提出沿四个设计轴（加速器、精度、互连、KV驻留）的组织空间，揭示边界决策（计算放置、KV表示、KV所有权）的约束与指导。

MOOZY: A Patient-First Foundation Model for Computational Pathology

MOOZY: 一种以患者为先的计算病理学基础模型

Yousef Kotp, Vincent Quoc-Huy Trinh, Christopher Pal, Mahdi S. Hosseini

机构 * CSSE, Concordia University, Montr\' e al, Canada Mila -- Qu\' e bec AI Institute, Montr\' e al, Canada CHUM, Universit\' e de Montr\' e al, Montr\' e al, Canada IRIC, Universit\' e de Montr\' e al, Montr\' e al, Canada Universit\' e de Montr\' e al, Montr\' e al, Canada Canada CIFAR Chair, Polytechnique Montr\' e al, Montr\' e al, Canada Dept.\ of Pathology, McGill University, Montr\' e al, Canada 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 提出以患者为基本单位的病理基础模型MOOZY，通过病例变换器建模同一患者多张切片依赖，结合多阶段自监督与低成本任务监督，在16个保留任务上优于PRISM。

Benchmarking Vision Foundation Models for Domain-Generalizable Face Anti-Spoofing

面向域泛化人脸反欺骗的视觉基础模型基准测试

Mika Feng, Pierre Gallin-Martel, Koichi Ito, Takafumi Aoki

机构 * Graduate School of Information Sciences, Tohoku University, Japan（东北大学信息科学研究生院，日本） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；language model(abstract)

AI总结 本文系统评估15种预训练视觉模型在人脸反欺骗域泛化中的表现，发现自监督ViT（尤其是DINOv2+Registers）结合数据增强和注意力损失在MICO协议上达到最优，且计算高效。

Comments 2026 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)

Improving Visual Token Reduction via Rectifying Distortions for Efficient Multimodal LLM Inference

通过纠正失真改进视觉令牌减少以实现高效多模态大语言模型推理

Hyeonwoo Cho, Donghyeon Baek, Yewon Kim, Bumsub Ham

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 提出RESTORE框架，通过校准位置和注意力失真来改进视觉令牌减少，在保持效率的同时提升多模态大语言模型性能。

Comments Accepted to ICML 2026

A Pragmatic VLA Foundation Model

一个务实的VLA基础模型

Wei Wu, Fan Lu, Yunnan Wang, Shuai Yang, Shi Liu, Fangjing Wang, Qian Zhu, He Sun, Yong Wang, Shuailei Ma, Yiyu Ren, Kejia Zhang, Hui Yu, Jingmei Zhao, Shuai Zhou, Zhenqi Qiu, Houlong Xiong, Ziyu Wang, Zechen Wang, Ran Cheng, Yong-Lu Li, Yongtao Huang, Xing Zhu, Yujun Shen, Kecheng Zheng

机构 * robbyant.com 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；post-training(abstract)

AI总结 提出LingBot-VLA，基于约2万小时真实数据和9种双臂机器人配置，在3个平台上完成100个任务，性能优于竞品，并实现高效训练吞吐。

Comments Project Webpage: https://technology.robbyant.com/lingbot-vla/, Code: https://github.com/Robbyant/lingbot-vla/, GM-100: https://huggingface.co/datasets/robbyant/lingbot-GM-100

Pruning and Distilling Mixture-of-Experts into Dense Language Models

将混合专家模型剪枝和蒸馏为密集语言模型

Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

机构 * KRAFTON ； KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出首个将混合专家（MoE）模型转换为标准密集架构的系统框架，通过专家评分、选择、分组、拼接和知识蒸馏，在参数匹配条件下比密集到密集剪枝平均下游准确率提升6.3个百分点，训练速度提升1.6倍。

Component Ablation for Efficient Hybrid Language Model Architectures: Performance, Resilience, and Compression Implications

组件消融用于高效混合语言模型架构：性能、鲁棒性和压缩影响

Hector Borobia, Elies Seguí-Mas, Guillermina Tormo-Carbó

机构 * Doctoral Program in Computer Science, University of Valencia（瓦伦西亚大学计算机科学博士项目） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过组件消融研究混合语言模型，发现注意力机制与替代序列处理路径对性能有显著影响，揭示了模型鲁棒性与压缩优化的关键因素。

Comments 25 pages, 7 figures, 6 tables; revised title, abstract, figures, and data/code repository URL

PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning

PUMA: 基于层剪枝的语言模型，用于具有模态自适应学习的高效统一多模态检索

Yibo Lyu, Rui Shao, Gongwei Chen, Yijie Zhu, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。

Cost-Efficient Estimation of General Abilities Across Benchmarks

跨基准的低成本能力估计

Michael Krumdick, Adam Wiemerslage, Seth Ebner, Charles Lovering, Chris Tanner

机构 * Kensho Technologies ； MIT（麻省理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过改进的多维项目反应理论模型与自适应项目选择方法，以低成本预测模型在未见任务上的性能，实现高效基准评估。

Beyond the Node: Clade-level Selection for Efficient MCTS in Automatic Heuristic Design

超越节点：用于自动启发式设计中高效MCTS的族级选择

Kezhao Lai, Yutao Lai, Hai-Lin Liu

机构 * School of Mathematics and Statistics, Guangdong University of Technology, China（数学与统计学学院，广东工业大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Clade-AHD通过族级贝叶斯信念替代节点级估计，有效解决自动启发式设计中MCTS的过度探索问题，提升决策可靠性并降低计算成本。

Comments v2 substantially expands the experimental evaluation with large-scale zero-shot benchmarks, broader baselines, and additional ablation and sensitivity analyses. Code: https://github.com/Mriya0306/Clade-AHD

HFS: Holistic Query-Aware Frame Selection for Efficient Video Understanding

HFS: 为高效视频推理的全局查询感知帧选择

Yiqing Yang, Yun Li, Daiqing Qi, Lehan Yang, Tianlong Wang, Wenhao Zhang, Sheng Li, Kin-man Lam

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：SLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 HFS提出一种端到端可训练的帧选择框架，通过任务自适应方法提升视频推理效率。

Comments Accepted to the Main Track of ACM Multimedia 2026 (ACM MM '26)