语言大模型 / LLM

Mechanism-level routing failure in LLMs over Lean-verified algebraic structures

基于精益验证代数结构的大语言模型中的机制级路由失败

Manuel Israel Cázares, Wenlin Zhang, Haobo Ma

机构 * Bytepro AI（字节宝人工智能公司） ； National University of Singapore（新加坡国立大学） ； Omega Institute（欧米茄研究所） ； ChronoAI（chrono人工智能公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究大语言模型在形式验证代数语料库中的结构路由失败，通过在固定模板集选正确证明机制标签任务，发现机制级路由上限，揭示主导失败类型及模型差异，扩展了路由器假设。

Comments Code, data, and evaluation pipeline available at https://github.com/bytepro-ai/fiber-routing-eval

Biological Motifs for Agentic Control

用于智能体控制的生物基序

Bogdan Banu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型向自主智能体转变带来的可靠性等挑战，通过基因调控网络与智能体软件系统的类型化接口对应，映射生物基序到软件设计模式，给出智能体操作数等核心贡献并具实践可行性。

Comments 80 pages. Preprint; feedback welcome

CritiqueDriveVLM: From Verifier-Guided Reinforcement Learning to Latent Thought Distillation for Autonomous Driving

CritiqueDriveVLM：从验证器引导的强化学习到自动驾驶的潜在思想蒸馏

Zhaohong Liu, Hao Ye, Xianlin Zhang, Mengshi Qi

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； School of Digital Media & Design Arts（数字媒体与设计艺术学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 效率与部署 ：language model(abstract)；SFT(abstract)；分类 cs.AI

AI总结 提出CritiqueDriveVLM框架解决自动驾驶中推理幻觉等问题，先通过验证器引导的强化学习培养强大教师模型，再用潜在思想蒸馏压缩能力到学生模型，提升性能并大幅降低推理延迟。

Comments Accepted by ECCV 2026

Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning

用于全模态密集视频字幕的并行自回归解码

Wenzheng Zeng, Siyi Jiao, Chen Gao, Hwee Tou Ng, Mike Zheng Shou

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究密集视频字幕生成，提出并行自回归框架，利用事件间弱局部依赖重组因果依赖图，引入全局规划和事件分解并行解码机制，提升效率与字幕性能。

Comments ECCV 2026. Project website: https://github.com/showlab/PadCaptioner

ProLaViT: Learning Progressive Latent Visual Thoughts in Structured Latent Space

ProLaViT：在结构化潜在空间中学习渐进式潜在视觉思维

Peiming Li, Yifan Wang, Xiaotian Zhang, Zhiyuan Hu, Shiyu Li, Zheng Wei, Yang Tang

机构 * Basic Algorithm Center, PCG, Tencent（腾讯PCG基础算法中心） ； Zhejiang University（浙江大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型在复杂视觉推理任务中的不足，ProLaViT框架利用内生自蒸馏机制等，设计两种推理范式及损失函数，使其能在潜在空间进行结构化视觉推导，实验证明效果优于基线。

Comments Accepted by ECCV 2026

Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation

多模态大语言模型知识蒸馏的令牌级响应视觉注意力引导

Jaehyun Jang, Eunseop Yoon, Hee Suk Yoon, SooHwan Eom, Mark A. Hasegawa-Johnson, Chang D. Yoo

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究多模态大语言模型知识蒸馏，挑战传统依赖，发现下游性能与响应视觉注意力相似度强相关。提出令牌级响应视觉注意力引导方法，通过自适应加权散度，有效引导学生模型，实验证明其性能优于基线。

Comments ECCV 2026

Effective Distillation to Hybrid xLSTM Architectures

有效蒸馏到混合xLSTM架构

Lukas Hauzenberger, Niklas Schmidinger, Thomas Schmied, Anamaria-Roberta Hartl, David Stap, Pieter-Jan Hoedt, Maximilian Beck, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出有效蒸馏方法，通过引入合并阶段提升xLSTM学生模型性能，实现在多个下游任务中接近或超越教师模型表现。

NextCrystal: a Symmetry-Driven Generative Framework for Crystal Structure Prediction

NextCrystal：用于晶体结构预测的对称驱动生成框架

Jinming Mu, Lixin He, Xudong Zhu, Shi Yin

机构 * Laboratory of Quantum Information, University of Science and Technology of China（量子信息实验室，中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究院，合肥综合性国家科学中心） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对晶体结构预测难题，引入NextCrystal框架，用大语言模型编码化学语义，经启发式波束搜索和扩散主干，实现从原子化学计量比直接生成精细Wyckoff位点模式，性能达最优并发现新相。

Generative Pseudo-Labeling for Pre-Ranking with LLMs

用于预排序的生成式伪标签与语言模型

Junyu Bi, Xinting Niu, Daixuan Cheng, Kun Yuan, Tao Wang, Binbin Cao, Jian Wu

机构 * Alibaba Group（阿里巴巴集团） ； Renmin University（中国人民大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究工业推荐系统预排序中训练与服务差异问题，提出生成式伪标签框架GPL，利用语言模型为未曝光物品生成无偏伪标签，提升点击率、推荐多样性和长尾物品发现。

Knowing When Not to Answer: Lightweight KB-Aligned OOD Detection for Safe RAG

知道何时不回答：用于安全检索增强生成的轻量级知识库对齐的域外检测

Ilias Triantafyllopoulos, Renyi Qu, Salvatore Giorgi, Brenda Curtis, Lyle H. Ungar, João Sedoc

机构 * New York University（纽约大学） ； National Institute on Drug Abuse（国家成瘾医学研究所） ； University of Pennsylvania（宾夕法尼亚大学） ； Microsoft（微软公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 研究用于检索增强生成（RAG）系统的轻量级、知识库对齐的域外检测，通过PCA处理知识库嵌入，用方差保留或t检验排序选择子空间评分查询，评估规则和分类器，发现低维检测器性能好且更优。

Optimal-Agent-Selection: State-Aware Routing Framework for Efficient Multi-Agent Collaboration

最优智能体选择：用于高效多智能体协作的状态感知路由框架

Jingbo Wang, Sendong Zhao, Haochun Wang, Yuzheng Fan, Ting Liu

机构 * Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中⼼） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对多智能体系统中智能体调度和协调策略的不足，提出状态感知路由框架STRMAC，通过编码交互历史和智能体知识选择合适智能体，并引入自进化数据生成法，实验表明其性能达最优。

OctoPipe: Reducing Pipeline Bubbles for Heterogeneous Models via Co-Optimizing Partitioning, Placement, and Scheduling

OctoPipe：通过共同优化分区、放置和调度减少异构模型的流水线气泡

Jihu Guo, Tenghui Ma, Wei Gao, Peng Sun, Xun Chen, Jiaxing Li, Zhisheng Ye, Yuyang Jin, Dahua Lin

机构 * FDU & Shanghai AI Laboratory（复旦大学及上海人工智能实验室） ； HKUST（香港科技大学） ； Unaffiliated（无隶属机构） ； Tsinghua University（清华大学） ； CUHK & SenseTime Research（香港大学及SenseTime研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对模型架构异构性加剧流水线气泡降低训练效率的问题，提出OctoPipe系统，通过构建模拟器、开发调谐器、实现执行器共同优化分区、放置和调度，提升了吞吐量。

Comments 14 pages, 12 Figures; Accepted by SC'26;

Memory-Efficient FastText: A Comprehensive Approach Using Double-Array Trie Structures and Mark-Compact Memory Management

内存高效的FastText：一种使用双数组trie结构和标记紧凑内存管理的综合方法

Yimin Du

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 研究提出内存高效的FastText变体，基于先精确后压缩原则，用双数组trie索引替换哈希桶，经合并和重排压缩矩阵，在中文基准测试中显著减少内存、提升加载速度并保持下游质量。

Comments 11 pages

DiCE-CIR: Direct Composition Learning for Efficient Zero-Shot Composed Image Retrieval

DiCE-CIR：用于高效零样本合成图像检索的直接合成学习

Gwang-Ho Na, Ho-Joong Kim, Seong-Whan Lee

机构 * Institute of Information & Communications Technology Planning & Evaluation (IITP)（信息通信技术规划与评估研究所（IITP）） ； Department of Artificial Intelligence, Korea University（韩国大学人工智能系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 研究零样本合成图像检索问题，提出直接合成学习方法DiCE-CIR，直接组合参考图像和编辑文本预测合成查询表示，用大语言模型自动构建训练样本，训练轻量级模块，实验表明其性能优且效率高。

PathMark: Protecting Intellectual Property of Mixture-of-Expert LLMs via Path Watermarks

PathMark：通过路径水印保护混合专家语言模型的知识产权

Yudong Gao, Qingyue Wang, Yuanyuan Yuan, Ruixuan Huang, Linghan Chen, Zimo Ji, Shuai Wang

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 针对混合专家（MoE）架构中传统水印方案失效的问题，提出PathMark框架，通过主动控制路由作为隐蔽水印通道，利用多种机制解决脆弱决策边界和路由纠缠问题，实现高验证准确率和强鲁棒性。

Comments 20 pages, accepted by CCS'26

Can Model Merging Improve Aggregation in DiLoCo?

模型合并能否改善分布式局部计算优化（DiLoCo）中的聚合？

Stefan Horoi, Benjamin Thérien, Guy Wolf, Eugene Belilovsky

机构 * Université de Montréal（蒙特利尔大学） ； Mila – Quebec AI Institute（米拉-魁北克人工智能研究所） ； Concordia University（康考迪亚大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究分布式学习中局部随机梯度下降（SGD）/DiLoCo的伪梯度聚合与模型合并的类比，评估多种模型合并方法，发现Iso-C可改进DiLoCo，在此基础上提出IsoLoCo，实证表明其性能优于DiLoCo。

Agentic Orchestration of HPC Applications in Cloud

云中HPC应用程序的智能编排

Vanessa Sochat, Daniel Milroy

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 研究利用智能代理实现HPC应用程序在云环境中实验运行的全生命周期管理，通过四个知名HPC应用构建多平台镜像并优化，展示成功线性缩放等成果及提出最佳实践。

Comments 11 pages, 8 figures, 3 tables

Safe Inference-Time Alignment via Lagrangian Reward Augmentation

通过拉格朗日奖励增强实现安全推理时对齐

Yaswanth Chittepu, Ativ Joshi, Sohini Chintala, Scott Niekum

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出拉格朗日奖励增强框架，从含奖励与成本模型的约束目标出发，经对偶化将问题转化为一维凸问题，校准对偶变量获增强奖励，提升推理时对齐的有益性与无害性权衡。

SHIFT: Dynamic Compute Relocation Framework for Communication-Aware Chiplet-Based Systems

SHIFT：面向通信感知的基于芯粒系统的动态计算重定位框架

Arvin Delavari, Leonid Popryho, Sneha Swaroopa, Nader Sehatbakhsh, Inna Partin-Vaisband, Boris Vaisband

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 提出SHIFT框架，通过动态迁移计算节点上下文和数据到更优位置，结合改进的最短路径算法和轻量级ML辅助策略，在芯粒架构上实现通信感知的负载放置与路由优化，显著提升延迟、吞吐量和能效。

Comments This work has been submitted to the IEEE for possible publication

Faithfulness to Refusal: A Causal Audit of Neuron Selectors

对拒绝的忠实性：神经元选择器的因果审计

Ananth Eswar, Pratinav Seth, Utsav Avaiya, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对归因分数识别神经元行的因果有效性未经验证的问题，通过单次神经元行置零的配对审计，验证归因方法在识别冗余行、实现安全拒绝行为上的因果有效性，揭示排序稳定性不能代表因果有效性。

Rethinking On-Policy Self-Distillation for Thinking Models

重新思考思维模型的在线策略自蒸馏

Simran Kaur, Narutatsu Ri, Yinghui He, Liam Fowl, Sanjeev Arora

机构 * Princeton University（普林斯顿大学） ； Princeton Language and Intelligence（普林斯顿语言与智能实验室） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对思维模型自蒸馏性能退化问题，研究发现特权上下文在线策略蒸馏会降低长推理轨迹性能，揭示其作用机制，为强思维模型自蒸馏优化提供方向。

RADIO1D: Elastic Representations for Condensed Vision Modeling

RADIO1D：用于压缩视觉建模的弹性表示

Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 挑战视觉语言模型需固定基于补丁的2D视觉特征的假设，分析微调视觉编码器，基于发现引入RADIO1D，用多教师知识蒸馏等将图像压缩成1D令牌序列，有强分层总结能力，在多模态基准测试中有优势。

Comments Published as main conference paper at ICML 2026

FlashBlock: Attention Caching for Efficient Long-Context Block Diffusion

FlashBlock：用于高效长上下文块扩散的注意力缓存

Zhuokun Chen, Jianfei Cai, Bohan Zhuang

机构 * Monash University（墨尔本大学） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究长内容生成中块扩散在长上下文设置下的注意力计算开销问题，提出FlashBlock机制，利用块外注意力输出稳定性复用注意力，减少计算与缓存访问，提升效率且不影响质量。

PuzzleMoE: Efficient Compression of Large Mixture-of-Experts Models via Sparse Expert Merging and Bit-packed inference

PuzzleMoE：通过稀疏专家合并和位打包推理对大型专家混合模型进行高效压缩

Yushu Zhao, Zheng Wang, Minjia Zhang

机构 * Tsinghua University（清华大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对专家混合模型内存开销大难题，提出PuzzleMoE方法。通过识别权重冗余与专业化进行稀疏专家合并，用双掩码捕获参数，引入位打包编码避免存储开销，实现高效推理，大幅压缩模型且保持精度。

When Words Predict Workload

当单词预测工作量时

Anubhab Banerjee

机构 * Nokia Germany（诺基亚德国） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL

AI总结 研究标准分布式语言模型调度器问题，提出CPU端语言资源预测网关，提取文本结构向量并用XGBoost预测器，经实时延迟遥测计算路由阈值，有效降低操作错误路由率，保障边缘VRAM安全。

Comments This work has been submitted to the IEEE for possible publication. Permission from the author must be obtained for all uses

IRIS: An Intelligent Vision-Language System for Ocular Surface Diseases via Topic Tree and Scene-Driven VQA Generation

IRIS：一种通过主题树和场景驱动的VQA生成用于眼表疾病的智能视觉语言系统

Hao Wei, Wenjin Qi, Dasen Dai, Minqing Zhang, Wu Yuan

机构 * The Chinese University of Hong Kong（香港中文大学） ； Westlake University（西湖大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 针对眼表疾病领域缺乏多模态数据问题，引入IRIS系统。构建IRIS-120K数据集，提出协同数据生成范式，含主题发现树和场景驱动策略，使4B参数VLM性能达最优。

Comments 11 pages, 3 figures

Sangam: Efficiently Serving Diffusion LLMs with the AR Stack

Sangam：使用AR堆栈高效服务扩散语言模型

Nitin Kedia, Saurabh Agarwal, Myungjin Lee, Aditya Akella

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Cisco Research（思科研究） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 研究扩散语言模型服务问题，提出Sangam系统，用赤字令牌预算调度器实现摊还无停顿调度，采用混合服务策略缓解预填充资源不足，揭示服务设计空间受预填充-解码干扰等因素影响。

CineMobile: On-Device Image-to-Video Diffusion for Cinematic Camera Motion Generation

CineMobile：用于电影级相机运动生成的设备端图像到视频扩散

Xuyao Huang, Zelai Deng, Xu Wang, Xizhong Xiao, Zhijie Deng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Nankai University（南开大学） ； Transsion（传音） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI

AI总结 针对移动设备图像到视频创作需求，提出CineMobile。采用蒸馏引导剪枝、扩散蒸馏与强化学习优化及混合后训练量化策略，在保持视觉质量的同时大幅加速生成，证明其在移动图像到视频创作中的实用性。

Embodied Operators and Benchmarking: Toward Reusable and Deployable Embodied Intelligence Systems

具身算子与基准测试：迈向可复用和可部署的具身智能系统

Junwu Xiong, Jiaxuan Gao, Wei Chai, Renxing Chen, Yuzhen Li, Yu Guo, Yucheng Guo, Mingxi Luo, Wenyang Ma, Yiyun Mou, Yifei Zhang, Chen Zhou, Yongjian Guo

机构 * JDT ； Tsinghua University（清华大学） ； Tianjin University（天津大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 研究具身智能系统中可复用功能模块即具身算子，明确其定义边界、构建分类法，提出多维度基准框架，探讨加速及挑战，为具身智能系统提供基础。

PhenoNEST: A Neuro-Symbolic Framework for Ontology-Aware Multimodal Plant Phenotyping and Trait Discovery

PhenoNEST：用于本体感知多模态植物表型分析和性状发现的神经符号框架

Jayant Ghadge, Soumyashree Kar, Surya S. Durbha

机构 * Centre of Studies in Resources Engineering (CSRE)（资源工程研究中心） ； Indian Institute of Technology Bombay（孟买印度理工学院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 提出构建多模态粒状知识图谱框架，以弥合语义鸿沟，通过蒸馏野外记录提取实体和关系，结合模型与本体对齐，经视觉语言模型生成软图，引入节点连接多模态子图，成功映射野外观察，助力小麦育种。