语言大模型 / LLM

Post-training Quantization for Hybrid Iterative Generative Models

混合迭代生成模型的训练后量化

Jing Gao, Junyi Wu, Wei Wang, Yan Yan, Yao Zhao

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.LG

AI总结 针对混合迭代生成模型训练后量化易引发模型崩溃的问题，提出HyGenQ框架，通过分层聚类解耦与缩放重校准，成功将其量化至8位精度且性能优于现有方法。

Foundation models for movement data: Are they ready for prime-time?

面向运动数据的基础模型：它们是否已准备好投入实际应用？

Alexander Bräuer, Benjamin Cauchi, Nils Strodthoff

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文评估四种开源加速度计基础模型与监督基线在19项运动相关任务的表现，发现其性能具任务依赖性，UniMTS表现最优，还提出活动轮廓推断是有前景的研究方向。

Comments 14 pages, 6 figures, 8 tables, code is available at https://github.com/AI4HealthUOL/movement-fm-benchmarking

MergeOver: Post-Training Token Merging for Recursive Vision Transformers

MergeOver：面向递归视觉Transformer的训练后令牌合并方法

Junseo Kim, Uraz Odyurt, Amirreza Yousefzadeh

机构 * University of Twente（特文特大学） ； Faculty of Engineering Technology, University of Twente（特文特大学工程技术学院） ； Computer Architecture for Embedded Systems, University of Twente（特文特大学嵌入式系统计算机架构实验室） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.LG

AI总结 MergeOver是将令牌合并集成到递归权重共享Transformer的训练后方法，在ImageNet-1K上实现了GPU和树莓派5上的内存、延迟优化，为两类技术结合提供基线。

Calibration Bets on the Past: Post-Training Quantization for Financial Time-Series Forecasting

对过去的校准赌注：面向金融时间序列预测的训练后量化

Junyi Ye, Ivy Gateri Wanjiku

机构 * School of Computing, Montclair State University（蒙特克莱尔州立大学计算机学院） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.LG

AI总结 该研究针对S&P 500的波动率预测，探究PTQ中激活校准对4位量化的影响，发现百分位校准可缓解4位量化的性能下降，为金融预测的低精度部署提供指导。

Distillation of Foundation Models for Time-dependent PDEs

面向时变偏微分方程的基础模型蒸馏

Daniel Musekamp, Boshra Ariguib, Andrei Manolache, Mathias Niepert

机构 * University of Stuttgart（斯图加特大学） ； University of Cologne（科隆大学） ； Bitdefender（比特 Defender（比特Defender，一家网络安全公司）） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出面向时变PDE的知识蒸馏框架TREX，将预训练基础模型的预测能力迁移至紧凑高效的学生模型，在多PDE基准上实现精度相当或超越教师模型，且参数大幅减少、推理速度显著提升。

XBridge: Entity-Grounded Latent Bridge for Heterogeneous LLM Communication

XBridge：面向异构大语言模型通信的实体锚定隐空间桥接器

Wooseong Yang, Wei-Chieh Huang, Weizhi Zhang, Yu Wang, Philip S. Yu, Junhyun Lee

机构 * Hankuk University of Foreign Studies（韩国外国语大学） ； Noah’s Farm（诺亚农场） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Capital One AI Foundations（Capital One AI 基金会） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 XBridge是免解码的异构大语言模型通信协议，通过词汇锚定映射和隐空间丰富桥接器解决跨架构通信的实体身份丢失问题，在多模型、多基准测试中表现优于现有方法，参数开销低。

Comments 18 pages, 4 figures

CORA-Diff: Confidence-Oriented Residual Acceptance for Efficient Diffusion Language Model Inference

CORA-Diff：面向高效扩散语言模型推理的置信导向残差接受

Yifan Wu, Yufeng Zhang, Kenli Li

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出无需训练的CORA-Diff方法，利用原生置信度与持久性门控识别残差位置，在多基准测试中显著降低扩散语言模型推理的重复计算，同时保持任务性能。

Comments 9 pages, 2 figures, 3 tables. Code: https://github.com/wyffffff/cora-diff-llada

Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models

Omni2LoRA：用于高效全模态语言模型的保持一致性的参数化存储器

Puneet Mathur, Manan Suri, Dinesh Manocha

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 Omni2LoRA是一种保持一致性的参数化存储器压缩框架，通过优化秩分配策略提升全模态语言模型效率，在视听问答任务中优于多种基线，大幅缩短推理时间。

PreGress: Ranking-Native Pre-training and Prompting for Graph Node Ranking

PreGress：面向图节点排序的原生排序预训练与提示学习框架

Lujie Ban, Jiasheng shi, Yingli Zhou, Kaiwen Xue, Daiyin Wang, Xubin Li, Shuanghua Li, Chenhao Ma

专题命中 效率与部署 ：prompting(title,abstract)；分类 cs.LG

AI总结 PreGress是首个原生排序预训练与提示学习框架，通过多任务预训练与轻量提示模块，在低开销下实现了多节点排序任务的优异性能。

A continually expandable foundation model for brain MRI

可持续扩展的脑MRI基础模型

Michail Mamalakis, Carmen Jimenez-Mesa, Yonghao Li, Hao Chen, Chao Li, Antonios Mamalakis, John Suckling, Richard Bethlehem, Stephen J. Price, Richard J. Gilbertson, Pietro Lio

机构 * University of Cambridge（剑桥大学） ； University of Málaga（马拉加大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出可扩展的Alcmaeon脑MRI基础模型，结合体积编码、潜在扩散生成与Graph-Blueprint Pruning，在跨临床领域扩展时遗忘程度更低，可支持多种任务，为持续发展的脑MRI基础模型提供了可行方向。

Stateful CARS: Exact Cross-History Reuse for Policy-Constrained LLM Agents

有状态CARS：策略约束大语言模型智能体的精确跨历史复用

Ibne Farabi Shihab, Md Najmus Swaqeeb, Abu Sa-Adat Mohamed Moon-Im Al Ahsan

机构 * Iowa State University（爱荷华州立大学） ； BRAC University（BRAC大学） 纠错

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.LG

AI总结 本文针对受含义随观测和动作变化约束的工具使用语言模型智能体，提出有状态CARS方法，通过冻结状态-延续模式实现跨历史无效性证书复用，实验表明其精确性高但系统性能未优于官方CARS。

AraSSM: A bidirectional state-space encoder for Arabic masked language modeling

AraSSM：面向阿拉伯语掩码语言建模的双向状态空间编码器

Ahmed Amine Aliane, Hassina Aliane, Nasredine Semmar

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出面向阿拉伯语的双向状态空间编码器AraSSM，经掩码语言建模预训练后，在四项阿拉伯语NLU基准上的表现接近或优于同规模Transformer，验证了消费级硬件训练的有效性。

EFFEKT: Efficient Federated Knowledge Transfer to Foundation Models

EFFEKT：面向基础模型的高效联邦知识迁移

Matteo Caligiuri, Francesco Barbato, Pietro Zanuttigh, Francesco Restuccia

机构 * Northeastern University（东北大学） ； University of Padua（帕多瓦大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 EFFEKT是一种联邦学习框架，通过双向跨蒸馏策略，结合轻量级客户端代理模型与服务器端基础模型，实现高效的领域特定LoRA适配器训练，在低功耗边缘设备上性能优于基线。

Comments 12 main content pages, 8 appendix pages; 3 main figures, 9 appendix figures; 8 main tables, 9 appendix tables; 1 main algorithm, 4 appendix algorithms; accepted at TMLR

PTQ4SNN: Membrane-Aware Post-Training Quantization for Spiking Neural Networks

PTQ4SNN：面向脉冲神经网络的感知膜后训练量化

Hui Xie, Tong Shi, Haotong Qin, Aishan Liu, Xiaode Liu, Jinyang Guo

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI

AI总结 PTQ4SNN是一种仅用小型校准集联合量化SNN权重与循环膜状态的感知膜后训练量化框架，可在无需重训骨干网络的情况下，于W4量化和约4位膜精度下保持模型准确率。

ZIPBrain: Can EEG Foundation Models Be Faster, Locally Deployable, but Accurate?

ZIPBrain：脑电基础模型能否更快、可本地部署且仍保持准确？

Lingwei Li, Yirong Kan, Peng Chen, Xu Cao, Zheng Chen, Yasuhiko Nakashima

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本研究提出即插即用模块ZIPBrain，利用EEG低SNR特性减少token数量，使EEG基础模型推理速度提升32.7%（最高41.8%）且平均准确率提升1.3%-10.5%，可本地部署。

Comments 7 pages(14 pages including appendix), 5 figures

Capek 0.5: An Execution-Centric Vision-Language Model for Embodied Intelligence

Capek 0.5：面向具身智能的以执行为中心的视觉语言模型

Ying Chen, Weizhen Li, Zhe Hu, Zhenjiang Li, Rui Jiang, Zhifeng Gu, Lihuang Fang, Jiangping Liu, Lei Yi, Jie Chen

机构 * Xiaopeng（小鹏汽车） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出以执行为中心的具身视觉语言模型Capek 0.5，通过分类法整合四类具身能力，在多维度评估中表现优于初始化模型，可迁移至闭环具身任务执行。

Bootstrap-Conditioned Action Selection with Tabular Foundation Models

基于 Bootstrap 条件的表格基础模型动作选择

Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 该研究提出 BC-ICL 方法，将预训练表格基础模型转化为在线决策随机策略，通过 Bootstrap 重采样与臂-上下文架构优化，在上下文多臂老虎机任务上取得优于基准的遗憾性能。

Lost in Interpolation: Why Predictive Feedback Fails in Diffusion Language Models

迷失在插值中：为什么预测反馈在扩散语言模型中失效

Lavanya Nigam, Ishaan Bansal, Aryan Sood, Vidit Aggarwal, Gaurav Kumar Nayak

机构 * Indian Institute of Technology Roorkee（鲁尔基印度理工学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文针对扩散语言模型中线性插值（LERP）不适用于超球面嵌入空间的问题，提出球形软掩码（S-SM）方法，在1.69亿参数MDLM上实现了MAUVE和困惑度的显著提升。

Comments 15 pages

Dynamic Graph Prompting via Topology-Routed Mixed-Curvature Experts

基于拓扑路由的混合曲率专家的动态图提示

Quanxin Wang, Xuanting Xie, Bingheng Li, Xingtong Yu, Shuo Wang, Ruiyi Fang, Zhao Kang

专题命中 效率与部署 ：prompting(title,abstract)；分类 cs.LG

AI总结 本研究针对动态图提示的几何适配不足问题，提出CurvPrompt框架，通过拓扑路由混合曲率专家实现自适应表示，在少样本链接预测和节点分类任务上表现优异，验证了几何自适应提示的必要性。

Comments Suggestions and comments are welcomed

BnBERT-iPET: Sparse Few-Shot Language Modeling for Bengali via Lottery Ticket Pruning

BnBERT-iPET：基于彩票剪枝的孟加拉语稀疏少样本语言建模

Sajib Hossain, Md Kamrus Samad, Anan Ghosh, Labib Imam Chowdhury, Nabeel Mohammed

机构 * North South University（北南大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究提出BnBERT-iPET，一种基于彩票剪枝的孟加拉语稀疏少样本语言建模方法，仅保留初始模型10%边、实现90%稀疏度，在孟加拉语下游任务中性能可与多个最先进语言模型媲美。

Comments 14 pages, 9 tables, 13 figures. Preprint

DIVE: Dynamic Iterative Visual Evidence Construction for Efficient Vision-Language Models

DIVE：面向高效视觉-语言模型的动态迭代视觉证据构建

Chen Zhong, Xiao An, Zijie Wang, Jiepan Li, Guangyi Yang, Wei He

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究针对视觉-语言模型中视觉token导致的推理瓶颈，提出无需训练的DIVE框架，通过动态迭代构建视觉证据，在减少88.9%视觉token的同时保留98.2%的平均性能。

Beyond Global Routing Aggregation: Phase-Aware Expert Merging for MoE Vision-Language Models

超越全局路由聚合：面向MoE视觉-语言模型的阶段感知专家合并

Hongyu Zhang, Cheng Yan, Xiang Xia, Wuyang Zhang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 针对MoE-VLM全局路由聚合导致专家角色混淆的问题，提出无需训练的RoleMerge方法，通过阶段归一化路由统计合并专家，在匹配专家保留比例下性能优于现有方法，六任务宏平均相对提升最高9.6%。

Comments 17 pages, 3 figures, 17 tables

TS2TabPFN: Time Series Classification and Extrinsic Regression through Feature Extraction and a Tabular Foundation Model

TS2TabPFN：通过特征提取和表格基础模型实现时间序列分类与外生回归

Gabriel da Costa Merlin, Diego Furtado Silva

机构 * University of São Paulo (USP)（圣保罗大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 TS2TabPFN框架将显式特征提取与表格基础模型TabPFN 2.5集成，在时间序列外生回归任务中显著优于现有最优模型，为时间序列分类提供了稳健高效的替代方案，建立了新的时间序列最优水平。

Comments Accepted at ECML PKDD 2026. To appear in Springer LNCS. 18 pages; 7 figures

A game theory for foundation models shows new paths to rational cooperation through similarity inference

基础模型的博弈论：通过相似性推理实现理性合作的新路径

Alexander Meulemans, Maciej Wołczyk, Marissa A. Weis, Rajai Nasser, Roberta Rocca, Seijin Kobayashi, Guillaume Lajoie, Angelika Steger, Blake Richards, Marcus Hutter, James Manyika, Rif A. Saurous, João Sacramento, Blaise Agüera y Arcas

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出针对基础模型智能体的嵌入贝叶斯智能体理论模型，通过嵌入均衡机制实现相似性推理，破解经典博弈论预测的社会困境中相互背叛问题，达成稳定合作。

Comments 75 pages, 11 figures

Adaptive Two-Stage Visual Token Pruning for Efficient Inference in Video-Language Models

用于视频-语言模型高效推理的自适应两阶段视觉令牌剪枝

Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 针对视频-语言模型推理延迟高的问题，提出两阶段自适应令牌剪枝策略，先剪去视频冗余帧，再根据视频内容自适应剪去保留帧中的冗余令牌，无需额外训练微调，在10%令牌保留率下提升准确率7%并降低95%计算量。

OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models

OPTD：用于少步扩散语言模型的一致性引导自适应压缩的策略内转换蒸馏

Xiaocheng Lu, Hualei Zhang, Shuhan Guo, Jie Zhang, Xiaoyi Pang, Jian Liu, Haoxi Li, Bohai Gu, Haoxuan Che, Jingcai Guo, Song Guo

机构 * HKUST（香港科技大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 针对少步扩散语言模型现有离线策略蒸馏的轨迹不匹配问题，提出 OPTD 策略内转换蒸馏方法，在四个推理基准上改善质量效率权衡并取得最优质量约束 AUP。

Comments 9 pages, 4 figures, 5 tables

DAVET: Denoising-Aware Visual Evidence Trajectory Allocation for Diffusion Vision-Language Models

DAVET：面向扩散视觉-语言模型的降噪感知视觉证据轨迹分配

Yongkang Zhou, Xiang Xia, Cheng Yan, Fan Xu, Wuyang Zhang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 DAVET 是一种无需训练的框架，通过根据扩散视觉-语言模型的生成状态自适应分配视觉证据，实现平均 1.55 倍加速且仅 1.86% 的平均性能下降，降低了视觉条件成本。

CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens for Vision-Language Models

CRAFT：面向视觉语言模型的基于视频令牌递归自适应融合的压缩方法

Yu Chen, Xiaohong Li, Xiaole Wang, Jianjin Zhang, Jun Sun, Yafeng Deng

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 针对视觉语言模型视频令牌压缩效率与适应性的权衡问题，提出CRAFT方法，通过解耦令牌选择与融合实现高效压缩，在8倍压缩时保留97%主干准确率且性能优于现有方法。

Comments 11 pages, 5 figures

Linguistic Context Recodes Visual Representations in Vision-Language Models

语言上下文对视觉语言模型中的视觉表示进行重编码

Brian Song, Michael A. Lepori, Ellie Pavlick

机构 * Brown University（布朗大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究揭示视觉语言模型中语言上下文会重编码视觉表示，通过对比引导向量和属性调制两种机制，为跨模态动态处理提供了因果证据。

A Cross-Architecture Audit of Direction-Based Inference-Time Defences in Vision-Language Models

跨架构视觉语言模型中基于方向的推理时防御措施审计

Xiangyu Yin, Tora Bodin, Rohan Menon, Chih-Hong Cheng

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 该研究审计了视觉语言模型中5种基于方向的推理时防御，发现其性能具架构特异性，部分防御间几何重叠，需按解码器家族单独校准。