语言大模型 / LLM

Agentic AI-Enhanced Semantic Communications: Foundations, Architecture, and Applications

基于代理AI的语义通信：基础、架构与应用

Haixiao Gao, Mengying Sun, Ruichen Zhang, Yanhan Wang, Xiaodong Xu, Nan Ma, Dusit Niyato, Ping Zhang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文探讨代理AI如何赋能语义通信，提出统一框架并展示多场景应用，通过案例研究验证其有效性。

Comments This version is being withdrawn because we need to further reevaluate the attribution of contributions among the authors

A Simple Efficiency Incremental Learning Framework via Vision-Language Model with Nonlinear Multi-Adapters

通过非线性多适配器的视觉-语言模型实现简单的效率增量学习框架

Haihua Luo, Xuming Ran, Jiangrong Shen, Timo Hämäläinen, Zhonghua Chen, Qi Xu, Fengyu Cong

机构 * Faculty of Information Technology, University of Jyväskylä（信息科技学院，于韦斯屈耶大学） ； National University of Singapore（新加坡国立大学） ； Lab of Brain-Machine Intelligence, Zhejiang University（脑机智能实验室，浙江大学） ； School of Computer Science and Technology, Dalian University of Technology（计算机科学与技术学院，大连理工大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出SimE框架，利用视觉-语言模型与适配器提升增量学习效率，发现适配器连接数与模型能力呈非线性关系，实验表明在TinyImageNet和CIFAR-100上优于传统方法。

Accelerating Time Series Foundation Models with Speculative Decoding

通过投机解码加速时间序列基础模型

Pranav Subbaraman, Fang Sun, Jinxi Yu, Yue Yao, Huacong Tang, Xiao Luo, Yizhou Sun

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 通过投机解码技术提升时间序列预测模型的推理效率，无需修改现有架构即可加速部署系统。

Archer: Adaptive Reuse of Cached Hidden States for Efficient Rollback in Diffusion Language Models

Archer：用于扩散语言模型高效回滚的缓存隐藏状态自适应复用方法

Xuning He, Zinan Sheng, Yongding Tao, Huanyu Liu, Ge Li, Xue Jiang, Yihong Dong

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出Archer方法，通过自适应复用缓存的提示隐藏状态，在保证扩散语言模型回滚能力的同时，实现了2.57倍平均加速与33.63%最佳平均性能，还提升了Pass@1指标。

LookME: Lookup-Based Multimodal Embeddings for Layer Injection in Vision-Language Models

LookME：用于视觉语言模型层注入的基于查找的多模态嵌入

Zeyu Xu, Xingzhong Hou, Pengkai Guo, Siling Lin, Xiao Xu, Menghua Zhai, Haoyu Chen, Yunke Zhang, Fei Huang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文针对视觉语言模型在资源受限环境中部署的问题，提出LookME框架。通过分层两级查找方法和稀疏注入策略，实现基于查找的多模态嵌入增强，实验表明该方法优于仅文本的PLE风格方法，有效提升了模型性能。

Diagnostic-Driven Layer-Wise Compensation for Post-Training Quantization of Encoder-Decoder ASR Models

基于诊断的层间补偿用于编码器-解码器ASR模型的后训练量化

Xinyu Wang, Ziyu Zhao, Yajie Luo, Yihong Wu, Liheng Ma, Jingrui Tian, Lei Ding, Xiao-Wen Chang, Peng Lu

机构 * McGill University（麦吉尔大学） ； University of Manitoba（曼尼托巴大学） ； Mila - Quebec AI Institute（魁北克AI研究院） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.CL

AI总结 本文提出FADE框架，通过结合内在脆弱性评分和校准可靠性评分，为编码器-解码器ASR模型的各层分配适应性补偿系数，以平衡局部量化保真度与跨层误差校正，从而提升在3-4位精度下的词错误率性能。

Inference-Time Scaling of Diffusion Language Models via Trajectory Refinement

通过轨迹细化提升扩散语言模型的推理时间扩展

Meihua Dang, Jiaqi Han, Minkai Xu, Kai Xu, Akash Srivastava, Stefano Ermon

机构 * Stanford University（斯坦福大学） ； Red Hat AI Innovation（红帽人工智能创新） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出PG-DLM，通过轨迹级细化提升扩散语言模型的推理效率，引入新的缩放轴并实现自适应计算分配，实验显示在奖励引导生成任务中表现更优。

Comments COLM 2026

Distill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language Models

提炼学生可见内容：面向视觉语言模型的Fisher投影在线策略蒸馏

Leyan Xue, Feng Xiong, Mingjun Ma, Changqing Zhang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 针对视觉语言模型在线策略蒸馏中教师修正与学生能力不匹配的问题，提出FP-OPD方法，在8B到2B的蒸馏中使7个多模态基准平均得分分别提升2.77和1.60个点。

Quantization Effects on Biomedical LLM Reliability

量化对生物医学大语言模型可靠性的影响

Anton Rasmussen, Hong Qin

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.LG

AI总结 该研究针对 Mistral-7B 变体在 PubMed RCT 句子分类任务上，评估量化及提示模板、评分规则等对生物医学大语言模型可靠性的影响，发现这些因素对校准和准确率的影响不可忽视。

Comments 8 pages, 1 figure

DAG-FM: A Foundation Model for Causal Discovery under Heterogeneous Causal Mechanisms

DAG-FM：异构因果机制下因果发现的基础模型

Yikang Chen, Zhengkang Guan, Haoyuan Qian, Xingxuan Zhang, Peng Cui, Yi Yang, Fei Wu, Kun Kuang

机构 * Zhejiang University（浙江大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对观测表格数据因果发现难题，提出DAG-FM基础模型，通过自回归阶段、表格交互块及叶专家混合处理复杂情况，经迭代推理构建DAG，在合成及真实数据集上性能优于传统算法和其他模型。

Comments 33 pages, 9 figures, 12 tables, preprint

Beyond One Output: Visualizing and Comparing Distributions of Language Model Generations

超越单一输出：语言模型生成分布的可视化与比较

Emily Reif, Claire Yang, Jared Hwang, Deniz Nazar, Noah A. Smith, Jeff Heer

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（Allen人工智能研究所） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出GROVE工具，通过可视化语言模型生成的分布结构，帮助用户更全面地理解生成过程中的模式和敏感性，提升任务迭代效果。

MARGIN: Runtime Confidence Calibration for Multi-Agent Foundation Model Coordination

MARGIN：多智能体基础模型协调的运行时置信度校准

Joss Armstrong

机构 * Ericsson, Athlone, Ireland（爱立信，Athlone，爱尔兰） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出在线校准方法MARGIN，通过任务流学习每个智能体每个置信度带的校准因子，无需模型访问或重训练，在分布漂移下将校准误差降低3-6倍，并显著提升多智能体选择性能。

AGMark: Attention-Guided Dynamic Watermarking for Large Vision-Language Models

AGMark：基于注意力的动态水印技术用于大视觉-语言模型

Yue Li, Xin Yi, Dongsheng Shi, Yongyi Cui, Gerard de Melo, Linlin Wang

机构 * East China Normal University（华东师范大学） ； Hasso Plattner Institute（哈索普拉特纳研究所） ； University of Potsdam（波茨坦大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 AGMark通过动态注意力机制提升大视觉-语言模型的水印可靠性，实现高质量生成和强视觉语义保真度。

Comments KDD 2026

GigaPath-Flash and GigaTIME-Flash: Efficient Pathology Foundation Models for Whole-Slide and Tumor Microenvironment Analysis

GigaPath-Flash和GigaTIME-Flash：用于全切片和肿瘤微环境分析的高效病理学基础模型

Naoto Usuyama, Jeya Maria Jose Valanarasu, Sicong Yao, Hanwen Xu, Jaspreet Bagga, Guanghui Qin, Robert E. Kramer, Cliff Wong, Soohee Lee, Hao Qiu, Theodore Zhengde Zhao, Racheli Ben Shimol, Angela Crabtree, Kevin Matlock, Eduardo Alejandro Lozano Garcia, Naiteek Sangani, Alberto Santamaria-Pang, Maximilian Rokuss, Yashna Hasija, Naisargi Manishkumar Patel, Jason Entenmann, Alexandra Q. Bartlett, Bill J. Wright, Bernard A. Fox, Brian Piening, Sheng Zhang, Sheng Wang, Tristan Naumann, Carlo Bifulco, Hoifung Poon

机构 * Microsoft Research（微软研究院） ； Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院） ； Providence Genomics（普罗维登斯基因组学公司） ； Earle A. Chiles Research Institute, Providence Cancer Institute（普罗维登斯癌症研究所厄尔·A·奇尔斯研究所） ； Providence Research Network（普罗维登斯研究网络） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 研究针对计算病理学中模型局限，提出GigaPath-Flash和GigaTIME-Flash模型用于全切片和肿瘤微环境分析。前者结合特定编码器，计算量少性能优；后者扩展架构预测肿瘤免疫微环境，速度快内存省，共同为相关领域提供开放许可模型及权重。

Comments Models: https://aka.ms/gigapath-flash (GigaPath-Flash) and https://aka.ms/gigatime-flash (GigaTIME-Flash)

HERAKLES: Hierarchical Skill Compilation for Open-ended LLM Agents

HERAKLES：用于开放式语言模型智能体的分层技能编译

Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

机构 * Inria(Flowers)（Inria） ； University of Bordeaux（波尔多大学） ； Sorbonne Université (ISIR)（索邦大学） ； Univ Angers (LERIA) SFR MATHSTIC（昂格斯大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究部分可观测、稀疏奖励且目标空间大的环境中目标条件强化学习，提出HERAKLES分层智能体，联合学习高级语言模型策略与低级控制器，通过同时训练实现可扩展技能组合，提升开放式组合环境下的效率和适应性。

Comments 42 pages

Semantic Register Compression in Multi-Agent LLM Cascades

多智能体大语言模型级联中的语义寄存器压缩

Manuele Tele Junior Fernandez

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL

AI总结 研究多智能体大语言模型级联中的语义寄存器压缩现象，用三智能体管道量化压缩，通过五个架构变体分析驱动因素，发现压缩在不同领域强度不同且可泛化，提示级回归可解释大部分方差，对高风险领域安全评估有意义。

Comments 16 pages, 2 figures, 4 tables. Revised version with corrected English-prompt experiments and updated cross-domain and prompt-gradient results

Rethinking Efficiency in Neural Combinatorial Optimization: Batched Preference Optimization with Mamba

重新思考神经组合优化中的效率：基于Mamba的批量偏好优化

Zhenxing Xu, Zeyuan Ma, Weidong Bao, Yan Zheng, Chongshuang Hu, Ji Wang, Zhiguang Cao

机构 * National Key Laboratory of Big Data and Decision, National University of Defense Technology（大数据与决策国家重点实验室，国防科技大学） ； School of Computer Science, South China University of Technology（华南理工大学计算机科学学院） ； School of Computing and Information Systems, Singapore Management University（新加坡管理学院计算机与信息系统学院） 纠错

专题命中 效率与部署 ：preference optimization(title,abstract)；分类 cs.LG

AI总结 本文提出ECO框架，通过分阶段的监督预热和批量偏好优化，提升神经组合优化的效率，实现更优的内存使用和吞吐量。

AutoNeural: Co-Designing Vision-Language Models for NPU Inference

AutoNeural：为 NPU 推理协同设计视觉语言模型

Wei Chen, Liangmin Wu, Yunhai Hu, Zhiyuan Li, Zhiyuan Cheng, Yicheng Qian, Lingyue Zhu, Zhipeng Hu, Luoyi Liang, Qiang Tang, Zhen Liu, Han Yang

机构 * Nexa AI ； Geely Auto 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 研究针对 NPU 推理的视觉语言模型硬件与模型不匹配问题，提出 AutoNeural 架构，用深度可分离卷积骨干替换 ViT 编码器，结合状态空间模型与 Transformer 层，提升效率，降低量化误差与延迟，验证了在实际应用中的实时性能。

Squid: Long Context as a New Modality for Energy-Efficient On-Device Language Models

Squid：长上下文作为节能设备端语言模型的新模态

Wei Chen, Zhiyuan Li, Shuo Xin, Yihao Wang

机构 * Nexa AI 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 研究针对设备端语言模型处理长上下文能耗高、延迟大的问题，提出Dolphin架构，用紧凑解码器提炼上下文信息，结合图像嵌入投影仪编码长文本，经实证评估，该方法提升了能源效率，降低了延迟，为设备端语言模型发展做贡献。

HELP: Human-Efficient Large-Scale Robot Post-Training with Rollout Segmentation

通过 VLAC-Cut 引导的管道最大化大规模机器人训练后人类效率

Shaopeng Zhai, Qi Zhang, Tianyi Zhang, Haoran Zhang, Fuxian Huang, Zhanhui Lin, Zijun Xu, Weinan Zhang

机构 * Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI

AI总结 研究旨在最大化机器人训练后人类效率，提出含专门分工的高效训练后管道，引入 VLAC-CUT 工具提高数据利用效率，经四个实际任务验证，最终策略成功率达 80% - 95%，吞吐量提升 1.7 倍至 4.2 倍，优于仅人工参与训练。

Post-Training Pruning for Diffusion Transformers

扩散变换器的训练后剪枝

Chengzhi Hu, Xuewen Liu, Jing Zhang, Mengjuan Chen, Zhikai Li, Qingyi Gu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI

AI总结 针对扩散变换器（DiTs）计算开销大的问题，提出DiT-Pruning方法，通过能量感知的显著性度量与聚类感知的剪枝粒度，在50%稀疏度下仅损失0.001 CLIP分数。

Comments 15 pages, 13 figures

Causal Foundation Models with Continuous Treatments

具有连续处理的因果基础模型

Christopher Stith, Medha Barath, Vahid Balazadeh, Jesse C. Cresswell, Rahul G. Krishnan

机构 * Layer 6 AI ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出首个连续处理因果基础模型，通过设计连续处理变量的数据生成先验，生成丰富因果训练语料，并利用Transformer重建个体治疗响应曲线，实现无需额外训练的因果效应预测。

Comments 21 pages, 9 figures; added link to inference code

BARD: Bridging AutoRegressive and Diffusion Vision-Language Models Via Highly Efficient Progressive Block Merging and Stage-Wise Distillation

BARD：通过高效渐进性块合并和分阶段蒸馏桥接自回归与扩散视觉-语言模型

Baoyou Chen, Hanchen Xia, Peng Tu, Haojun Shi, Liwei Zhang, Yuxuan Yao, Weihao Yuan, Siyu Zhu

机构 * Shanghai Academy of AI for Science（上海人工智能科学研究院） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； Nanjing University（南京大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 BARD通过高效渐进块合并与分阶段蒸馏将预训练自回归视觉-语言模型转换为解码高效的扩散视觉-语言模型，实现在大块规模下性能恢复与解码效率提升。

Beyond Attention Scores: SVD-Based Vision Token Pruning for Efficient Vision-Language Models

超越注意力分数：基于SVD的视觉令牌修剪用于高效视觉-语言模型

Yvon Apedo, Martyna Poreba, Michal Szczepanski, Samia Bouchafa

机构 * anoncvlab（匿名计算机视觉实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出SVD-Prune方法，通过SVD分解视觉令牌特征矩阵并利用统计杠杆分数选择顶级令牌，以在极端视觉令牌预算下保持高性能，优于现有修剪方法。

FADE: Mitigating Hallucinations by Reducing Language-Prior Dominance in Large Vision-Language Models

FADE: 通过减少大型视觉语言模型中的语言先验主导性来缓解幻觉

Yichen Guo, Kai Tang, Fenglai Lin, Yiding Sun, Dongxu Zhang, Wenya Wang, Lin William Cong, Shanghang Zhang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文通过分析信息流，发现FFN模块在关键层引入语言先验，主导视觉证据，导致幻觉；提出无需训练的FADE方法衰减FFN输出，有效缓解幻觉并保持推理效率。

Comments 18 pages, 5 figures, 27 tables

Multilinguality at the Edge: Developing Language Models for the Global South

边缘侧多语言性：为全球南方开发语言模型

Lester James V. Miranda, Songbo Hu, Roi Reichart, Anna Korhonen

机构 * Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室） ； Technion – Israel Institute of Technology（技术学院——以色列理工学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 针对全球南方非英语、硬件受限社区的语言模型落地难题，调研232篇相关文献，梳理多语言与边缘部署交叉领域进展，提出面向NLP生态各方的可行建议。

Comments Updated formatting and improved spacing. Project website is in https://ljvmiranda921.github.io/multilinguality-at-the-edge/

Shao: Scaling Acoustic Token Language Models Toward High-Fidelity Music Generation

Shao：将声学令牌语言模型扩展至高保真音乐生成

Jiafeng Liu, Yuanliang Dong, Hongjia Liu, Yuqing Cheng, Zhancheng Guo, Huijing Liang, Wenbo Zhan, Yuming Sun, Xiaobing Li, Feng Yu, Maosong Sun

机构 * Central Conservatory of Music（中央音乐学院） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 该研究提出单一声学令牌层级内渐进建模音乐结构与保真度的框架，通过双阶段生成与混合注意力训练，无需异构空间即可实现高质量音乐生成。

Saving GPU Hours in LLM Inference System Development and Online Workloads with Simulation and DBMS-Inspired Cache Replacement Policies

通过模拟和受数据库管理系统启发的缓存替换策略在大语言模型推理系统开发和在线工作负载中节省GPU时间

Kyoungmin Kim, Jiacheng Li, Kijae Hong, Qunyou Liu, Darong Huang, Anastasia Ailamaki

机构 * EPFL, Switzerland（苏黎世联邦理工学院） ； NUS, Singapore（新加坡国立大学） ； POSTECH, South Korea（POSTECH大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型推理系统，通过模拟和受数据库管理系统启发的缓存替换策略，节省GPU时间，提出新缓存替换策略并证明其有效性。

DriveVLM-RL: Neuroscience-Inspired Reinforcement Learning with Vision-Language Models for Safe and Deployable Autonomous Driving

DriveVLM-RL：受神经科学启发的强化学习与视觉语言模型用于安全可部署的自动驾驶

Zilin Huang, Zihao Sheng, Zhengyang Wan, Yansong Qu, Junwei You, Sicong Jiang, Sikai Chen

机构 * Department of Civil and Environmental Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校土木与环境工程系） ； Lyles School of Civil and Construction Engineering, Purdue University（普渡大学莱尔斯土木与建设工程学院） ； Department of Civil Engineering, McGill University（麦吉尔大学土木工程系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出DriveVLM-RL框架，通过双通路架构将VLM集成到RL中，实现安全可部署的自动驾驶，在CARLA中显著优于基线。

Comments 33 pages, 16 figures

IWP: Token Pruning as Implicit Weight Pruning in Large Vision Language Models

IWP：大型视觉语言模型中的隐式权重剪枝与令牌剪枝

Dong-Jae Lee, Sunghyun Baek, Junmo Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出基于注意力对偶形式的无训练令牌剪枝框架，通过度量令牌的信息量和冗余度，结合渐进式分块最大边际相关性选择子集，在保持性能的同时提升效率。