语言大模型 / LLM

Extending Pretrained 10-Second ECG Foundation Models to Longer Horizons

扩展预训练的10秒ECG基础模型以适应更长的时域

Wei Tang, Jinpei Han, Kangning Cui, Mattia Carletti, Fredrik K. Gustafsson, Shreyank N Gowda, Patitapaban Palo, Anshul Thakur, Lei Clifton, Jean-michel Morel, Raymond H. Chan, David A. Clifton, Xiao Gu

机构 * City University of Hong Kong（香港城市大学） ； Imperial College London（伦敦帝国学院） ； Wake Forest University（威克森林大学） ； University of Nottingham（诺丁汉大学） ； Lingnan University（岭南大学） ； University of Oxford（牛津大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种参数高效的框架，通过在不重新训练基础模型的情况下扩展预训练的10秒ECG基础模型，使其能够处理更长和可变长度的ECG信号，解决了结构不兼容和语义挑战问题，实验表明其在多个长时域ECG任务中优于滑动窗口和池化基线方法。

Mixing Times of Glauber Dynamics on Masked Language Models

掩码语言模型上Glauber动力学的混合时间

Suvadip Sana, Sami Wolf, Neer Mehta, Alina Shah, Aitzaz Shaikh, Janna Goodman, Lionel Levine

机构 * Department of Statistics and Data Science（统计与数据科学系） ； Cornell University（康奈尔大学） ； Department of Mathematics（数学系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究掩码语言模型迭代生成时的全局分布行为，通过Glauber动力学马尔可夫链分析其混合时间，揭示在不同温度下混合行为的相变现象。

Comments 21 pages, 7 figures

SlimQwen: Exploring the Pruning and Distillation in Large MoE Model Pre-training

SlimQwen: 探索在大规模MoE模型预训练中的剪枝与知识蒸馏

Shengkun Tang, Zekun Wang, Bo Zheng, Liangyu Wang, Rui Men, Siqi Zhang, Xiulong Yuan, Zihan Qiu, Zhiqiang Shen, Dayiheng Liu

机构 * Qwen Team, Alibaba Inc.（通义实验室，阿里公司） ； MBZUAI ； KAUST（卡士大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了在大规模预训练中如何应用剪枝和知识蒸馏技术，探讨了剪枝在初始化方面的优势、专家压缩对最终模型的影响以及训练策略的有效性，最终将Qwen3-Next-80A3B压缩到23A2B模型并保持竞争力。

Fourier Compressor: Frequency-Domain Visual Token Compression for Vision-Language Models

Fourier Compressor: 频域视觉令牌压缩用于视觉-语言模型

Huanyu Wang, Jushi Kai, Haoli Bai, Lu Hou, Bo Jiang, Ziwei He, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Noah’s Ark Lab（诺亚实验室） ； Huawei Technologies Ltd.（华为技术有限公司） ； School of Computer Science（计算机科学学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种基于频域的视觉令牌压缩策略，通过傅里叶变换减少计算开销并提升效率，同时保持语义准确性，实验表明其在图像和视频任务中均表现出色。

Single-Sample Black-Box Membership Inference Attack against Vision-Language Models via Cross-modal Semantic Alignment

通过跨模态语义对齐实现面向视觉-语言模型的单样本黑盒成员推断攻击

Jiaqing Li, Yajuan Lu, Xiaochuan Shi, Gang Wu, ZhongYuan Wang, Chao Liang

机构 * Wuhan University（武汉大学） ； Tarim University（塔里木大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种基于跨模态语义对齐的新型成员推断攻击框架，针对视觉-语言模型在单样本和黑盒场景下的数据安全风险进行评估，通过量化联合嵌入空间中的对齐程度，显著提升了攻击性能。

On the Adversarial Robustness of Large Vision-Language Models under Visual Token Compression

大型视觉-语言模型在视觉标记压缩下的对抗鲁棒性研究

Xinwei Zhang, Hangcheng Liu, Li Bai, Hao Wang, Qingqing Ye, Tianwei Zhang, Haibo Hu

机构 * The Hong Kong Polytechnic University, Hong Kong（香港理工大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； Chongqing University, Chongqing, China（重庆大学） ； Research Centre for Privacy and Security Technologies in Future Smart Systems, PolyU（未来智能系统中的隐私与安全技术研究中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文研究了视觉标记压缩对大型视觉-语言模型对抗鲁棒性的影响，提出CAGE攻击方法，通过优化与压缩推理对齐，揭示压缩机制下的鲁棒性漏洞。

Comments Accepted by ICML 2026

Structured Labeling Enables Faster Vision-Language Models for End-to-End Autonomous Driving

结构化标注加速面向端到端自动驾驶的视觉-语言模型

Hao Jiang, Chuan Hu, Yukang Shi, Yuan He, Ke Wang, Xi Zhang, Zhipeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； KargoBot 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出结构化标注的NuScenes-S数据集和紧凑型FastDrive模型，提升自动驾驶中决策任务的效率与准确性，实验显示在结构化数据集上性能优异，推理速度提升超10倍。

$\boldsymbol{f}$-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control

f-OPD: 通过新鲜度感知控制稳定长周期在线策略蒸馏

Xianwei Chen, Shimin Zhang, Jibin Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出f-OPD框架，通过引入样本级新鲜度评分来稳定长周期在线策略蒸馏，实现性能与效率的平衡，为大规模长周期智能体训练奠定基础。

Improving MLLM Training Efficiency via Stage-Aware Sparsity

通过阶段感知稀疏性提升MLLM训练效率

Kean Shi, Liang Chen, Haozhe Zhao, Baobao Chang

机构 * Peking University（北京大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于稀疏表示的高效训练框架STS，通过阶段感知设计适应不同训练阶段的冗余，采用视觉标记压缩器和层动态跳过器来减少计算开销，验证了其在多种MLLM架构上的有效性。

Vision Foundation Models as Generalist Tokenizers for Image Generation

视见过滤模型作为图像生成的通用标记器

Anlin Zheng, Qi Han, Xin Wen, Chuofan Ma, Lanxi Gong, Gang Yu, Xiangyu Zhang, Xiaojuan Qi

机构 * University of Hong Kong（香港大学） ； StepFun 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 本文提出了一种基于冻结视见过滤模型（VFM）的通用图像标记器VFMTok，通过区域自适应量化框架和语义重建目标，提升了图像生成的质量和效率，同时在离散和连续潜在空间中实现了高保真度的类别条件合成。

Comments 4 figures and 14 tables

Acoustic Interference: A New Paradigm Weaponizing Acoustic Latent Semantic for Universal Jailbreak against Large Audio Language Models

声学干扰：利用声学潜在语义进行通用劫持的新范式，针对大型音频语言模型

Yanyun Wang, Yu Huang, Zi Liang, Xixin Wu, Li Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong Polytechnic University（香港理工大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文提出了一种新的声学干扰方法，通过利用声学潜在语义对大型音频语言模型进行通用劫持，揭示了安全对齐的脆弱性。

Comments 43rd International Conference on Machine Learning (ICML'26)

CAR-SAM: Cross-Attention Reconstruction for Post-Training Quantization of the Segment Anything Model

CAR-SAM：跨注意力重建用于Segment Anything模型的后训练量化

Houji Wen, Jiangyong Yu, Jun Li, Dawei Yang

机构 * Nanjing University of Science and Technology（南京理工大学） ； Houmo AI 纠错

专题命中 效率与部署 ：post-training(title,abstract)

AI总结 本文提出CAR-SAM，一种针对Segment Anything模型的统一量化框架，通过引入MatMul-Aware Compensation机制和Joint Cross-Attention Reconstruction策略，解决后训练量化中注意力耗散和重建振荡问题，实现4位精度下的高效量化。

Language Models as Efficient Reward Function Searchers for Custom-Environment Multi-Objective Reinforcement

语言模型作为定制环境多目标强化学习的高效奖励函数搜索器

Guanwen Xie, Jingzehua Xu, Yiyuan Yang, Yimian Ding, Shuai Zhang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院，清华大学，中国） ； Department of Computer Science, University of Oxford, United Kingdom（英国牛津大学计算机科学系） ； Department of Data Science, New Jersey Institute of Technology, USA（美国新泽西理工学院数据科学系） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ERFSL，利用语言模型高效搜索奖励函数，通过生成奖励组件和使用奖励批评者修正代码，实现多目标强化学习任务中零样本学习的高效奖励函数设计。

Nonlinear Bipolar Compensation: Handling Outliers in Post-Training Quantization

非线性双极补偿：处理训练后量化中的异常值

Peilin Sun, Jianxin Wu

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 效率与部署 ：post-training(title,abstract)

AI总结 本文提出非线性双极补偿方法，通过引入非线性补偿减少异常值影响，设计双极对数变换压缩异常值，提升训练后量化的效率与鲁棒性。

AMR-SD: Asymmetric Meta-Reflective Self-Distillation for Token-Level Credit Assignment

AMR-SD：不对称元反射自蒸馏用于标记级信用分配

Zhenlin Wei, Pu Jian, Yingzhuo Deng, Xiaohan Wang, Jiajun Chai, Zhexin Hu, Wei Lin, Shanbin Zhang, Guojun Yin

机构 * Meituan Beijing, China（美团北京，中国） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出AMR-SD，一种不对称元反射自蒸馏方法，旨在解决大型语言模型在复杂推理中因统一序列奖励导致的信用分配瓶颈问题，通过引入反思瓶颈和因果信息增益机制，实现更精确的标记级优势调节。

Retrieval-Based Multi-Label Legal Annotation: Extensible, Data-Efficient and Hallucination-Free

基于检索的多标签法律标注：可扩展、数据高效且无幻觉

Li Zhang, Jaromir Savelka, Kevin Ashley

机构 * University of Pittsburgh（匹兹堡大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文提出了一种基于检索的多标签法律标注方法，该方法通过嵌入文档和标签描述，利用冻结的检索模型进行k近邻搜索，实现了高效的数据标注，同时避免了生成模型的幻觉问题，展示了在高基数和快速变化的法律标签空间中的实用性。

Comments 10 pages, 3 figures

Advancing Narrative Long Video Generation via Training-Free Identity-Aware Memory

通过无训练的身份感知记忆推进叙事长视频生成

Jinzhuo Liu, Jiangning Zhang, Wencan Jiang, Yabiao Wang, Dingkang Liang, Zhucun Xue, Ran Yi, Yong Liu

机构 * Zhejiang University（浙江大学） ； Tencent Youtu Lab（腾讯云智实验室） ； Huazhong University of Science and Technology（华中科技大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种无训练的身份感知记忆框架IAMFlow，通过显式建模和跟踪持久实体身份，实现一致的生成，同时引入NarraStream-Bench基准测试，在叙事流视频生成中取得最佳性能。

Comments Project page: https://eddie0521.github.io/projects/iamflow/ Code: https://github.com/Eddie0521/IAMFlow

FAM-HRI: Foundation-Model Assisted Multi-Modal Human-Robot Interaction Combining Gaze and Speech

FAM-HRI: 基于基础模型的多模态人机交互框架，结合目光和语音

Yuzhi Lai, Shenghai Yuan, Peizheng Li, Boya Zhang, Benjamin Kiefer, Tianchen Deng, Andreas Zell

机构 * University of Tuebingen（图宾根大学） ； Nanyang Technological University（南洋理工大学） ； Mercedes-Benz（梅赛德斯-奔驰） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出FAM-HRI，一种结合目光和语音的多模态人机交互框架，利用基础模型融合语言和目光输入，以提高任务执行的成功率和交互效率，为肢体障碍者提供实用解决方案。

Comments This work has been accepted for publication in IEEE Transactions on Automation Science and Engineering @ 2026 IEEE

HINT-SD: Targeted Hindsight Self-Distillation for Long-Horizon Agents

HINT-SD：针对长 Horizon 智能体的定向 hindsight 自监督学习

Woongyeng Yeo, Yumin Choi, Taekyung Ki, Sung Ju Hwang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出 HINT-SD，一种针对长 Horizon 智能体的定向 hindsight 自监督学习框架，通过全轨迹 hindsight 选择失败相关的动作，并仅在目标动作跨度上应用反馈条件自监督学习，实验表明该方法在 BFCL v3 和 AppWorld 上比密集的每回合反馈基线提高了 18.80 个百分点，同时训练时间降低 2.26 倍。

OpenJarvis: Personal AI, On Personal Devices

OpenJarvis: 个人AI，本地设备上

Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhoseini

机构 * OpenClaw ； Hermes Agent ； PinchBench ； GAIA 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出OpenJarvis，一种分解的个人AI堆栈，通过在本地设备上优化五个基本组件（智能、引擎、代理、工具与记忆、学习）来缩小本地与云端之间的性能差距，同时保持本地模型的特性。

Comments Code: https://github.com/openjarvis/openjarvis Website: https://open-jarvis.github.io/OpenJarvis/

D$^2$Evo: Dual Difficulty-Aware Self-Evolution for Data-Efficient Reinforcement Learning

D$^2$Evo: 双重难度感知的自进化方法用于数据高效的强化学习

Ru Zhang, Renda Li, Ziyu Ma, Weijie Qiu, Chongyang Tao, Yong Wang, Xiangxiang Chu

机构 * Zhejiang University（浙江大学） ； AMAP, Alibaba Group（AMAP，阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出D$^2$Evo方法，通过双重难度感知的自进化机制，解决强化学习中有效数据稀缺和动态难度变化的问题，从而在数学推理基准上以少于2K真实数学样本实现优于现有方法的性能。

Comments Accepted by ICML 2026. First two authors contributed equally

Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation

通过在线策略自我蒸馏减少大语言模型安全对齐的安全部署税

Yu Fu, Longxuan Yu, Haz Sameen Shahgir, Zhipeng Wei, Hui Liu, N. Benjamin Erichson, Yue Dong

机构 * International Computer Science Institute（国际计算机科学研究所） ； Microsoft（微软） ； Berkeley Lab（伯克利实验室） 纠错

专题命中 效率与部署 ：LLM(title)；分类 cs.LG

AI总结 本文提出了一种名为OPSA的在线策略自我蒸馏方法，通过引入教师翻转率指标，有效减少大语言模型在安全对齐过程中因分布不匹配导致的安全税，实验显示其在不同模型规模上均优于传统方法。

Comments 20 pages, 5 figures

Causal Bias Detection in Generative Artificial Intelligence

生成人工智能中的因果偏见检测

Drago Plecko

机构 * Department of Statistics & Data Science（统计与数据科学系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了生成人工智能中的因果公平性问题，提出了新的因果分解结果，以量化不同因果路径和现实机制被生成模型替代对公平性的影响，并通过分析大型语言模型中的种族和性别偏见验证了方法的有效性。

FedSDR: Federated Self-Distillation with Rectification

FedSDR: 带校正的联邦自我蒸馏

Ziheng Ren, Zhanming Shen, Hao Wang, Ning Liu, You Song

机构 * Beijing University of Aeronautics（北京航空航天大学） ； Zhejiang University（浙江大学） ； Shandong University（山东大学） ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FedSDR，一种改进的联邦自我蒸馏方法，通过引入双重流机制来解决联邦学习中数据分布不匹配和幻觉问题，提升模型的准确性和一致性。

Comments Accepted by ICML 2026

Predictive Prefetching for Retrieval-Augmented Generation

检索增强生成的预测预取

Wuyang Zhang, Shichao Pei

机构 * Department of Computer Science, University of Massachusetts Boston（马萨诸塞大学波士顿分校计算机科学系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种先进的异步检索框架，通过预测检索触发时机和所需信息，以减少延迟并提高生成效率，同时保持回答质量。

Comments Accepted by Forty-third International Conference on Machine Learning ICML 2026

Guard: Scalable Straggler Detection and Node Health Management for Large-Scale Training

Guard：用于大规模训练的可扩展的延迟检测和节点健康管理

Guanliang Liu, Abhinandan Patni, Congzhu Lin, Zoe Zeng, Jack Wittmayer, Josh Wu, Ashvin Nihalani, Binxuan Huang, Yinghong Liu, Rory Na, Anthony Ko, Alexander Zhipa, Cong Cheng, Mi Sun, Vijay Rajakumar, Rejith George Joseph, Parthasarathy Govindarajen

机构 * Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家） 纠错

专题命中 效率与部署 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Guard系统，通过在线性能监控和离线节点扫描机制，有效检测训练中的延迟节点并确保节点健康，从而提升大规模训练的效率和稳定性。

Comments Proceedings of the 9 th MLSys Conference, Bellevue, WA, USA, 2026

ADR: An Agentic Detection System for Enterprise Agentic AI Security

ADR：一种用于企业代理AI安全的代理检测系统

Chenning Li, Pan Hu, Justin Xu, Baris Ozbas, Olivia Liu, Caroline Van, Manxue Li, Wei Zhou, Mohammad Alizadeh, Pengyu Zhang, KK Sriramadhesikan, Ming Zhang

机构 * Uber 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出ADR系统，一种大规模、经过生产验证的企业框架，用于安全地管理通过模型上下文协议（MCP）运行的AI代理。该系统解决了三个关键问题：观测有限、鲁棒性不足和检测成本高，并通过三个组件实现了这些目标：ADR传感器、ADR探索器和ADR检测器。

Comments Accepted at MLSys 2026 (Industry Track)

An Information-Theoretic Criterion for Efficient Data Synthesis

一种信息论准则用于高效数据合成

Hanyu Li, Zhengqi Sun, Xiaotie Deng

机构 * CFCS, School of Computer Science, Peking University, Beijing, China（计算机科学系，北京大学，北京，中国） ； Department of Information Management, Peking University, Beijing, China（信息管理系，北京大学，北京，中国） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出信息开放循环的准则，指出合成数据的有效性取决于外部信号注入任务相关信息，从而提升模型效率与泛化能力。

Comments 12 pages. Camera-ready version for ICML 2026

LoopQ: Quantization for Recursive Transformers

LoopQ: 递归变换器的量化

Rui Fang, Hsi-Wen Chen, Ming-Syan Chen

机构 * National Taiwan University（国立台湾大学） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LoopQ框架，针对递归变换器的量化挑战，通过激活缩放、选择性变换等方法提升模型精度与效率。

Phase Transitions in Driven Informational Systems: A Two-Field Perspective on Learning Theory and Non-Equilibrium Chemistry

驱动信息系统的相变：从学习理论和非平衡化学的角度看两种场视角

Truong Xuan Khanh

机构 * H&K Research Studio, Clevix LLC（H&K研究室，Clevix公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从学习理论和非平衡化学角度，提出驱动信息系统的两种场框架，引入对抗破裂阈值和自参照耦合阈值，探讨相变现象的普遍性类与可验证预测。

Comments 29 pages, 2 figures