语言大模型 / LLM

A Foundation Model for Instruction-Conditioned In-Context Time Series Tasks

为上下文条件时间序列任务构建一个基础模型

Anish Saha, Konstantin Shmakov

机构 * Walmart（沃尔玛） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；prompting(abstract)；分类 cs.LG

AI总结 本文提出iAmTime模型，通过指令条件化的元学习实现时间序列任务的直接推理，提升零样本适应能力，尤其在预测任务中表现优异。

Streaming Speech-to-Text Translation with a SpeechLLM

流式语音到文本翻译与SpeechLLM

Titouan Parcollet, Shucong Zhang, Xianrui Zheng, Rogier C. van Dalen

机构 * Samsung, AI Center – Cambridge, United Kingdom（三星，人工智能中心——剑桥，英国） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于LLM的流式语音到文本翻译架构，通过学习输出token和判断音频充足性，实现低延迟的实时翻译，实验显示其翻译质量接近非流式基准，但延迟仅1-2秒。

Comments 9 pages of main text; 24 pages in total

Towards In-Depth Root Cause Localization for Microservices with Multi-Agent Recursion-of-Thought

面向微服务的深入根本原因定位：多智能体递归思考

Lingzhe Zhang, Tong Jia, Kangjin Wang, Chiming Duan, Minghua He, Rongqian Wang, Xi Peng, Meiling Wang, Gong Zhang, Renhai Chen, Ying Li

机构 * Peking University（北京大学） ； Huawei Theory Lab（华为理论实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出RCLAgent框架，通过多智能体递归思考实现微服务系统根本原因定位，提升定位准确性和推理效率。

OmniDrop: Layer-wise Token Pruning for Omni-modal LLMs via Query-Guidance

OmniDrop：通过查询引导的分层令牌剪枝实现多模态大语言模型

Yeo Jeong Park, Hyemi Jang, Minseo Choi, Jongsun Lee, Jooyoung Choi, Yongkweon Jeon

机构 * Samsung Research（三星研究院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出OmniDrop，通过查询引导的分层令牌剪枝方法，提升多模态大语言模型的效率与性能，实验表明其在多个音频视频基准测试中表现优异，减少预填充延迟和内存使用。

A Tutorial on Cognitive Biases in Agentic AI-Driven 6G Autonomous Networks

面向6G自主网络的智能偏差教程

Hatim Chergui, Farhad Rezazadeh, Merouane Debbah, Christos Verikoukis

机构 * i2CAT Foundation（i2CAT基金会） ； Hostelworld Group（Hostelworld集团） ； Technical University of Catalonia (UPC)（技术大学（加泰罗尼亚）） ； Khalifa University of Science and Technology（卡里玛大学） ； ISI/ATH ； University of Patras（帕特拉大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨了在6G自主网络中因人类设计引入的认知偏差问题，通过两个案例展示如何利用智能体AI缓解锚定偏差和时间偏差，提升网络管理和边缘计算的效率与节能效果。

Comments 26 pages, 18 figures, 4 tables, link to source code available. Accepted at IEEE OJCOMS

Proxy Compression for Language Modeling

代理压缩用于语言建模

Lin Zheng, Xinyu Li, Qian Liu, Xiachong Feng, Lingpeng Kong

机构 * University of Hong Kong（香港大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出代理压缩方法，通过联合训练原始字节序列和压缩视图，提升语言模型训练效率，并在代码建模中显著优于纯字节级基线。

Comments ICML 2026

DT-Transformer: A Foundation Model for Disease Trajectory Prediction on a Real-world Health System

DT-Transformer：一种用于真实世界健康系统中疾病轨迹预测的基础模型

Yunying Zhu, Andrew R Weckstein, Kueiyu Joshua Lin, Jie Yang

机构 * Division of Pharmacoepidemiology and Pharmacoeconomics, Department of Medicine, Brigham and Women’s Hospital, Harvard Medical School（药理流行病学与药效学部，医学部，布里奇沃特医院，哈佛医学院） ； Harvard T.H. Chan School of Public Health, Harvard University（哈佛大学T.H. 陈公共卫生学院） ； Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（自然与人工智能研究学院，哈佛大学） ； Broad Institute of MIT and Harvard, Cambridge, MA, USA（MIT与哈佛大学Broad研究所，剑桥，马萨诸塞州，美国） ； Harvard Data Science Initiative, Harvard University（哈佛大学数据科学计划） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出DT-Transformer模型，基于大规模多医院健康数据预测疾病轨迹，验证了其在不同场景下的预测能力，展示了在896种疾病类别上的高AUC表现。

Comments Work in Progress

M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling

M$^2$RNN：基于矩阵值状态的非线性RNN用于可扩展的语言建模

Mayank Mishra, Shawn Tan, Ion Stoica, Joseph Gonzalez, Tri Dao

机构 * MIT-IBM Watson Lab（MIT-IBM沃森实验室） ； Princeton University（普林斯顿大学） ； Together AI 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出M$^2$RNN，通过矩阵值状态和非线性状态转移提升语言建模性能，实验证明其在长序列泛化和大规模语言建模中的优势。

RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling

RAPO++: 通过数据对齐和测试时缩放实现文本到视频生成的跨阶段提示优化

Bingjie Gao, Qianli Ma, Xiaoxue Wu, Shuai Yang, Guanzhou Lan, Haonan Zhao, Jiaxuan Chen, Qingyang Liu, Yu Qiao, Xinyuan Chen, Yaohui Wang, Li Niu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 RAPO++通过数据对齐和测试时缩放，结合训练数据对齐、测试时迭代缩放和大语言模型微调，提升文本到视频生成效果，无需修改生成基础模型。

Comments arXiv admin note: text overlap with arXiv:2504.11739

Common-agency Games for Multi-Objective Test-Time Alignment

多目标测试时对齐的共同代理博弈

Baiting Chen, Tong Zhu, Rui Yu, Xiaowu Dai

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出CAGE框架，通过游戏理论实现多目标测试时对齐，无需重新训练，支持灵活的权衡和弱到强泛化。

Factorization-Error-Free Discrete Diffusion Language Model via Speculative Decoding

通过推测解码的无因子误差离散扩散语言模型

Xun Fang, Yunchen Li, Hang Yuan, Zhou Yu

机构 * East China Normal University（华东师范大学） ； Beijing Zhongguancun Academy（北京中关村学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出FeF-DLLM，通过精确的前缀条件因子分解保留token依赖性，结合推测解码提升推理速度，实验表明在多个数据集上准确率提升5.04个百分点，推理速度提升3.86倍。

Kairos: Toward Adaptive and Parameter-Efficient Time Series Foundation Models

Kairos：迈向适应性与参数高效的时间序列基础模型

Kun Feng, Shaocheng Lan, Yuchen Fang, Wenchao He, Sihan Lu, Shuqi Gu, Lintao Ma, Xingyu Lu, Kan Ren

机构 * School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 Kairos通过动态分块分词器和混合大小编码实现时间序列基础模型的适应性与参数效率，提升零样本泛化能力。

Improving Multi-turn Dialogue Consistency with Self-Recall Thinking

通过自回忆思考提升多轮对话一致性

Renning Pang, Tian Lan, Leyuan Liu, Xiaoming Huang, Piao Tong, Xiaosong Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出自回忆思考框架，解决多轮对话中长距离上下文依赖和稀疏信息问题，通过自动生成回忆链和优化推理过程，提升F1分数并降低延迟。

Beyond What to Select: A Plug-and-play Oscillatory Data-Volume Scheduling for Efficient Model Training

超越选择范围：一种插拔式振荡数据量调度用于高效模型训练

Suorong Yang, Hanqi Zhu, Hai Gan, Fangjian Su, Guang Li, Furao Shen, Soujanya Poria

机构 * National University of Singapore（国立新加坡大学） ； Nanjing University（南京大学） ； Hokkaido University（北海道大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；instruction tuning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PODS框架，通过动态调节数据选择比例，在保持优化稳定性的同时提升训练效率，实验显示其在多种任务中均能提升效率与泛化能力。

Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology

Transformer残差流的动力学：将谱几何与网络拓扑耦合

Jesseba Fernando, Grigori Guitchounts

机构 * Network Science Institute, Northeastern University（网络科学研究所，东北大学） ； Flagship Pioneering（先锋计划） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究Transformer残差流的传播机制，揭示训练过程中谱几何与网络拓扑的耦合关系，发现残差流在深度方向上呈现单调的谱梯度变化，并存在低秩瓶颈导致维度压缩。

Self-Pruned Key-Value Attention: Learning When to Write by Predicting Future Utility

自修剪键值注意机制：通过预测未来效用学习何时写作

Gergely Szilvasy, Manuel Faysse, Maria Lomeli, Matthijs Douze, Pierre-Emmanuel Mazaré, Loïc Cabannes, Wen-tau Yih, Hervé Jégou

机构 * Meta FAIR 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出自修剪键值注意机制，通过预测未来效用减少长序列的KV缓存大小，提升内存使用和解码速度，同时保持验证损失和下游任务性能。

Comments 28 pages, 8 figures, 8 tables

The Pitfalls of KV Cache Compression

KV缓存压缩的陷阱

Alex Chen, Renato Geh, Aditya Grover, Guy Van den Broeck, Daniel Israel

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了KV缓存压缩在多指令提示中的问题，发现某些指令在压缩后性能下降明显，提出改进KV缓存淘汰策略以提升多指令任务表现。

Comments In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics, ACL 2026

AuralSAM2: Enabling SAM2 Hear Through Pyramid Audio-Visual Feature Prompting

AuralSAM2：通过金字塔音频视觉特征提示实现SAM2的听觉能力

Yuyuan Liu, Yuanhong Chen, Chong Wang, Junlin Han, Junde Wu, Can Peng, Jingkun Chen, Yu Tian, Gustavo Carneiro

机构 * Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Australian Institute for Machine Learning, Adelaide University（阿德莱德大学人工智能研究所） ； Stanford University（斯坦福大学） ； University of Central Florida（佛罗里达中央大学） ； University of Surrey（萨里大学） 纠错

专题命中 效率与部署 ：prompting(title)；foundation model(abstract)

AI总结 AuralSAM2通过金字塔音频视觉特征提示整合音频，保持SAM2的可提示分割能力，引入AuralFuser融合音频和视觉特征，并通过音频引导对比损失对齐模态，提升分割精度。

Comments Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings, 2026

TRIO: Token Reduction via Inference-Objective Guidance for Efficient Vision-Language Models

TRIO: 通过推理目标引导的令牌缩减以提高视觉-语言模型的效率

Haokui Zhang, Congyang Ou, Dawei Yan, Peng Wang, Qingsen Yan, Yu Zhang, Ying Li, Rong Xiao

机构 * School of Cyberspace Security, Northwestern Polytechnical University（网络安全学院，西北工业大学） ； School of Computer Science, Northwestern Polytechnical University（计算机学院，西北工业大学） ； Intellifusion（智融科技） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 TRIO从推理目标角度出发，通过梯度显著性指导视觉令牌压缩，保留输出不变性，提升视觉-语言模型的推理效率。

RePack then Refine: Efficient Diffusion Transformer with Vision Foundation Model

RePack then Refine：高效的扩散变换器与视觉基础模型

Guanfang Dong, Luke Schultz, Negar Hassanpour, Chao Gao

机构 * Huawei Technologies Canada Ltd.（华为加拿大有限公司） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 本文提出RePack then Refine框架，通过压缩高维VFM特征并细化提升扩散变换器的生成效率与质量，在ImageNet-1K上取得优于最新LDMs的性能。

ImmuVis: Hyperconvolutional Foundation Model for Imaging Mass Cytometry

ImmuVis：面向影像质谱成像的超卷积基础模型

Dawid Uchal, Marcin Możejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkowski, Karol Zagródka, Eike Staub, Ewa Szczurek

机构 * Faculty of Mathematics, Informatics and Mechanics, University of Warsaw（数学与信息学学院，华沙大学） ； Merck Healthcare KGaA（默克健康护理公司） ； Institute of AI for Health, Helmholtz Munich（健康人工智能研究所，海德堡-穆恩） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 ImmuVis通过超卷积技术解决多通道成像中通道空间不固定的问题，实现对任意标记子集的高效处理，且在计算成本更低的情况下优于现有方法。

Comments 38 pages, 19 figures

Towards Label-Free Single-Cell Phenotyping Using Multi-Task Learning

基于多任务学习的无标签单细胞表型分析

Saqib Nazir, Ardhendu Behera

机构 * Department of Computer Science, Edge Hill University, UK（英国埃德希尔大学计算机科学系） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种深度学习框架，通过多任务学习从无标签DPC图像中同时进行白细胞分类和蛋白质表达回归，提升无标签单细胞成像的表型分析能力。

Comments Accepted in 28th International Conference on Pattern Recognition (ICPR) 2026

NEST: Nested Event Stream Transformer for Sequences of Multisets

NEST：用于多重集序列的嵌套事件流变压器

Minghui Sun, Haoyu Gong, Xingyu You, Jillian Hurst, Benjamin Goldstein, Matthew Engelhard

机构 * Department of Biostatistics & Bioinformatics, Duke University（生物统计学与生物信息学系，杜克大学） ； Department of Biomedical Engineering, Duke University（生物医学工程系，杜克大学） ； Department of Pediatrics, Duke University（儿科学系，杜克大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；pretraining(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出NEST，一种用于多重集序列事件流的模型，通过保留层次结构提升计算效率和表示质量，实验显示其在预训练效率和下游任务表现上均有提升。

Comments 10-page main text

Beliefs and Misconceptions around Integrated Conversational AI

集成对话式AI中的信念与误解

William Seymour, Adam Jenkins, Mark Cote, Jose Such

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 研究探讨用户在使用内置对话式AI的浏览器时如何建立信任并判断输出可靠性，通过20名参与者使用微软Edge Copilot AI进行信息检索，发现引用增强了信任感，用户倾向于依赖相同信息源进行事实核查。

Comments Accepted to ACM CUI '26

Agentic AI in Industry: Adoption Level and Deployment Barriers

工业中的代理AI：采用级别与部署障碍

Spyridon Alvanakis Apostolou, Jan Bosch, Helena Holmström Olsson

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)

AI总结 研究通过16次访谈，揭示工业组织代理AI的采用现状及部署障碍，发现能力与部署验证存在差距，主要障碍包括LLM上下文窗口限制、专有语言性能不足、非确定性与数据保密问题。

Comments 16 pages

Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution

忘记那根棍子：通过电路归因实现量化-永久反学习

Saisab Sadhu, Pratinav Seth, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出MANSU方法，通过电路归因隔离最小遗忘子图，结合电路受限的空域投影和幅度下限保证量化生存，解决量化压缩下的遗忘与保留问题，同时引入CAD指标区分结构擦除与行为抑制。

VER: Vision Expert Transformer for Robot Learning via Foundation Distillation and Dynamic Routing

VER：基于基础蒸馏和动态路由的机器人学习视觉专家变换器

Yixiao Wang, Mingxiao Huo, Zhixuan Liang, Yushi Du, Lingfeng Sun, Haotian Lin, Jinghuan Shang, Chensheng Peng, Mohit Bansal, Mingyu Ding, Masayoshi Tomizuka

机构 * UC Berkeley（加州大学伯克利分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Hong Kong（香港大学） ； Peking University（北京大学） ； Stony Brook University（石溪大学） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 效率与部署 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 VER通过基础蒸馏和动态路由实现机器人学习，采用轻量路由网络动态选择专家，提升任务灵活性和精度，实现多任务高性能。

Cognitive-Uncertainty Guided Knowledge Distillation for Accurate Classification of Student Misconceptions

认知不确定性引导的知识蒸馏用于准确分类学生误解

Qirui Liu, Hao Chen, Weijie Shi, Jiajie Xu, Jia Zhu

机构 * South China University of Technology（华南理工大学） ； Tencent Financial Technology（腾讯金融科技） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Soochow University（苏州大学） ； Zhejiang Key Laboratory of Intelligent Education Technology and Application, Zhejiang Normal University（浙江省智能教育技术与应用重点实验室，浙江师范大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种两阶段知识蒸馏框架，通过认知不确定性机制挖掘高价值样本，提升学生误解分类的准确率，实验表明在少量数据下优于现有方法。

Comments ACL 2026 Findings. 10 pages, 5 figures, 19 tables

Efficient Multi-objective Prompt Optimization via Pure-exploration Bandits

通过纯探索老虎机实现高效的多目标提示优化

Donghao Li, Chengshuai Shi, Weijuan Ou, Cong Shen, Jing Yang

机构 * University of Virginia（弗吉尼亚大学） ； Princeton University（普林斯顿大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究多目标提示选择问题，提出基于纯探索老虎机框架的高效方法，通过理论保证和实验验证，改进了提示优化的效率和效果。

Comments Published as a conference paper at ICLR 2026

Context Training with Active Information Seeking

基于主动信息获取的上下文训练

Zeyu Huang, Adhiguna Kuncoro, Qixuan Feng, Jiajun Shen, Lucio Dery, Arthur Szlam, Marc'Aurelio Ranzato

机构 * The University of Edinburgh（爱丁堡大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过引入维基百科搜索和浏览器工具改进上下文优化，通过搜索驱动训练流程提升模型性能，适用于低资源翻译、医疗场景和推理任务，证明方法高效且鲁棒。

Comments Preprint