语言大模型 / LLM

Structural Pruning of Large Vision Language Models: A Comprehensive Study on Pruning Dynamics, Recovery, and Data Efficiency

大型视觉语言模型的结构剪枝：对剪枝动态、恢复和数据效率的全面研究

Yiran Huang, Lukas Thede, Massimiliano Mancini, Wenjia Xu, Zeynep Akata

机构 * Technical University of Munich, Germany（慕尼黑技术大学，德国） ； Munich Center for Machine Learning, Germany（慕尼黑机器学习中心，德国） ； Helmholtz Munich, Germany（海德堡-慕尼黑赫尔姆霍尔茨研究中心，德国） ； University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国） ； University of Trento, Italy（特伦托大学，意大利） ； Beijing University of Posts and Telecommunications, China（北京邮电大学，中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(abstract)；分类 cs.CL

AI总结 本文研究了通过结构化剪枝压缩现有大型视觉语言模型的方法，发现宽度剪枝在低资源环境下表现更优，结合监督微调和隐藏状态蒸馏可实现高效恢复，仅需5%的数据即可保持95%性能。

Comments Accepted at International Journal of Computer Vision (IJCV) 2026

BitRL: Reinforcement Learning with 1-bit Quantized Language Models for Resource-Constrained Edge Deployment

BitRL：基于1位量化语言模型的强化学习用于资源受限边缘部署

Md. Ashiq Ul Islam Sajid, Mohammad Sakib Mahmood, Md. Tareq Hasan, Md Abdur Rahim, Rafat Ara, Md. Arafat Hossain

机构 * Department of Computer Science BRAC University Dhaka 1212, Bangladesh ； Department of Computer Science Missouri State University Springfield, MO, USA ； Department of Computer Science \& Engineering Prime University Dhaka, Bangladesh ； Department of Computer Science \& Engineering German University Bangladesh Dhaka, Bangladesh ； Department of Information Technology Jahangirnagar University Dhaka, Bangladesh 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 BitRL通过1位量化语言模型在资源受限边缘设备上实现高效的强化学习，提升了内存和能效，同时保持任务性能。

Comments 6pages, 1 Figure, IEEE International Conference of Frontiers of Engineering and Emerging Technologies 2026

TACO: Efficient Communication Compression of Intermediate Tensors for Scalable Tensor-Parallel LLM Training

TACO：用于可扩展张量并行LLM训练的高效中间张量通信压缩

Man Liu, Xingchen Liu, Xingjian Tian, Bing Lu, Shengkay Lyu, Shengquan Yin, Wenjing Huang, Zheng Wei, Hairui Zhao, Guangming Tan, Dingwen Tao

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出TACO框架，通过FP8压缩技术减少大规模张量并行训练中的通信开销，提升训练吞吐量并保持高精度。

Comments Accepted by HPDC'26, 12 pages, 17 figures, 3 tables

Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows

在企业客户支持流程中通过Copilot反馈学习选择性LLM自主性

Nikita Borovkov, Elisei Rykov, Olga Tsymboi, Sergei Filimonov, Nikita Surnachev, Dmitry Bitman, Anatolii Potapov

机构 * T-Tech 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文提出一个自动化企业业务流程管理平台中客户支持流程的系统，通过结构化案例UI交互轨迹和低开销Copilot反馈实现选择性自动化，提升处理效率并降低平均处理时间。

Can Compact Language Models Search Like Agents? Distillation-Guided Policy Optimization for Preserving Agentic RAG Capabilities

紧凑语言模型能否像智能体一样搜索？基于知识增强的策略优化以保持智能体RAG能力

Rikuto Kotoge, Mai Nishimura, Jiaxin Ma

机构 * The University of Osaka（大阪大学） ； OMRON SINIC X Corporation（OMRON SINIC X公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 本文提出Distillation-Guided Policy Optimization方法，通过教师示范初始化和持续教师指导，使紧凑模型实现复杂的智能体搜索行为，甚至在某些情况下超越大模型。

Comments Accepted at ACL 2026 Main

Latency and Cost of Multi-Agent Intelligent Tutoring at Scale

规模化多智能体智能辅导系统的延迟与成本

Iizalaarab Elhaimeur, Nikos Chrisochoides

机构 * Center for Real-Time Computing（实时计算中心） ； Computer Science Department（计算机科学系） ； Old Dominion University（旧 Dominion 大学） ； Physics Departments（物理系） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了多智能体LLM辅导系统在不同吞吐量层级和并发水平下的延迟与成本表现，发现优先付费层级在高负载下仍保持低延迟，而预留吞吐量在低并发时表现最佳但成本较高。

Comments 11 pages, 5 figures, 5 tables. Companion papers: arXiv:Q-ID (Quantum deployment), arXiv:A-ID (Architecture)

The High Cost of Incivility: Quantifying Interaction Inefficiency via Multi-Agent Monte Carlo Simulations

粗鲁的成本：通过多智能体蒙特卡洛模拟量化互动低效

Benedikt Mangold

机构 * Technische Hochschule Nürnberg（纽伦堡技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过多智能体蒙特卡洛模拟研究粗鲁对运营效率的影响，发现有毒参与者使对话持续时间增加25%，提出毒性延迟作为企业学术领域财务损失的代理指标。

Comments 8 figures, 3 tables

An Intelligent Fault Diagnosis Method for General Aviation Aircraft Based on Multi-Fidelity Digital Twin and FMEA Knowledge Enhancement

基于多保真度数字孪生和FMEA知识增强的通用航空飞机智能故障诊断方法

Zhihuan Wei, Yang Hu, Xinhang Chen, Yiming Zhang, Jie Liu, Wei Wang

机构 * Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） ； School of Mechanical Engineering, Zhejiang University（浙江大学机械工程学院） ； School of Reliability and Systems Engineering, Beihang University（北京航空航天大学可靠性与系统工程学院） ； Department of Mechanical Engineering, City University of Hong Kong（香港城市大学机械工程系） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于多保真度数字孪生的智能故障诊断框架，通过高保真飞行动态仿真、FMEA驱动故障注入、多保真残差特征提取和大语言模型增强的可解释报告生成模块，解决通用航空飞机故障诊断中的数据稀缺、故障类型多样和故障特征弱等问题。

POPI: Personalizing LLMs via Optimized Natural Language Preference Inference

POPI：通过优化自然语言偏好推断实现个性化LLM

Yizhuo Chen, Xin Liu, Ruijie Wang, Zheng Li, Pei Chen, Changlong Yu, Qingyu Yin, Priyanka Nigam, Meng Jiang, Bing Yin

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） ； University of Notre Dame（Notre Dame 大学） 纠错

专题命中 效率与部署 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 POPI提出一种用户级个性化框架，通过自然语言接口分离共享推断模型和生成器，统一优化目标提升个性化质量并减少上下文开销。

The 1/W Law: An Analytical Study of Context-Length Routing Topology and GPU Generation Gains for LLM Inference Energy Efficiency

1/W定律：上下文长度路由拓扑和GPU生成增益对LLM推理能效的分析研究

Huamin Chen, Xunzhuo Liu, Yuhan Liu, Junchen Jiang, Bowei He, Xue Liu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 本文通过分析上下文窗口对GPU能效的影响，推导出1/W定律，指出通过优化路由拓扑可显著提升推理能效，且结合更高级的GPU可进一步提升性能。

Comments Work in progress

Adaptive ToR: Complexity-Aware Tree-Based Retrieval for Pareto-Optimal Multi-Intent NLU

自适应ToR：基于树的复杂性感知检索用于帕累托最优多意图NLU

Hee-Kyong Yoo, Wonbae Kim, Hyocheol Ahn

机构 * Data Science Lab Co., Ltd.（数据科学实验室有限公司） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出自适应ToR检索架构，通过动态配置检索拓扑结构，提升多意图NLU的准确性和效率，实验表明在NLU++基准上取得9.7%的相对提升，同时降低延迟和LLM调用次数。

Comments 17 pages, 5 Figures, 4 Tables

ESPADA: Execution Speedup via Semantics Aware Demonstration Data Downsampling for Imitation Learning

ESPADA：通过语义感知演示数据下采样提升执行速度的模仿学习

Byung-ju Kim, Jinu Pahk, Chungwoo Lee, Jaejoon Kim, Jangha Lee, Theo Taeyeong Kim, Kyuhwan Shim, Jun Ki Lee, Byoung-Tak Zhang

机构 * Tommoro Robotics（Tommoro机器人公司） ； Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 ESPADA通过语义和空间感知框架，利用VLM-LLM管道对演示进行分段，仅在非关键部分进行激进下采样，保持关键阶段的精度，无需额外数据或架构修改，实现约2倍的执行速度提升。

Comments project page: https://project-espada.github.io/espada/

Agentic Adversarial Rewriting Exposes Architectural Vulnerabilities in Black-Box NLP Pipelines

代理对抗重写揭示了黑盒NLP流水线中的架构漏洞

Mazal Bethany, Kim-Kwang Raymond Choo, Nishant Vishwamitra, Peyman Najafirad

机构 * Department of Information Systems and Cybersecurity, University of Texas at San Antonio（信息系统与网络安全系，德克萨斯大学圣安东尼奥分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种双代理逃逸框架，通过语义扰动空间在无梯度反馈和严格查询预算下测试NLP流水线的鲁棒性，发现架构选择影响攻击面，并通过模式指导防御降低逃逸率。

Comments Submitted to IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY

SwarmDrive: Semantic V2V Coordination for Latency-Constrained Cooperative Autonomous Driving

SwarmDrive: 语义车辆间协调用于延迟受限的协同自动驾驶

Anjie Qiu, Donglin Wang, Zexin Fang, Sanket Partani, Hans D. Schotten

机构 * Institute for Wireless Communication and Navigation（无线通信与导航研究所） ； RPTU University Kaiserslautern-Landau（科布伦茨-兰道大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；language model(abstract)；small language model(abstract)；SLM(abstract)

AI总结 SwarmDrive通过语义车辆间协调框架，在高不确定性时共享紧凑意图分布，并通过事件触发共识融合，提升协同自动驾驶性能，减少延迟并提高成功率。

Comments 6 pages, 4 figures, submitted to VTC fall 2026 workshop on W9: 2nd Workshop on Shaping Future Connectivity: Emerging and Intelligent Technologies for Sustainable Vehicular Networks

For-Value: Efficient Forward-Only Data Valuation for finetuning LLMs and VLMs

For-Value：高效前向仅数据估值用于微调LLM和VLM

Wenlong Deng, Qi Zeng, Jiaming Zhang, Minghui Chen, Zixin Ding, Christos Thrampoulidis, Boying Gong, Xiaoxiao Li

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Meta 纠错

专题命中 效率与部署 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出For-Value框架，通过前向计算高效评估数据价值，无需反向传播，提升大规模模型训练效率。

When to Commit? Towards Variable-Size Self-Contained Blocks for Discrete Diffusion Language Models

何时承诺？面向离散扩散语言模型的可变大小自包含块

Danny Wang, Ruihong Qiu, Zi Huang

机构 * The University of Queensland（昆士兰大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出可变大小自包含块(VSB)以解决离散扩散语言模型中固定大小或启发式块解码导致的早token承诺问题，通过自包含性原则提升预测一致性。

Generalizing Test Cases for Comprehensive Test Scenario Coverage

通用测试用例以实现全面的测试场景覆盖

Binhang Qi, Yun Lin, Xinyi Weng, Chenyan Liu, Hailong Sun, Gordon Fraser, Jin Song Dong

专题命中 效率与部署 ：LLM(summary_cn,abstract)

AI总结 本文提出TestGeneralizer框架，通过增强需求理解、生成测试场景模板并生成可执行测试用例，提升测试场景覆盖。在12个开源Java项目上测试，相比ChatTester在突变和LLM评估中分别提升31.66%和23.08%。

Comments Accepted at FSE 2026

TaskLens: Generating Task-Conditioned Scaffolded Interfaces for Learning Professional Creative Software

TaskLens: 为学习专业创意软件生成任务条件的引导界面

Yimeng Liu, Misha Sra

专题命中 效率与部署 ：LLM(summary_cn,abstract)

AI总结 TaskLens通过LLM生成任务条件的引导界面，降低新手学习难度，提升任务表现和领域概念学习。

Comments DIS '26 | ACM Designing Interactive Systems Conference

System-aware contextual digital twin for ICS anomaly diagnosis

面向系统的上下文数字孪生用于ICS异常诊断

Eungyu Woo, Yooshin Kim, Wonje Heo, Donghoon Shin

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种面向系统的无监督框架，结合轻量级在线检测与上下文解释，实现ICS异常诊断的实时检测和可解释诊断。

Where Relevance Emerges: A Layer-Wise Study of Internal Attention for Zero-Shot Re-Ranking

相关性如何出现：对零样本重排序内部注意力的分层研究

Haodong Chen, Shengyao Zhuang, Zheng Yao, Guido Zuccon, Teerapong Leelanupab

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了多排名框架中生成、似然和内部注意力机制的对比，发现Transformer层中相关性信号呈现钟形分布，提出Selective-ICR策略降低推理延迟30%-50%，并在BRIGHT基准测试中证明了内部信号在复杂推理排序中的潜力。

Comments Accepted by SIGIR 2026. 10 pages, 5 figures, 4 tables. Code available at https://github.com/ielab/Selective-ICR

Ramen: Robust Test-Time Adaptation of Vision-Language Models with Active Sample Selection

Ramen: 通过主动样本选择实现视觉语言模型的鲁棒性测试时适应

Wenxuan Bao, Yanjun Zhao, Xiyuan Yang, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出Ramen框架，通过主动样本选择实现视觉语言模型在混合域下的鲁棒测试时适应，通过领域一致性与预测平衡准则提升适应性能，实验表明其在多种图像退化和领域偏移基准上表现优异。

Comments Accepted by CVPR 2026 (Findings Track)

Live Knowledge Tracing: Real-Time Adaptation using Tabular Foundation Models

实时知识追踪：利用表格基础模型进行实时适应

Mounir Lbath, Alexandre Parésy, Abdelkayoum Kaddouri, Abdelrahman Zighem, Jill-Jênn Vie

机构 * École polytechnique（巴黎政治科学学院） ； École normale supérieure de Paris, PSL University（巴黎高等师范大学，PSL大学） ； Soda team, Inria Saclay（Inria萨克雷实验室Soda团队） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出利用表格基础模型实现实时知识追踪，通过上下文学习在推理时对齐测试序列与相关训练序列，实现无需训练的在线学习，实验显示在时间递增的学生成绩观察下，预测性能优异且速度提升达53倍。

Journal ref The 27th International Conference on Artificial Intelligence in Education, Jun 2026, Seoul, South Korea

MegaScale-Data: Scaling Dataloader for Multisource Large Foundation Model Training

MegaScale-Data: 为多源大规模基础模型训练扩展数据加载器

Juntao Zhao, Qi Lu, Wei Jia, Borui Wan, Lei Zuo, Junda Feng, Jianyu Jiang, Yangrui Chen, Shuaishuai Cao, Jialing He, Kaihua Jiang, Yuanzhe Hu, Shibiao Nong, Yanghua Peng, Haibin Lin, Chuan Wu

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出MegaScale-Data，通过解耦数据预处理、集中化数据平面和多级自动分片机制，解决多源大规模基础模型训练中的数据加载瓶颈，提升训练效率并降低内存消耗。

Journal ref European Conference on Computer Systems (EUROSYS '26), April 27--30, 2026, Edinburgh, Scotland, UK

HeadRouter: Dynamic Head-Weight Routing for Task-Adaptive Audio Token Pruning in Large Audio Language Models

HeadRouter: 任务自适应音频标记压缩中的动态头部权重路由

Peize He, Yaodi Luo, Xiaoqian Liu, Xuyang Liu, Jiahang Deng, Yaosong Du, Bangyu Li, Xiyan Gui, Yuxuan Chen, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； DAIL Tech（DAIL科技） ； Northeastern University（东北大学） ； Sichuan University（四川大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 HeadRouter通过动态评估不同音频任务中注意力头的重要性，实现高效的音频标记压缩，实验表明其在多个基准上均取得最佳压缩效果。

Comments Homepage: https://dabdans.github.io/HeadRouter/

LinguDistill: Recovering Linguistic Ability in Vision-Language Models via Selective Cross-Modal Distillation

LinguDistill: 通过选择性跨模态蒸馏恢复视觉语言模型中的语言能力

Patrick Amadeus Irawan, Erland Hilman Fuadi, Shanu Kumar, Alham Fikri Aji, Yova Kementchedjhieva

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫莫德·本·扎耶德人工智能大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出LinguDistill方法，通过利用冻结的原始语言模型作为教师，选择性蒸馏语言信号以恢复语言能力，同时保持视觉基础，提升了语言和知识基准性能。

Stabilizing Efficient Reasoning with Step-Level Advantage Selection

通过步骤级优势选择稳定高效推理

Han Wang, Xiaodong Yu, Jialian Wu, Jiang Liu, Ximeng Sun, Mohit Bansal, Zicheng Liu

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SAS方法，在步骤层面选择优势，提升推理稳定性与效率，实验显示在多个基准上准确率提升0.86点，推理长度减少16.3%。

Comments Findings of ACL 2026, Code: https://github.com/HanNight/SAS

Harness as an Asset: Enforcing Determinism via the Convergent AI Agent Framework (CAAF)

Harness 作为资产：通过收敛AI代理框架（CAAF）实现确定性

Tianbao Zhang

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CAAF框架，通过三个支柱解决AI代理工作流中的确定性问题，强调Harness作为企业资产的价值，并证明其在受监管领域内的可行性。

Comments 39 pages, 13 figures. Code: https://github.com/TianbaoZhang001/OpenCAAF (Apache-2.0)

MatchRDMA: A Segmented and Rate-Matched Long-Haul RDMA Scheme for Geo-distributed LLM Training over OTN

MatchRDMA：一种用于地理分布大语言模型训练的分段和速率匹配的长距离RDMA方案

Jun Dai, Xiaorun Wang, Xingde Li, Zheng Yang, Kexiong Fang, Zhiqun Gu, Hongxiang Wang, Yuefeng Ji, Jiawei Zhang

专题命中 效率与部署 ：LLM(title,abstract)

AI总结 MatchRDMA通过协调源和目的OTN速率，提升跨数据中心吞吐量达20倍，并减少目的OTN缓冲区占用62.7%。

Comments 4 pages, 3 figures

LLMind: Bio-inspired Training-free Adaptive Visual Representations for Vision-Language Models

LLMind: 基于生物启发的无训练自适应视觉表示用于视觉-语言模型

Soumyaratna Debnath, Bui Duc Manh, Zinan Liu, Lin Wang

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 LLMind通过生物启发的自适应采样策略，实现视觉-语言模型在有限像素预算下的高效自适应表示，实验显示在多个基准测试中性能显著提升。

Comments CVPR 2026, Highlight, 10 pages, 7 figures, 3 tables

NVILA: Efficient Frontier Visual Language Models

NVILA：高效的前沿视觉语言模型

Zhijian Liu, Ligeng Zhu, Baifeng Shi, Zhuoyang Zhang, Yuming Lou, Shang Yang, Haocheng Xi, Shiyi Cao, Yuxian Gu, Dacheng Li, Xiuyu Li, Yunhao Fang, Yukang Chen, Cheng-Yu Hsieh, De-An Huang, An-Chieh Cheng, Vishwesh Nath, Jinyi Hu, Sifei Liu, Ranjay Krishna, Daguang Xu, Xiaolong Wang, Pavlo Molchanov, Jan Kautz, Hongxu Yin, Song Han, Yao Lu

机构 * NVIDIA ； MIT（麻省理工学院） ； UC Berkeley（加州大学伯克利分校） ； UC San Diego（加州大学圣地亚哥分校） ； University of Washington（华盛顿大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 NVILA通过'缩放后再压缩'方法提升效率与准确性，降低训练和推理成本，适用于高分辨率图像和长视频处理。

Comments CVPR 2025. Project page: https://z-lab.ai/projects/nvila/