语言大模型 / LLM

CHIME: A Case for Efficient Long-Context Attention-FC Disaggregated Inference with DIMM-PIM

CHIME：基于DIMM-PIM的高效长上下文注意力-全连接分离式推理方案

Qingyuan Liu, Liyan Chen, Haocheng Wang, Yanning Yang, Dong Du, Zhigang Mao, Naifeng Jing, Yubin Xia, Haibo Chen

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 CHIME是首个集成DIMM-PIM的AFD系统，通过无气泡流水线等技术解决同步问题，实现最高5.15倍于HBM-PIM方案的LLM推理加速。

SkillMOO: Multi-Objective Optimization of Agent Skills for Software Engineering

SkillMOO：软件工程中代理技能的多目标优化

Jingzhi Gong, Ruizhen Gu, Zhiwei Fei, Yazhuo Cao, Lukas Twist, Alina Geiger, Shuo Han, Dominik Sobania, Federica Sarro, Jie M. Zhang

机构 * King's College London（伦敦国王学院） ； Queen's University Belfast（贝尔法斯特女王大学） ； Nanjing University（南京大学） ； Johannes Gutenberg University Mainz（美因茨约翰尼斯·古滕贝格大学） ； University College London（伦敦大学学院） ； University of Duisburg-Essen（杜伊斯堡- Essen大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出SkillMOO框架，通过LLM提议的编辑和NSGA-II算法优化代理技能包，提升任务成功率并降低推理成本。

Rethinking Inference-Time Scaling: Efficiency Limits and Linguistic Signals

重新思考推理时缩放：效率极限与语言信号

Junlin Wang, Shang Zhu, Jon Saad-Falcon, Ben Athiwaratkun, Qingyang Wu, Jue Wang, Shuaiwen Leon Song, Ce Zhang, Bhuwan Dhingra, James Zou

机构 * Duke University（杜克大学） ； Together AI ； University of Chicago（芝加哥大学） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究分析推理时缩放的效率极限，发现非推理模型存在无法突破的推理底线，多数投票优于复杂框架，还识别出正确性的语言信号，为高效推理智能体提供了新路径。

Comments update figures, writings

Efficient LLMs with AMP: Attention Heads and MLP Pruning

采用AMP的高效大语言模型：注意力头与多层感知机剪枝

Leandro Giusti Mugnaini, Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Edson Bollis, Lucas Pellicer, Anna Helena Reali Costa, Artur Jordao

机构 * Escola Politécnica（圣保罗理工大学） ； Instituto de Matemática e Estatística（数学与统计学研究所） ； Universidade de São Paulo（圣保罗大学） ； Instituto de Ciência e Tecnologia Itaú (ICTi)（Itaú科学与技术研究所） 纠错

专题命中 效率与部署 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出新型结构化剪枝方法AMP，通过剪枝LLMs的注意力头与MLP结构压缩模型，在常识推理任务上超越当前最优方法，提升推理速度，适用于LLaMA、Phi等模型，支持资源受限场景部署。

Comments Published in International Joint Conference on Neural Networks (IJCNN), 2025

Athena-Brain Technical Report: An Efficient Robot Brain for General Intelligence and Embodied Interaction

雅典娜大脑技术报告：用于通用智能和具身交互的高效机器人大脑

Jialian Li, Junhong Liu, Yuchen Cao, Weiran Guo, Jiaming Song, Xutao Wang, Yi Zhao, Jiangpin Liu, Jie Chen

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究针对具身智能体对设备端紧凑模型需求，提出雅典娜大脑8B模型，经多阶段训练流程，使其兼具通用与具身交互能力，实验证明该模型在通用和具身评估中有效，能在保持性能同时生成更简洁回复。

Speculative Pipeline Decoding: Higher-Accuracy Drafting with Hidden Latency via Pipeline Parallelism

推测性流水线解码：通过流水线并行实现更高准确度和零气泡推测

Yijiong Yu, Huazheng Wang, Shuai Yuan, Ruilong Ren, Ji Pei

机构 * Oregon State University（俄勒冈州立大学） ； DeepSolution（深思解决方案） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出推测性流水线解码（SPD）框架，利用流水线并行将目标LLM划分为n个流水线阶段并行处理n个token，通过推测模块聚合中间特征预测下一token，实现有限难度、高接受率和零延迟气泡，显著提升理论加速比。

Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision

面向多语言指令遵循语音大语言模型的语言感知蒸馏：仅使用ASR监督

Shreyas Gopal, Donghang Wu, Ashutosh Anshul, Yeo Yue Heng, Yizhou Peng, Haoyang Li, Hexin Liu, Eng Siong Chng

机构 * College of Computing and Data Science（计算与数据科学学院） ； Nanyang Technological University（南洋理工大学） ； AI Singapore（AI新加坡） ； National University of Singapore（新加坡国立大学） ； Institute for Infocomm Research (I$^2$R)（信息通信研究所） ； A$^{*}$STAR（A*星） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种语言感知蒸馏方法，通过查询库和门控网络提升多语言指令遵循语音大语言模型的性能，实现在Audio-MLQA基准上比现有基线提升32%。

Comments Accepted at Interspeech 2026

BitNet Text Embeddings

BitNet 文本嵌入

Zhen Li, Xin Huang, Liang Wang, Nan Yang, Ting Song, Yan Xia, Xun Wu, Shaohan Huang, Huishuai Zhang, Furu Wei, Dongyan Zhao

机构 * Peking University（北京大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出BITEMBED框架，通过将预训练LLM转换为BitNet风格编码器并联合训练，实现低比特文本嵌入，在MMTEB基准上性能接近全精度模型，同时降低存储和计算开销。

Model Gateway: Management Platform for Model-Driven Drug Discovery

模型网关：模型驱动药物发现的管理平台

Yan-Shiun Wu, Sai Mahit Vaddadi, Zachary A. Rollins, Nathan A. Morin

机构 * Eli Lilly and Company（埃利丽尔公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对药物发现对特殊机器学习基础设施的需求，现有平台无法满足。本文提出基于云的模型网关平台，可管理药物发现管道中的模型，提供多种服务，已在礼来公司生产，管理众多模型并服务多个下游应用。

Comments 20 pages, 4 figures, 3 tables

FAME: Failure-Aware Mixture-of-Experts for Message-Level Log Anomaly Detection

FAME：面向失败的混合专家模型用于消息级日志异常检测

Huanchi Wang, Zihang Huang, Yifang Tian, Kristina Dzeparoska, Hans-Arno Jacobsen, Alberto Leon-Garcia

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出FAME，一种面向失败的混合专家模型，用于消息级日志异常检测。该方法通过少量标注数据训练轻量级路由器和领域专家，实现高效的异常检测，同时在BGL和Thunderbird数据集上取得了高精度和召回率。

Comments 12 pages, 5 figures, Accepted at the 2026 IEEE International Symposium on Software Reliability Engineering (ISSRE 2026)

When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge?

当模型遗忘遇上检索增强生成（RAG）：保守秘密还是遗忘知识？

Shang Wang, Tianqing Zhu, Dayong Ye, Wanlei Zhou

机构 * School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院） ； Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究大语言模型训练中敏感信息保留问题，提出基于检索增强生成（RAG）技术的轻量级行为遗忘框架，通过修改外部知识库模拟遗忘，经实验验证该方法符合五个关键遗忘标准，还可扩展到多模态模型和智能体。

Comments This paper is accepted by IEEE Transactions on Dependable and Secure Computing 2025. The source code is available at \url{https://github.com/shihe98/RAG_Unlearning}

SNLP: Layer-Parallel Inference via Structured Newton Corrections

SNLP：通过结构化牛顿校正的层并行推理

Ligong Han, Kai Xu, Hao Wang, Akash Srivastava

机构 * Core AI, IBM（IBM核心AI） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出结构化牛顿层并行（SNLP）框架，通过将Transformer层间依赖视为非线性残差方程并用结构化牛顿校正并行求解，实现推理加速，在0.5B模型上获得高达2.58倍加速。

Comments Project webpage: https://github.com/phymhan/nanochat-snlp

An Efficient Heterogeneous Co-Design for Fine-Tuning on a Single GPU

面向单GPU微调的高效异构协同设计

Ruijia Yang, Zeyi Wen

机构 * Hong Kong University of Science 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SlideFormer系统，通过异步引擎、异构内存管理和优化Triton内核，在单GPU上高效微调超大规模语言模型，显著提升吞吐量并降低内存使用。

Comments Accepted by DAC 2026. 7 pages. Author version

RCTs for Frontier AI Governance: Methodological Challenges and Solutions for Human Uplift Studies

随机对照试验与人类提升研究：前沿AI评估的方法论挑战与实践解决方案

Patricia Paskov, Kevin Wei, Shen Zhou Hong, Dan Bateyko, Xavier Roberts-Gaal, Carson Ezell, Gailius Praninskas, Valerie Chen, Umang Bhatt, Ella Guest

机构 * RAND ； Johns Hopkins University（约翰霍普金斯大学） ； Cornell University（康奈尔大学） ； Harvard University（哈佛大学） ； University of Cambridge（剑桥大学） ； London School of Economics（伦敦经济学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过访谈16位专家，系统梳理了人类提升研究（测量AI对人类绩效影响）在随机对照试验中面临的方法论挑战，包括内部效度、外部效度和构念效度问题，并提出了相应的解决方案。

Agentic Episodic Control

智能体情节控制

Xidong Yang, Wenhao Li, Junjie Sheng, Yun Hua, Haosheng Chen, Chuyun Shen, Xiangfeng Wang

机构 * East China Normal University（华东师范大学） ； Tongji University（同济大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai University of International Business and Economics（上海对外经贸大学） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出智能体情节控制（AEC），利用大语言模型增强情节强化学习，通过语义增强器和关键状态识别器提升数据效率和泛化能力，在BabyAI-Text环境中实现2-6倍数据效率提升。

Comments Accepted to Findings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

MERGE: 自然语言推理的最小表达式替换泛化测试

Mădălina Zgreabăn, Tejaswini Deoskar, Lasha Abzianidze

机构 * Utrecht Institute of Linguistics OTS（乌得勒支语言研究所OTS） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 提出MERGE测试，通过最小表达式替换（MERE）生成高质量变体，评估NLI模型在非对抗性变体上的泛化能力，发现LLM和微调模型泛化较差。

Comments Pre-print

Fix the Structural Bottleneck: Context Compression via Explicit Information Transmission

修复结构瓶颈：通过显式信息传输进行上下文压缩

Jiangnan Ye, Hanqi Yan, Zhenyi Shen, Heng Chang, Ye Mao, Yulan He

机构 * King’s College London（伦敦国王学院） ； Tsinghua University（清华大学） ； Imperial College London（伦敦帝国学院） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文通过从结构角度重新审视上下文压缩，识别出标准LLM压缩方法中的两个关键瓶颈，并提出ComprExIT框架，通过显式信息传输提升压缩效率，实验表明其在多个数据集上表现优异，提升了F1分数并降低了计算成本。

RLRC: Reinforcement Learning-based Recovery for Compressed Vision-Language-Action Models

RLRC：基于强化学习的压缩视觉-语言-动作模型恢复

Yuxuan Chen, Yixin Han, Yize Huang, Xiao Li

机构 * State Key Laboratory of Mechanical System and Vibration（机械系统与振动国家重点实验室） ； Shanghai Key Laboratory of Intelligent Robotics（上海智能机器人重点实验室） ； School of Mechanical Engineering, Shanghai Jiao Tong University（上海交通大学机械工程学院） 纠错

专题命中 效率与部署 ：SFT(summary_cn,abstract)；分类 cs.AI

AI总结 提出RLRC三阶段压缩恢复流程，通过结构化剪枝、SFT和强化学习恢复以及量化，实现8倍内存减少和2.3倍推理加速，同时保持任务成功率。

Comments 8 pages, 10 figures; accepted by RA-L 2026

Journal ref IEEE Robotics and Automation Letters, vol. 11, no. 7, pp. 8864-8871, July 2026

RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs

RaBiT：基于残差的二值化训练用于准确且高效的LLM

Youngcheon You, Banseok Lee, Minseop Choi, Seonyoung Kim, Hyochan Chong, Changdong Kim, Youngmin Kim, Dongkyu Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RaBiT通过算法强制残差层级解决二值化中的特征共适应问题，提升2位精度-效率边界，实现超越VQ的性能和4.49倍的推理加速。

Comments Accepted to ICML 2026

MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems

MARS：面向异构智能体系统的高效自适应协同调度

Yifei Wang, Hancheng Ye, Yechen Xu, Cong Guo, Chiyue Wei, Qinsi Wang, Dongting Li, Tingjun Chen, Hai "Helen" Li, Danyang Zhuo, Yiran Chen

机构 * Duke University（杜克大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出MARS协同调度系统，通过统一信息流全局协调GPU推理与CPU工具执行，解耦准入与执行防止资源过载，并采用智能体中心调度器最小化端到端延迟，实验显示延迟降低5.94倍。

Comments 14 pages, 13 figures. Preprint

Closing the Auto-Research Loop: An AI Co-Scientist for Production Search Ranking

关闭自动研究循环：面向生产搜索排名的AI合作科学家

Liwei Wu, Cho-Jui Hsieh

机构 * Trip.com Group（Trip.com集团） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出AI合作科学家框架，通过LLM代理与云计算集成，自动迭代生成想法、实现代码、进行GPU实验并分析结果，在搜索排名任务中带来额外+0.083%离线增益。

Comments Submitted to EMNLP for review on June 14, 2026

Prediction-Powered Risk Monitoring of Deployed Models for Detecting Harmful Distribution Shifts

预测驱动的已部署模型风险监控：检测有害分布漂移

Guangyi Zhang, Yunlong Cai, Guanding Yu, Osvaldo Simeone

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出预测驱动风险监控（PPRM），一种基于预测驱动推断的半监督方法，通过结合合成标签与少量真实标签构建运行风险的随时有效下界，实现对有害漂移的检测，并在图像分类、大语言模型和电信监控任务中验证有效性。

Comments Accepted by ICML2026

Harmonia: End-to-End RAG Serving Optimization

Harmonia: 端到端RAG服务优化

Saurabh Agarwal, Bodun Hu, Luis Pabon, Myungjin Lee, Jayanth Srinivasa, Aditya Akella

机构 * UT Austin（德克萨斯大学奥斯汀分校） ； Cisco Research（思科研究） ； Cisco Systems（思科系统） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Harmonia框架，通过灵活管道接口、异构感知部署和闭环运行时控制器，优化RAG服务，吞吐量提升2.04倍以上，SLO违规减少78.4%。

Commit Locally, Exit Globally: Coordinating Adaptive Sampling and Early Exit in Diffusion Language Models

提交时机与位置：扩散语言模型的候选感知解码

Chia-Ming Lee, Shao-Kai Liu, Ming-Ching Chang, Xin Li, Yu-Lun Liu, Chih-Chung Hsu

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； University at Albany, SUNY（纽约州立大学奥尔巴尼分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对扩散语言模型解码过早终止问题，提出无训练的候选感知提前退出框架LATCH，结合CVC与BWEC，在零样本11项任务上，以准确率损失极小的代价实现多倍解码速度提升。

Comments Code is available at https://github.com/ming053l/C4-dLLM

SAFE-SVD: Sensitivity-Aware Fidelity-Enforcing SVD for Physics Foundation Models

SAFE-SVD：面向物理基础模型的敏感性感知保真度压缩SVD

Chengjie Hong, Feixiang He, Yiheng Zeng, Lulu Kang, He Wang

机构 * AI Centre, University College London（伦敦大学学院人工智能中心） ； University College London（伦敦大学学院） ； Central South University（中南大学） ； University of Massachusetts at Amherst（马萨诸塞大学阿姆赫斯特分校） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种新的压缩物理基础模型的方法，通过在压缩过程中显式建模损失感知的层敏感性，以保持准确性和物理保真度，实验表明在多个模型和数据集上实现了显著的压缩增益。

Progressive Semantic Communication for Efficient Edge-Cloud Vision-Language Models

渐进式语义通信用于高效边缘-云视觉-语言模型

Cyril Shih-Huan Hsu, Wig Yuan-Cheng Cheng, Chrysa Papagianni

机构 * Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学院） ； Open-EP Community（开放EP社区） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出渐进式语义通信框架，通过Meta AutoEncoder压缩视觉token，实现灵活的边缘-云VLM部署，减少网络延迟并保持语义一致性。

Comments Accepted for publication in the 2026 IEEE Global Communications Conference (GLOBECOM). Extended version with additional figures and appendices

The Cost of Language: Centroid Erasure Exposes and Exploits Modal Competition in Multimodal Language Models

语言的成本：质心擦除揭示并利用多模态语言模型中的模态竞争

Akshay Paruchuri, Ishan Chatterjee, Henry Fuchs, Ehsan Adeli, Piotr Didyk

机构 * Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； USI Lugano（卢加诺大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究发现多模态语言模型在视觉任务中表现不佳，通过质心替换方法揭示语言表征优于视觉，通过文本质心对比解码提升准确率，不同训练方法影响结果。

Comments 37 pages, 8 figures, 28 tables

Explaining, Verifying, and Aligning Semantic Hierarchies in Vision-Language Model Embeddings

解释、验证和对齐视觉语言模型嵌入中的语义层次结构

Gesina Schwalbe, Mert Keser, Moritz Bayerkuhnlein, Edgar Heinert, Annika Mütze, Marvin Keller, Sparsh Tiwari, Georgii Mikriukov, Diedrich Wolter, Jae Hee Lee, Matthias Rottmann

机构 * University of Lübeck（吕贝克大学） ； Technical University of Munich（慕尼黑工业大学） ； AUMOVIO SE ； Osnabrück University（奥斯纳布吕克大学） ； Leibniz Institute for Agricultural Engineering and Bioeconomy（莱布尼茨农业工程与生物经济研究所） ； University of Hamburg（汉堡大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种框架，用于解释、验证和对齐视觉语言模型嵌入中的语义层次结构，通过聚类和概念库匹配提取层次结构，并利用人类本体评估其合理性，最终提出基于本体的对齐方法以提升共享嵌入空间的语义对齐。

Comments camera-ready version of accepted IJCAI-ECAI 2026 paper including supplementary material; code: https://github.com/gesina/ontological-commitment

SpecBox: Speculative Sandbox Scheduling for Efficient LLM Agent Serving

SpecBox：用于高效大语言模型智能体服务的推测性沙盒调度

Yihui Zhang, Tianyu Wo, Jinghao Wang, Xiaoyang Sun, Menghao Zhang, Cangzhou Yuan, Li Li, Chunming Hu, Albert Y. Zomaya, Renyu Yang

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型智能体服务中沙盒部署的资源利用与延迟矛盾，提出SpecBox，通过推测性沙盒预分配、上下文感知随机预取及相关优化，有效降低端到端延迟并削减峰值内存消耗。

Learning to Translate from Soft to Hard LLM Prompts

学习从软提示到硬提示的翻译

Pitipat Kongsomjit, Suryansh Goyal, Jacob Whitehill

机构 * Worcester Polytechnic Institute（沃斯特理工学院） 纠错

专题命中 效率与部署 ：LLM(title)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过训练一个专用的软提示到自然语言翻译模型，提高了翻译质量，并展示了软提示可以转化为可移植的文本提示，在大型闭源模型上超越原软提示甚至少样本学习。

Comments 8 Pages, 11 tables, 4 Figures