语言大模型 / LLM

RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory

RateQuant: 通过率-失真理论实现最优混合精度KV缓存量化

Fei Zuo, Zikang Zhou, Hao Cong, Xiaoyan Xi, Ho Fai Leung

机构 * BA TechWorks (BMW Group)（BA TechWorks（宝马集团）） ； National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 RateQuant利用率-失真理论优化混合精度KV缓存量化，通过为不同重要性头部分配不同位宽，减少内存瓶颈，提升生成性能。

Comments 18 pages, 7 figures, 5 tables

Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling

通过层特定位置嵌入缩放缓解Transformer中的位置偏差

Changze Lv, Zhenghua Wang, Yiran Ding, Yixin Wu, Tianlong Li, Zhibo Xu, Muling Wu, Tianyuan Shi, Shizheng Li, Qi Qian, Xuanjing Huang, Xiaoqing Zheng

机构 * Fudan University（复旦大学） ； Westlake University（西湖大学） ； Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出层特定位置嵌入缩放方法，通过遗传算法优化各层缩放因子，无需微调或增加延迟，有效缓解长上下文中的位置偏差，在关键值检索任务上准确率提升11.2%。

Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs

基于置信度蒸馏的门控关系对齐用于高效视觉语言模型

Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

机构 * Department of Information Technology（信息科技系） ； Electrical Engineering, ETH Zurich, Zurich, Switzerland（电气工程，苏黎世联邦理工学院，苏黎世，瑞士） ； Qualcomm AI Research, Amsterdam, the Netherlands（高通人工智能研究，阿姆斯特丹，荷兰） ； Department of Electrical, Electronic and Information Engineering（电气、电子与信息工程系） ； University of Bologna, Bologna, Italy（博洛尼亚大学，博洛尼亚，意大利） ； School of Electrical and Electronic Engineering（电气与电子工程学院） 纠错

专题命中 效率与部署 ：language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出GRACE框架，通过信息瓶颈原理统一知识蒸馏与量化感知训练，使用置信度门控解耦蒸馏、关系中心核对齐和自适应控制器，在INT4量化下实现性能超越FP16基线并接近教师模型，同时显著降低内存和提升吞吐量。

Comments Accepted to the International Conference on Machine Learning (ICML 2026)

Accelerating Attention with Basis Decomposition

基于基分解加速注意力机制

Jialin Zhao

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出BD Attention（BDA），通过基分解将多头投影重构为紧凑形式，实现无损且架构无关的注意力加速，在DeepSeek-V2-Lite上KV投影加速34%、权重减小25%，困惑度仅增0.02%。

SpikeVLA: Vision-Language-Action Models with Spiking Neural Networks

SpikeVLA：基于脉冲神经网络的视觉-语言-动作模型

Ruiqi Song, Dujun Nie, Siyu Teng, Baiyong Ding, Xiaotong Zhang, Dong Li, Chenming Zhang, Yuchen Li, Hangbin Wu, Long Chen

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 提出SpikeVLA，一种脉冲VLA架构，通过事件驱动稀疏计算降低能耗，在导航和机器人控制任务中保持竞争力，适用于低功耗实时具身智能。

Comments Accepted by ICML 2026. 16 pages, 9 figures

Journal ref Proceedings of the 43rd International Conference on Machine Learning, 2026

HunyuanImage 3.0 Technical Report

HunyuanImage 3.0 技术报告

Tencent Hunyuan Foundation Model Team

专题命中 效率与部署 ：foundation model(abstract)；post-training(abstract)

AI总结 HunyuanImage 3.0是一种统一多模态理解与生成的自回归模型，通过精心数据整理、先进架构、原生思维链、渐进预训练和激进后训练，训练出超800亿参数MoE模型（推理时激活130亿），在文本-图像对齐和视觉质量上媲美最先进模型，并开源代码和权重。

Flexformer: Flexible Linear Transformer with Learnable Attention Kernel

Flexformer: 具有可学习注意力核的灵活线性Transformer

Haoran Zhang, Feng Zhou

机构 * Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计科学研究中心与统计学院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Flexformer，通过将随机傅里叶特征中的频谱频率作为可训练参数，实现数据驱动的注意力核学习，在保持线性复杂度的同时提升表达能力，并在语言建模和序列分类任务上优于基线。

MaRS: Robust Out-of-Distribution Detection via Mahalanobis Residual Scoring

MaRS：通过马氏残差评分进行鲁棒的分布外检测

Francesco Di Salvo, Sebastian Doerrich, Christian Ledig

机构 * xAILab Bamberg, University of Bamberg, Germany（班贝格大学 xAILab 班贝格实验室，德国） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.LG

AI总结 提出MaRS方法，利用轻量自编码器学习分布内流形，通过马氏距离度量重建残差，实现方差感知的分布外检测，在多种医学影像模态和分布偏移下优于现有基线。

Comments Accepted to MICCAI 2026

Characterizing the Expressivity of Local Attention in Transformers

对变换器中局部注意力的表达力进行表征

Jiaoda Li, Ryan Cotterell

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

AI总结 本文研究了变换器中局部注意力的表达力，通过形式语言理论分析了局部注意力如何扩展可识别的正则语言，并证明了全局和局部注意力在表达力上的互补性，实验表明混合型变换器在形式语言识别和自然语言建模中表现更优。

Comments ACL 2026

MPFlow: Multi-modal Posterior-Guided Flow Matching for Zero-Shot MRI Reconstruction

MPFlow: 多模态后验引导的流匹配用于零样本MRI重建

Seunghoi Kim, Chen Jin, Henry F. J. Tregidgo, Matteo Figini, Daniel C. Alexander

机构 * 1 Hawkes Institute, UCL \, 2 Dept. of Medical Physics ； Biomedical Engineering, UCL 3 Dept. of Computer Science, UCL 4 Centre for AI, DS\&AI, AstraZeneca, UK 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI

AI总结 提出MPFlow框架，利用自监督预训练PAMRI学习跨模态共享表示，在推理时通过数据一致性和特征对齐引导采样，减少幻觉并提升零样本MRI重建效率。

Phase Matters: Characterizing Heterogeneous Vision-Language Inference on a Mobile SoC

阶段至关重要：移动SoC上异构视觉-语言推理的特征分析

Aryama V Murthy, Yashas N Kotre, Prathmesh Sharma, Pragya Mishra, Sanjith Ganapathi, Priyesh Shukla

专题命中 效率与部署 ：language model(abstract)

AI总结 本文通过硬件在环实验，系统表征了移动SoC上VLM推理的阶段性特征，发现NPU执行高度依赖阶段，在预填充阶段加速1.64倍，解码阶段仅1.18倍，视觉编码器加速20-45倍，并展示了四步图重写方法使Phi-3.5-V等编码器获得22倍加速。

Comments 6 pages, 5 figures. Published in MobiSys Workshop '26

Journal ref In Proceedings of the 24th Annual International Conference on Mobile Systems, Applications and Services Workshops (MobiSys Workshop '26), June 21-25, 2026, Cambridge, United Kingdom. ACM, New York, NY, USA, 6 pages

LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation

LocalNav: 蒸馏前沿视觉语言模型与具身强化学习用于设备端物体目标导航

Nicolas Baumann, Liam Boyle, Pu Deng, Edoardo Ghignone, Boyang Sun, Marc Pollefeys, Luca Benini, Michele Magno

机构 * Center for Project-Based Learning（项目学习中心） ； Integrated Systems Laboratory（集成系统实验室） 纠错

专题命中 效率与部署 ：language model(abstract)

AI总结 提出蒸馏策略将大型VLM的空间语义推理迁移至轻量级本地VLM，结合E-RLVR与令牌生成正则化，在嵌入式设备上实现低延迟物体目标导航。

TuringViT: Making SOTA Vision Transformers Accessible to All

TuringViT：让最先进的视觉Transformer人人可用

Qiman Wu, Hanlin Chen, Lyujie Chen, Rui Xin, Jianlei Zheng, Mingyuan Wang, Jiahui Hu, Da Zhu, Yuecheng Ma, Yuhua Wei, Yizhao Wang, Hua Zhou, Yuheng Zhang, Anhua Liu, Shaman Tang, Yue He, Pengfei Diao, Shuang Su, Haotong Xin, Weichao Huang, Hang Zhang, Xianming Liu

机构 * Foundation Model Team, Xpeng Inc.（小鹏汽车基础模型团队） 纠错

专题命中 效率与部署 ：pretraining(abstract)

AI总结 提出TuringViT，通过图灵线性注意力、VISTA-Curation数据构建和原生动态分辨率预训练，仅用10%数据即可超越开源ViT基线，并显著提升下游VLM性能和高分辨率延迟。

PYPILINE: Malicious PyPI Package Detection via Suspicious API Knowledge and Agent Workflow

PYPILINE：通过可疑API知识和Agent工作流检测恶意PyPI包

Siyuan Pang, Yepeng Yao, Zhengwei Jiang, Zijing Fan, Haozhe Li, Baoxu Liu

专题命中 效率与部署 ：LLM(abstract)

AI总结 提出PYPILINE方法，结合可疑API知识库与Agent工作流，通过静态分析构建知识库并自动检测恶意PyPI包，在精度、召回率和F1分数上显著优于现有工具。

A Pipeline for Generating Longitudinal Synthetic Clinical Notes Using Large Language Models

使用大型语言模型生成纵向合成临床笔记的流水线

William Poulett, Alice Waterhouse, Ben Wallace, Scarlett Kynoch, Amaia Imaz Blanco, Michael Spence, Jonathan Pearson

机构 * NHS England Data Science and Applied AI Team（NHS英格兰数据科学与应用人工智能团队） 纠错

专题命中 领域大模型 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出一种模块化流水线，结合结构化患者生成、半结构化旅程模拟和LLM生成非结构化笔记，生成纵向一致的合成临床数据集，支持临床AI开发并避免隐私风险。

When Is an LLM Worth It for Hyperparameter Optimization? A Budget-Matched Study on Tabular Data Finds the Warm-Start Is a Default Configuration, Not the Model

LLM何时值得用于超参数优化？基于表格数据的预算匹配研究发现热启动是默认配置，而非模型

Carson Rodrigues, Oysturn Vas, Isaiah Abner DCosta, Nithish Kumar Prabhakaran

机构 * Celabe ； University of Waterloo（滑铁卢大学） 纠错

专题命中 领域大模型 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过预算匹配的多种子实验，发现LLM作为HPO顾问的初始强点来自固定默认配置，其自身提议仅带来微小提升，被经典搜索方法在少量评估内超越。

Comments 10 pages, 3 figures

COOPA: A Modular LLM Agent Architecture for Operations Research Problems

COOPA: 面向运筹学问题的模块化LLM智能体架构

Chuanhao Li, Xiaoan Xu, Dirk Bergemann, Ethan X. Fang, Yehua Wei, Zhuoran Yang

机构 * Tsinghua University（清华大学） ； Duke University（杜克大学） ； Yale University（耶鲁大学） 纠错

专题命中 领域大模型 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出COOPA模块化LLM智能体架构，通过迭代置信度建模、元素级溯源与多求解器路由，提升运筹问题建模准确性与可解释性，在多个基准上优于基线方法。

What the LLM Should Not Say: Boundary-Aware Context Grounding for A Seven-Channel EEG Agent

面向低通道EEG智能体的边界感知上下文接地

Zhiyuan Xu, Yueqing Dai, Junling Li, Junwen Luo

机构 * Shanghai Pulse Element Intelligent Technology Co., Ltd. (NeuraDock)（上海脉冲元素智能科技有限公司（NeuraDock）） 纠错

专题命中 领域大模型 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出NeuraDock Agent架构，通过分离确定性本地EEG引擎与硬件感知语言层，实现LLM对低通道EEG数据的边界感知接地，经288次测试验证了系统在数值重复性、故障恢复和边界感知方面的有效性。

Comments 25 pages, 6 figures

An LLM-Powered Semantic Alignment Framework for Journal Recommendation

基于LLM的语义对齐框架用于期刊推荐

Yanglin Yan, Zicheng Xie, Tianchen Gao, Rui Pan, Hansheng Wang

专题命中 领域大模型 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种基于大语言模型的语义对齐框架，将期刊推荐转化为稿件内容与期刊范围描述之间的语义匹配问题，无需训练即可实现高效推荐。

JD Oxygen AI Item Center (Oxygen AIIC) V1: An Industrial-Scale LLM/VLM-Centric Solution for Item Understanding, Management, and Applications

JD Oxygen AI 商品中心 (Oxygen AIIC) V1：面向商品理解、管理和应用的工业级 LLM/VLM 解决方案

Oxygen AIIC, Chan Long, Chao Liu, Chaofan Chen, Chaohui Dong, Chunyuan Guo, Danping Liu, Debin Liu, Deping Xiang, Fulai Xu, Guangyue Liu, Hao Li, Huichun Hu, Jian Yang, Jianan Wang, Jianbo Zhao, Jiaoyang Li, Jiaxing Wang, Jinglong Li, Jinjin Guo, Jun Fang, Jun Liu, Kai Zhou, Li Wang, Lili Gao, Liying Chen, Luning Yang, Mengdi Zhou, Pengzhang Liu, Qi Lv, Qianyun Wang, Qixia Jiang, Ruyue Li, Shimu Liang, Shuxing Wang, Sijie Zhang, Siqi Li, Tianhao Gao, Wang Ke, Weihu Huang, Wencan Lai, Wenjie Zhang, Xiaohui Zhang, Xiaojing Dong, Ya Liu, Yifeng Zhang, Yixiang Wang, Yongtai Zhang, Yongyi Liao, Zhaoru Chen, Zhen Chen, Zhiyong Ma, Zhiyuan Liu, Zhongwei Liu, Ziyan Xing

机构 * Oxygen AIIC（氧气AIIC） 纠错

专题命中 领域大模型 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对电商平台海量SKU的知识生产与服务挑战，提出基于LLM/VLM的工业级平台Oxygen AIIC，通过本体工程、S2D知识识别架构、自进化模型和统一商品通道，实现高精度、高吞吐的知识生产，并在搜索、推荐等场景取得显著收益。

LitMOF: An LLM Multi-Agent for Literature-Validated Metal-Organic Frameworks Database Correction and Expansion

LitMOF：用于文献验证的金属有机框架数据库校正与扩展的LLM多智能体系统

Honghui Kim, Dohoon Kim, Jihan Kim

专题命中 领域大模型 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出LitMOF框架，利用大语言模型多智能体从原始文献验证并修复MOF数据库中的结构错误，成功修复9227个无效条目并发现8771个新MOF，通过直接空气捕获案例证明结构错误严重影响材料筛选可靠性。

Odyssey: Constructing Verifiable Local Truth-Preserving Foundation Models

Odyssey: 构建可验证的局部保真基础模型

Sridhar Mahadevan

机构 * Adobe Research（Adobe 研究院） ； University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 领域大模型 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出一种名为ODYSSEY的范畴论框架，通过组合“foundries”构建可验证的局部保真基础模型，并引入Universal Foundry Learning和Foundry SQL实现形式化构造与查询。

Comments 34 pages

ColBERT Retrieval and Ensemble Response Scoring for Language Model Question Answering

基于ColBERT检索和集成响应评分的语言模型问答系统

Alex Gichamba, Tewodros Kederalah Idris, Brian Ebiyau, Eric Nyberg, Teruko Mitamura

专题命中 领域大模型 ：language model(title,abstract)；large language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 本文提出基于ColBERT检索和集成响应评分的方法，提升小语言模型在电信领域问答任务中的性能，Phi-2模型达到81.9%准确率，Falcon-7B模型达到57.3%准确率。

Comments 7 pages, 2 figures, and 8 tables. This paper has been accepted at the 2024 IEEE Global Communications (GLOBECOM) Workshops

Journal ref 2024 IEEE Globecom Workshops (GC Wkshps), 2024

From Black-Box to Clinical Insight: A Multi-Stage Explainable Framework for Speech-Based Cognitive Impairment Detection

从黑盒到临床洞察：用于语音认知障碍检测的多阶段可解释框架

Yasaman Haghbin, Sina Rashidi, Ali Zolnour, Fatemeh Taherinezhad, Ali Fartoot, Hossein Azadmaleki, James M Noble, Maryam Dadkhah, Maryam Zolnoori

机构 * Independent Researcher（独立研究者） ； Columbia University（哥伦比亚大学） ； Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 领域大模型 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出多阶段可解释框架，结合SHAP、语言学特征和LLM推理，将黑盒Transformer预测转化为临床叙事，在NIA PREPARE基准上F1=72.11%，医生评估显示与患者认知特征高度一致，SUS评分82/100。

Comments Accepted to Interspeech 2026

A Tree-of-Thoughts Inspired Hybrid Approach for Legal Case Judgement Summarization using LLMs

一种基于思维树的混合方法用于法律案例判决摘要生成

Aniket Deroy, Kripabandhu Ghosh, Saptarshi Ghosh

机构 * IIT Kharagpur（印度理工学院德里加尔加尔普分校） ； IISER Kolkata（印度科学研究所科希拉） 纠错

专题命中 领域大模型 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种基于思维树的提取-抽象混合方法，利用LLMs（DeepSeek和LLama）生成法律判决摘要，实验表明该方法优于纯提取或纯抽象方法。

Comments Accepted at ICAIL 2026

MeDUET: Disentangled Unified Pretraining for 3D Medical Image Synthesis and Analysis

MeDUET：面向3D医学图像合成与分析的解耦统一预训练

Junkai Liu, Ling Shao, Le Zhang

专题命中 领域大模型 ：pretraining(title,abstract)

AI总结 提出MeDUET框架，在变分自编码器潜在空间中通过解耦学习域不变内容因子和域特定风格因子，统一3D医学图像合成与分析任务，提升合成质量、收敛速度和域泛化能力。

MedGuards: Multi-Agent System for Reliable Medical Error Detection and Correction

MedGuards: 用于可靠医疗错误检测与纠正的多智能体系统

Congbo Ma, Hu Wang, Yichun Zhang, Farah E. Shamout

机构 * New York University Abu Dhabi（纽约大学阿布扎比分校） ； Khalifa University（哈利法大学） ； New York University（纽约大学） 纠错

专题命中 领域大模型 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出MedGuards框架，通过多智能体上下文学习与置信度引导仲裁机制，无需额外训练即可检测、定位和纠正医疗文本错误，并引入关键词优先纠正评分(KPCS)评估指标。

Large Lemma Miners: Can LLMs do Induction Proofs for Hardware?

大引理挖掘器：LLMs能否为硬件生成归纳证明？

Romy Peled, Daniel Kroening, Michael Tautschnig, Yakir Vizel

专题命中 领域大模型 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文探讨LLMs在硬件验证中生成归纳证明的能力，提出神经符号方法，通过两个提示框架生成候选不变量并验证，成功生成正确证明。

An Empirical Study to Understand How Students Use ChatGPT for Writing Essays

一项实证研究：了解学生如何利用ChatGPT撰写论文

Andrew Jelson, Daniel Manesh, Alice Jang, Daniel Dunlap, Young-Ho Kim, Sang Won Lee

专题命中 领域大模型 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究通过70名学生的在线实验，分析学生使用ChatGPT撰写论文时的查询模式，发现性别、种族和自我效能等因素影响AI使用模式，且不同使用模式与写作乐趣和所有权感知相关。

Comments 35 pages, 16 figures, 6 tables, Submitted to ACM CHI 2026

Journal ref CHI '26: Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems

Can Generative Artificial Intelligence Survive Data Contamination? Theoretical Guarantees under Contaminated Recursive Training

生成式人工智能能否在数据污染中幸存？污染递归训练下的理论保证

Kevin Wang, Hongqian Niu, Didong Li

专题命中 领域大模型 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文首次严格证明在温和条件下，即使模型递归训练于自身生成的数据，仍能收敛到真实数据分布，并揭示了数据限制与模型限制之间的相变。