语言大模型 / LLM

Recall Before Rerank: Benchmarking Deep Learning Models for Large-Scale Code-to-Code Retrieval

召回再排序：面向大规模代码到代码检索的深度学习模型基准测试

Leonardo Venuta, Francesco Tosoni, Paolo Ferragina

机构 * Sant’Anna School of Advanced Studies（圣安娜高级研究院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 本文评估了当代深度学习模型在大规模代码到代码搜索引擎中第一阶段召回的有效性、效率和可扩展性，并提出了基于LLM的代码标准化和查询重写方案，以提升低性能模型的精度。

Comments 15 pages, 4 figures

Project Auto-World: Towards Automated Benchmarking of Neural Relational Reasoners

Project Auto-World: 迈向神经关系推理器的自动化基准测试

Anirban Das, Joanne Boisson, Irtaza Khalid, Sumita Garai, Steven Schockaert

机构 * Cardiff University（卡迪夫大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 利用大语言模型自动化生成基准测试实例，通过进化搜索和自主代理搜索发现困难样本，提升Edge Transformer的泛化能力，并应用于新世界以推动神经关系推理的自主研究。

Comments Submitted to NeurIPS 2026 E&D track. Code is available at https://github.com/autoworldrules/auto-world-rules

ThermoLLM: Thermodynamics-Aware HVAC Control with Spatial-Semantic Knowledge Graph

ThermoLLM: 基于空间语义知识图谱的热力学感知HVAC控制

Kirtan Bhatt, Xiachong Lin, Matthew Amos, Flora D. Salim, Wen Hu

机构 * University of New South Wales（新南威尔士大学） ； CSIRO Energy Centre（澳大利亚联邦科学与工业研究组织能源中心） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出一种热力学感知的LLM控制框架，利用物理信息空间知识图谱和近期交互历史，实现多区域HVAC的节能与舒适度优化。

Comments 10 pages, 5 figures. Submitted to ACM SIGSPATIAL 2026

Small LLMs: Pruning vs. Training from Scratch

小型LLM：剪枝 vs. 从头训练

Yufeng Xu, Taiming Lu, Kunjun Li, Jiachen Zhu, Mingjie Sun, Zhuang Liu

机构 * Princeton University（普林斯顿大学） ； New York University（纽约大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title_cn)；language model(abstract)；small language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过六种剪枝方法在Llama-3.1-8B上比较剪枝与从头训练，发现有限预算下剪枝更优，预算充足时粗粒度剪枝可被超越。

Comments Our code is available at https://github.com/zlab-princeton/pruning-vs-scratch

Interpreting Neural Combinatorial Optimization via Evolving Programmatic Bottlenecks

通过演化程序瓶颈解释神经组合优化

Haocheng Duan, Yuxin Guo, Jieyi Bi, Anqi Xie, Sirui Li, Yining Ma, Cathy Wu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Nanyang Technological University（南洋理工大学） ； Microsoft Research（微软研究院） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出演化程序瓶颈（EPB）框架，通过将黑盒神经组合优化模型蒸馏为可读程序组合，利用LLM和混合梯度下降实现可解释性，揭示模型行为与经典启发式变体的关系。

Comments Under Review

Structured Inference with Large Language Gibbs

大语言吉布斯结构化推理

Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer

机构 * University of Edinburgh, School of Informatics（爱丁堡大学信息学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出大语言吉布斯方法，利用大语言模型的条件分布作为转移算子进行结构化概率推理，通过迭代重采样变量避免顺序偏差，在合成分布、一致性推理和贝叶斯结构学习中验证有效性。

Comments Code: https://github.com/hyeok9855/large-language-gibbs

The Critical Role of Model Selection in Causal Inference: A Comparative Analysis of Classification Models within the InferBERT Framework for Pharmacovigilance

模型选择在因果推断中的关键作用：基于InferBERT框架的药物警戒分类模型比较分析

Csaba Kiss, Roland Molontay, Gabriele Pergola

机构 * Department of Stochastics, Institute of Mathematics, Budapest University of Technology and Economics（布达佩斯技术与经济大学数学研究所随机学系） ； Institute of Biostatistics and Network Science, Semmelweis University（塞梅维什大学生物统计学与网络科学研究所） ； Department of Computer Science, University of Warwick（华威大学计算机科学系） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 本研究在InferBERT框架下比较XGBoost、ALBERT、BioBERT和Med-LLaMA四种模型，发现领域特定预训练（BioBERT）在药物警戒因果ADE检测中优于简单基线和大型LLM，校准改善ECE但对准确率和因果发现影响不一。

Comments 10 pages, 5 figures

Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite

移动NPU上的能效型设备端RAG：Snapdragon X Elite系统设计与基准测试

Zhiyuan Cheng, Longying Lai

机构 * Qualcomm（高通） ； Snapdragon X Elite（骁龙X Elite） ； Dell XPS 13 laptop（戴尔XPS 13笔记本电脑） ； Qualcomm Hexagon NPU（高通Hexagon NPU） ； Adreno X1-85 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文首次在Snapdragon X Elite的Hexagon NPU上实现端到端RAG流水线，通过对比CPU和GPU，NPU在嵌入吞吐量、系统能耗和查询延迟上分别提升9.1倍、降低12.3倍和4.0倍，且答案质量相当。

Comments 9 pages, 2 figures, 6 tables

From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs

从感知到决策：多模态大语言模型中听觉与视觉感知的信息流

Wish Suharitdamrong, Muhammad Awais, Xiatian Zhu, Sara Atito

机构 * Surrey Institute for People-Centred AI (PAI)（萨里人本人工智能研究所） ； University of Surrey（萨里大学） ； Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音和信号处理中心） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态大语言模型（AVLLMs）中音频和视觉信息流的路径与整合机制，发现顺序流与并行流两种路由模式，并证明信息传递后可丢弃无关token以提升效率。

Comments 40 pages, 29 figures

IntentKV: Cross-Turn Intent-Aware KV Cache Pruning for Agent Inference

IntentKV: 面向Agent推理的跨轮次意图感知KV缓存剪枝

Junjie Li, Jiong Lou, Jie Li

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对多轮LLM Agent中KV缓存成为服务瓶颈的问题，提出IntentKV方法，通过会话级QueryMemory和残差注意力头实现跨轮次意图感知的KV剪枝，在保持精度的同时大幅降低峰值请求token和KV读取量。

Semantic Cache Distillation: Efficient State Transfer via Reuse and Selective Patching

语义缓存蒸馏：通过重用和选择性修补实现高效状态传输

Qianli Ma, Zhiqing Tang, Hanshuai Cui, Zhi Yao, Weijia Jia

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型推理中KV缓存传输的通信瓶颈和跨模型重用时的语义错位问题，提出语义缓存蒸馏（SCD）框架，通过低秩子空间重建和稀疏过渡层归一化输入预测，实现高达2.65倍的首令牌时间加速，且生成质量接近理想情况。

Comments Accepted to ICML 2026

Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs

激活与影响感知秩 (AIR)：保持功能的SVD压缩用于大语言模型

Nico Harder, Daniel Becking, Karsten Mueller, Wojciech Samek

机构 * Fraunhofer HHI（弗劳恩霍夫研究所） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.LG；foundation model(comments)

AI总结 提出AIR框架，基于SVD和反向信号影响度量，通过单次交替最小二乘扫描实现权重矩阵的低秩近似，在参数保留≤60%时困惑度比SVD-LLM(W)改善>18%，并减少90%校准数据。

Comments Accepted at the ICML 2026 Workshop on Resource-Adaptive Foundation Model Inference (AdaptFM), Seoul, South Korea (non-archival)

Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference

减少矩阵乘法：面向大语言模型推理的输入自适应矩阵乘积约简方法

Zixuan Lan, Yanhong Li, Jiawei Zhou

机构 * University of Chicago（芝加哥大学） ； Stony Brook University（石溪大学） 纠错

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究针对Transformer语言模型推理开销高的问题，提出无需训练的输入自适应RMM方法，通过选择矩阵乘积信息切片减少计算，在多任务多模型上验证其鲁棒性，可提升长序列推理效率，且适用于多模态场景。

Comments 24 pages

Foundation Model-Enabled Efficient Data Sampling (FEEDS): A label-efficient training strategy for pan-cancer, multi-tracer PET/CT datasets

基于基础模型的高效数据采样（FEEDS）：用于泛癌、多示踪剂PET/CT数据集的标签高效训练策略

Biratal Raj Wagle, Bashirul Azam Biswas, Grant Chau, Matthew E. Maeder, Muhammad Azeem Arshad, Michael S. Leapman, James B. Yu, Indrani Bhattacharya

机构 * Geisel School of Medicine at Dartmouth（达特茅斯盖泽尔医学院） ； Dartmouth Hitchcock Medical Center（达特茅斯-希区柯克医疗中心） ； Yale University（耶鲁大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 该研究提出FEEDS策略，利用视觉基础模型嵌入选择信息性和多样性未标注病例，在减少70%标注负担时达到全标注训练性能，解决了PET/CT病灶分割的标签稀缺问题。

Comments Code is publicly available on https://github.com/Image-and-Multimodal-Data-Analytics/FEEDS

Evaluating Semantic and Spatial Guidance for Foundation Model Segmentation of Small-Scale PV in Remote Sensing Imagery

评估基础模型在遥感影像中小规模光伏分割的语义与空间引导

Roni Blushtein-Livnon, Tal Svoray, Osher Rafaeli, Michael Dorman, Itay Fischhendler, Havazelet Yahel, Emir Galilee

机构 * Ben-Gurion University of the Negev（内盖夫本-古里安大学） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； Ben Gurion Institute for the Study of Israel & Zionism（本-古里安以色列与犹太复国主义研究所） ； Ben-Gurion Israel Research Institute（本-古里安以色列研究所） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；prompting(abstract)

AI总结 该研究评估了SAM3在遥感影像中小规模光伏分割中不同提示策略的效果，发现混合提示性能最优，仅需少量标注样本即可实现高效分割，为无电网地区光伏测绘提供了可行方案。

WiFo-INR: A Wireless Foundation Model Based on Implicit Neural Representations

WiFo-INR：一种基于隐式神经表示的无线基础模型

Boxun Liu, Xuanyu Liu, Shijian Gao, Xiang Cheng, Liuqing Yang

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本研究提出基于隐式神经表示的无线基础模型WiFo-INR，通过两阶段自监督预训练实现高效紧凑的CSI表示，在性能提升的同时降低延迟，可高效迁移至多任务并实现零样本泛化。

SlimVLM: Sensitivity-aware Dynamic Structured Pruning with Adaptive Visual Token Selection for Efficient Vision-Language Models

SlimVLM：面向高效视觉-语言模型的感知敏感性动态结构化剪枝与自适应视觉token选择

Yaozhi Wen, Jialong Guo, Zhenliang Ni, Han Shu, Xinghao Chen

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 SlimVLM是一种结构化剪枝框架，通过自适应视觉token选择和感知敏感性动态剪枝机制，在压缩视觉-语言模型的同时保持性能，在多模态基准测试中达到最优。

TextNCA: Neural Cellular Automata for Language Modeling via Hierarchical Local Attention

TextNCA：通过分层局部注意力实现语言建模的神经细胞自动机

Avni Mittal, Avinash Anand, Ashutosh Kumar, Dikshant Kukreja, Kritarth Prasad, Sushane Dulloo, Erik Cambria, Timothy Liu, Zhengkui Wang, Rajiv Ratn Shah

机构 * Singapore Institute of Technology（新加坡理工学院） ； IIIT Delhi（德里印度信息技术学院） ； Nanyang Technological University（南洋理工大学） ； NVIDIA AI Technology Centre（英伟达人工智能技术中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出分层局部注意力的TextNCA模型作为分析探针，发现其性能受从窄到宽的分阶段调度主导，迭代和GRU门控等仅带来小增益。

Harnessing Adversarial Distillation to Customise Debiased, Disease-Specific Pathology Foundation Models for Breast Cancer

利用对抗蒸馏定制去偏差的、针对乳腺癌的疾病专用病理学基础模型

Zhiwei Chen, Yang Hu, Yuxiang Xiao, Yakun Ju, Tianyang Zhang, Yingxue Xu, Wei Li, Hao Chen, Jens Rittscher, Kaixiang Yang

机构 * School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院） ； School of Computing and Mathematical Sciences, University of Leicester（莱斯特大学计算与数学科学学院） ； Leicester Cancer Research Centre, University of Leicester（莱斯特大学莱斯特癌症研究中心） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Nuffield Department of Medicine, University of Oxford（牛津大学纳菲尔德医学院） ； Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程学系） ； ZoyMed（佐医医疗（ZoyMed）） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 本研究提出SmartStu框架，通过多教师集成蒸馏与对抗蒸馏等技术，定制出比通用PFMs小30倍以上且性能相当的乳腺癌专用病理学基础模型。

Comments 11 pages, 2 figures, 2 tables. Accepted to MICCAI 2026 (early accept)

MedARC: Training-Free Adaptive Redundancy Compression of Visual Tokens for 3D Medical Vision-Language Models

MedARC：面向3D医学视觉-语言模型的无训练视觉令牌自适应冗余压缩

Yitao Zhu, Mengjun Liu, Yingji Fu, Haowen Pang, Anqi Qiu

专题命中 效率与部署 ：language model(title,abstract)；foundation model(abstract)

AI总结 针对3D医学VLMs的视觉令牌冗余压缩问题，本文提出无训练框架MedARC，整合三类线索估计令牌重要性，通过显著性感知合并策略压缩令牌，在CT-RATE和MR-RATE上实现性能保持的同时降低开销。

Comments 9 pages

UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models

UltraViT：用于大型视觉语言模型的延迟优化设备端视觉编码器

Ioannis Maniadis Metaxas, Adrian Bulat, Alberto Baldrati, Anestis Zaganidis, Yassine Ouali, Hyeonuk Kim, Georgios Tzimiropoulos

机构 * Samsung AI Cambridge（三星人工智能剑桥实验室） ； Technical University of Iasi（雅西技术大学） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)

AI总结 针对大型视觉语言模型在设备端部署受限问题，提出UltraViT视觉编码器，通过考虑设备延迟设计金字塔架构，并采用两阶段生成式预训练策略，有效提升编码效率，优于现有基线。

Comments Accepted at ECCV 2026

Mask2Shield: Strengthening LLM Safety against Neuron-Pruning Attacks

Mask2Shield：增强大语言模型抵御神经元剪枝攻击的安全性

Ying JinCheng, Minghui Xu, Yinhao Xiao, Xiuzhen Cheng, Wencheng Yang

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型神经元剪枝攻击问题，提出Mask2Shield方法，通过掩码前向对齐训练模型，减少对可移除安全神经元集的依赖，降低针对性剪枝攻击成功率，同时保持能力基准。

Visual Information Extraction from Documents via Classification-Guided Large Vision-Language Models

通过分类引导的大型视觉语言模型从文档中提取视觉信息

Huafu Li, Guo Chen, Jia Xia, Lei Wang, Wei Du, Yun Yao, Weijun Peng, Liming Li

机构 * China Mobile Information Technology Co., Ltd.（中国移动信息技术有限公司） ； School of Information Science and Engineering, NingboTech University（宁波诺丁汉大学信息科学与工程学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；SFT(abstract)

AI总结 研究从视觉丰富文档提取视觉信息的挑战，提出分类引导大型视觉语言模型框架，通过解耦分类与提取、运用动态提示工程实现零样本推理，在真实数据集上性能超监督基线，为办公自动化文档理解提供高效方案。

Comments 14 pages, 3 figures

Journal ref Scientific Reports 16, 14158 (2026)

Socioeconomic Inference in LLM Medical Triage: Same Symptoms, Different ZIP Code

大语言模型在医疗分诊中的社会经济推断：相同症状，不同邮政编码

Qi Han Wong

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究大语言模型对相同症状但不同社会经济地位患者的医疗分诊建议，通过三个模型固定症状改变SES信号，发现对明确信号各模型均提高低SES患者急诊转诊率，对隐含信号的敏感性因模型而异，揭示信号明确性梯度并发布相关内容。

Comments 8 pages, 4 tables. Code, prompts, and raw results: https://github.com/wongqihan/triagebench

Ethereum NFT Smart Contracts: Knowledge-Guided Vulnerability Detection with LLM and Code Slicing

以太坊非同质化代币智能合约：基于大语言模型和代码切片的知识引导漏洞检测

Deyu Yang, Rundong Wei, Xiaoqi Li

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究以太坊NFT智能合约漏洞检测，结合漏洞聚焦代码切片、ERC-721知识库及受限DeepSeek分析，正则表达式定位候选语句，提取代码切片分析，结果显示聚焦代码上下文和领域约束影响检测器输出，提升阳性标签率。

SonicSampler: Unified Tile-Aware Kernels for LLM Sampling and Speculative Verification

SonicSampler：用于语言模型采样和推测性验证的统一瓦片感知内核

Pragaash Ponnusamy, Shivam Sahni, Jue Wang, Tri Dao

机构 * Together AI 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对语言模型推理采样中现有实现的局限，提出SonicSampler，它是统一的瓦片感知Triton内核套件，垂直融合采样流水线。核心方法是分层两阶段top-k算法，在异构推测性解码工作负载中比基线快达16倍，保持灵活批处理执行。

Comments 26 pages, 12 figures

The Economics of AI Decoding Chips: Rebalancing Compute, Capacity, and Bandwidth for Efficient LLM Inference

人工智能解码芯片的经济学：重新平衡计算、容量和带宽以实现高效的大语言模型推理

Michael J. Yuan, Ju Long

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究大语言模型解码中GPU计算与内存不匹配问题，提出用F/B和F/S常数衡量效率，主张重新平衡解码加速器，介绍Skymizer HTX-301优势，如成本低、无受限输入，能以较低成本实现高效推理。

Diagnosing and Repairing Persona Collapse in LLM Advice

诊断和修复大语言模型建议中的角色崩塌

Harsh Kumar, Karina Vold, Louis Tay, Ashton Anderson

专题命中 效率与部署 ：LLM(title)；post-training(abstract)；prompting(abstract)

AI总结 研究大语言模型建议中的角色崩塌问题，提出逆过程蒸馏方法，将情境到角色的策略提炼出来进行训练，减少与人类角色分布的差异，但在盲测中发现多数经验丰富的建议者更青睐崩塌的默认回复。

Comments Working draft

Multi-Teacher Contrastive Distillation for Edge-Efficient Pathology Foundation Models

用于边缘高效病理学基础模型的多教师对比蒸馏

Tim Lenz, Maurice Heide, Marco Gustav, Nic G. Reitsam, Jakob Nikolas Kather

机构 * EKFZ for Digital Health（数字健康EKFZ） ； TU Dresden（德累斯顿工业大学） ； University of Augsburg（奥格斯堡大学） ； Bavarian Cancer Research Center (BZKF)（巴伐利亚癌症研究中心） ； Department of Medicine I, TU Dresden（德累斯顿工业大学第一医学院） ； NCT Heidelberg（海德堡NCT） ； University of Leeds（利兹大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 研究针对计算病理学基础模型本地部署难题，提出MuCoDi预训练框架，通过多教师对比蒸馏，将多个PFMs的切片嵌入蒸馏到轻量级编码器，经实验验证该方法能大幅减小模型大小并保持性能，推动病理学表示向边缘部署发展。

BrownoutMoE: Structure-Aware Expert Grouping for Efficient and Accurate LLM Web-based Services

BrownoutMoE：用于高效准确的基于大语言模型的网络服务的结构感知专家分组

Yi Ding, Minxian Xu, Zhengxin Fang, Kejiang Ye, Chengzhong Xu

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究基于混合专家（MoE）的大语言模型在网络服务中推理的问题，通过结构感知优化框架BrownoutMoE，将专家分组并利用强化学习找策略，减少精度下降，提升吞吐量。

Comments 15 pages