语言大模型 / LLM

Refining LLM-based Directed Test Input Generation via Runtime Value Feedback

基于大语言模型的定向测试输入生成：通过运行时值反馈进行优化

Narin Han, Shin Hong

专题命中 效率与部署 ：LLM(title,summary_cn)

AI总结 该研究针对基于LLM的定向测试输入生成技术的不足，提出ReDig框架，通过运行时反馈的控制循环优化测试输入生成，在Poppler和Libsndfile案例中验证了其诊断失败原因与优化测试脚本的有效性。

Resolution Meets Reduction: Efficient Visual Context for 3D Radiology Report Generation

分辨率与压缩结合：面向3D放射报告生成的高效视觉上下文

Jonathan Suprijadi, Raphael Stock, Moritz Langenberg, David Zimmerer, Kim-Celine Kahl, Stefan Denner, Yannick Kirchhoff, Karol Gotkowski, Maximilian Rokuss, Jeremias Traub, Tassilo Wald, Constantin Ulrich, Klaus Maier-Hein

机构 * German Cancer Research Center (DKFZ)（德国癌症研究中心） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对3D放射报告生成中视觉序列的计算瓶颈，通过实验评估不同视觉编码器、投影器和LLM，提出解剖学引导的ROI裁剪等策略，在两个数据集上取得最先进的临床macro F1结果。

SkillSmith: Enhancing Locally Deployed Agents via Automatic Skill Construction and Evolution

SkillSmith：通过自动技能构建与演进增强本地部署智能体

Xinle Jiang, Remy Xie, Ming Tang

专题命中 效率与部署 ：SLM(summary_cn,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 SkillSmith是云端-本地智能体协作框架，通过自动构建和演进技能增强本地智能体，使搭载Qwen3.6-27B的本地智能体任务有效性接近云端智能体，在AppWorld上平均动作数从36.1降至9.9且可泛化至其他SLM。

Comments 10 pages,8 figures

Persistent Semantic Entities in Tool-Augmented LLM Systems

工具增强型大语言模型系统中的持久语义实体

Zhaohui Wang

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 该研究定义工具增强型LLM系统的持久语义实体（PSEs），证实其在24款不同规模模型中普遍存在，偏好/指令污染难自校正，上下文隔离自验证可降低污染，为智能体系统安全提供关键发现。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). Camera-ready version; 32 pages . The openreview url is https://openreview.net/forum?id=zPjmtawzT8&noteId=CXB95ws5so and ICML poster url is https://icml.cc/virtual/2026/poster/60521

HindsightBench: A Black-Box Behavioral Audit Protocol for Parametric Hindsight in Time-Indexed LLM Decision Tasks

HindsightBench：用于时间索引语言模型决策任务中参数后见之明的黑盒行为审计协议

Haozhe Jia

机构 * University College Dublin（都柏林大学学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对大语言模型在金融决策任务中泄露参数知识的问题，提出HindsightBench黑盒行为审计协议，通过特定矩阵、探测及指标分析参数后见之明，应用于多模型获三个主要模式，揭示模型特性及审计结果与服务的关系，还发布相关数据。

Comments 17 pages, 3 figures. Code, panel, and per-model audit rows: https://github.com/Khaozhe/hindsightbench (v1.0 release archived at doi:10.5281/zenodo.21453191)

OasisKV: Scaling In-Decode KV Cache Beyond HBM with Lookahead Sparse Prefetching

OasisKV：通过前瞻稀疏预取将解码中KV缓存扩展至HBM之外

Can Xiao, Sukmin Cho, Junbong We, Zhixiong Niu, Jianyi Cheng, Yiren Zhao, Youngjin Kwon, Yongqiang Xiong, Rui Ma, Junyi Liu

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对LLM推理中HBM容量受限问题，提出以内存为中心的OasisKV系统，通过前瞻稀疏预取技术解耦KV缓存存储与HBM，在精度损失极小的情况下显著提升推理吞吐量并降低内存占用。

KronQ: LLM Quantization via Kronecker-Factored Hessian

KronQ：通过克罗内克分解海森矩阵进行大语言模型量化

Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究提出KronQ框架，通过引入梯度协方差挑战现有二阶PTQ方法假设。利用克罗内克分解海森矩阵近似，在两个层面改进量化：双向非相干处理减少权重幅度方差，导出新敏感度度量用于层间混合精度分配，在特定量化任务中表现优于GPTQ等。

Comments COLM 2026

LLM-Driven AutoML for Cross-Lingual Handwritten OCR: Closed-Loop Neural Architecture Search with GPT-5, GPT-4o, and Claude Sonnet 4

用于跨语言手写OCR的基于大语言模型驱动的自动化机器学习：使用GPT-5、GPT-4o和Claude十四行诗4的闭环神经架构搜索

Mobina Kashaniyan, Amirhossein Ghassemi, Nasser Mozayani

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对跨语言手写OCR，提出用GPT-5等大语言模型驱动的自动化机器学习框架，能自主生成、训练等优化神经网络架构，经实验评估，该框架无需人工设计等就能发现高效准确模型，实现跨语言手写识别。

Comments 6 pages, 10 figures, and 2 tables. Published in the 2025 15th International Conference on Computer and Knowledge Engineering (ICCKE)

Journal ref 2025 15th International Conference on Computer and Knowledge Engineering (ICCKE), IEEE, 2025, Article No. 11273810

SimSD: Simple Speculative Decoding in Diffusion Language Models

SimSD：扩散语言模型中的简单推测解码

Junxia Cui, Haotian Ye, Runchu Tian, Hongcan Guo, Jinya Jiang, Haoru Li, Chaojie Ren, Yiming Huang, Kaijie Zhu, Zhongkai Yu, Kun Zhou, Jingbo Shang

机构 * University of California San Diego（加州大学圣地亚哥分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google（谷歌） ； University of California Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对扩散语言模型无法直接使用标准推测解码的问题，提出SimSD算法，通过即插即用的掩码策略引入参考令牌并设计注意力掩码，实现单次前向传播验证多个草稿令牌，在保持并行解码优势的同时提升解码吞吐量。

Comments 13 pages, 4 figures, code available at https://github.com/airevo2/SimSD-release

Task-to-Model Optimization for Enterprise LLM Coding Assistants: A Data-Driven Framework for Cost-Optimal Routing

面向企业大语言模型代码助手的任务到模型优化：一种成本最优路由的数据驱动框架

Srinivasan Manoharan, Junhua Zhao, Fangbo Tu, Haifeng Wu, Jian Wan, Maliah Rajan M, Ashwin Hegde, Mithun Sasidharan, Kalyan Chakravarthi Podamekala

机构 * PayPal（贝宝（PayPal）） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 本研究针对企业LLM代码助手的推理成本问题，提出T2MO数据驱动框架，通过任务分级与两级路由机制实现成本最优，可降低端到端成本并支持从静态策略到智能路由器的过渡。

Comments 11 pages, 1 figure, 2 tables

Language-Specialized Multi-Teacher On-Policy Distillation for Multilingual LLM-Based ASR

面向多语言大语言模型的ASR的语言专业化多教师在线策略蒸馏

Yuan Xie, Jiaqi Song, Xianliang Wang, Ming Lei, Jie Gao, Jie Wu

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL

AI总结 针对多语言ASR的跨语言优化冲突问题，提出LS-MOPD方法，通过语言专业化教师与多语言学生的在线策略蒸馏，在多语言基准测试中实现了优于RL基线及最优教师的性能。

Simple Token-Efficient Vision-Language Model for Case-level Pathology Synoptic Report Generation

用于病例级病理学概要报告生成的简单令牌高效视觉语言模型

Zhiyuan Yang, Jiahao Cheng, Vincent Quoc-Huy Trinh, Mahdi S. Hosseini

机构 * Department of Computer Science and Software Engineering (CSSE), Concordia University, Montreal, Canada（计算机科学与软件工程系（CSSE），康科迪亚大学，蒙特利尔，加拿大） ； Axe Cancer, Centre de recherche du CHUM, Université de Montréal, Montreal, Canada（Axe癌症，CHUM研究中心，蒙特利尔大学，蒙特利尔，加拿大） ； Institut de recherche en immunologie et cancérologie (IRIC), Université de Montréal（免疫学与癌症研究所（IRIC），蒙特利尔大学） ； Mila - Quebec AI Institute, Montreal, Canada（魁北克AI研究所（Mila），蒙特利尔，加拿大） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 提出一种简单令牌高效的视觉语言模型，通过5倍放大率的512×512补丁和两阶段监督训练，在有限GPU内存下实现病例级多WSI病理报告生成，显著降低序列长度并提升效率。

Comments DeLTA 2026 Conference Best Paper Award

SAGE: SLO-Aware Adaptive Retrieval for Production RAG Systems

SAGE：面向生产级RAG系统的感知SLO自适应检索方案

Muhammad Faizan Raza, Shuo, Yang, Satish Mahadevan Srinivasan

机构 * Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 SAGE是面向生产级RAG系统的感知SLO自适应检索策略，通过模仿学习训练，能动态选段落数，在多数据集与LLM上提升SLO合规率、降本减时延且质量损失小。

Comments 7 pages, 5 figures, 2 tables. Authors' accepted version of a paper published in Proc. IEEE CoDIT 2026. The version of record is available at the DOI below

Journal ref 2026 12th International Conference on Control, Decision and Information Technologies (CoDIT), Bari, Italy, 2026, pp. 169-175

Dynamic Coalition Formation and Communication Pricing in Skill-Based Agentic AI Systems

基于技能的智能体人工智能系统中的动态联盟形成与通信定价

Mojtaba Eslami

机构 * University of Calgary（卡尔加里大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对技能型智能体 AI 系统通信低效问题，提出基于夏普利值的边际值激活与贪心路由方法，在合成实验中其效用达蛮力最优的 99.5%，激活智能体数远少于全广播。

Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation

KV缓存量化下的对齐崩溃：诊断与缓解

Bruce Changlong Xu, Adarsh Kumarappan, Mu Zhou

机构 * Stanford University（斯坦福大学） ； California Institute of Technology（加利福尼亚理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现低比特KV缓存量化会无声破坏大模型的安全对齐，根源在于安全特征位于低维激活子空间，易受量化噪声影响；提出逐通道缩减（PCR）诊断方法，分类三种失效模式并指导缓解，无需训练即可恢复高达97%的对齐损失。

Comments Preprint. 61 pages, 9 figures

SkillClaw: Let Skills Evolve Collectively with Agentic Evolver

SkillClaw: 让技能与代理进化者共同进化

Ziyu Ma, Shidong Yang, Yuxiang Ji, Xucong Wang, Yong Wang, Yiming Hu, Tongwen Huang, Xiangxiang Chu

机构 * DreamX Team（DreamX团队） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SkillClaw通过聚合多用户交互数据，实现技能的集体进化，提升代理在现实场景中的性能。

TreeHop: Efficient Embedding-Level Query Rewriter

TreeHop：高效的嵌入层查询重写器

Zhonghao Li, Kunpeng Zhang, Jinghuai Ou, Shuliang Liu, Xuming Hu

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 TreeHop是一种无需LLM的嵌入层MHQA框架，通过精简循环降低计算开销，在四个开放域MHQA数据集上性能与先进RAG相当，参数仅为现有方案2.2%-29.4%，延迟降低92.8%-97.8%。

Comments 8 pages

WiFo-INR: A Wireless Foundation Model Based on Implicit Neural Representations

WiFo-INR：一种基于隐式神经表示的无线基础模型

Boxun Liu, Xuanyu Liu, Shijian Gao, Xiang Cheng, Liuqing Yang

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本研究提出基于隐式神经表示的无线基础模型WiFo-INR，通过两阶段自监督预训练实现高效紧凑的CSI表示，在性能提升的同时降低延迟，可高效迁移至多任务并实现零样本泛化。

Length-MAX Tokenizer for Language Models

用于语言模型的Length-MAX分词器

Dong Dong, Weijie Su

机构 * Dong Dong（董东） ； Weijie Su（苏伟杰） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Length-MAX分词器通过优化平均token长度，提高了语言模型的效率和下游任务性能。

Comments Accepted at Transactions on Machine Learning Research (TMLR). OpenReview: https://openreview.net/forum?id=CRjrpwGD9A

Coupled Graph--Policy Distillation for Personalized Medication Safety in Older Adults with Multimorbidity

面向多病老年患者个性化用药安全的耦合图-策略蒸馏方法

Zihan Wang, Anglin Liu, Rongyi Wang, Dantong Li, Yi Lu, Siqing Yuan, Hongxia Xu, Zhongtian Long, Jintai Chen

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出ATLAS框架与GeriMedBench基准，通过耦合图-策略蒸馏实现多病老年患者的个性化用药安全，在多基准测试中表现优于对比系统，获临床医生更高评分。

Tree-of-Experience: Hierarchical Experience Management for Self-Evolving Agents

经验树：面向自我进化智能体的分层经验管理

Zihao Deng, Yining Zhu, Leiming Wang, Jingfei Lu, Junbo Wang, Chuncheng Ran, Yu Yang, Dixuan Yang, Jikun Shen

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 该研究提出经验树（ToE）框架，将经验组织与LLM智能体分层推理对齐，在“24点游戏”和“金融进化基准”上大幅提升了解题性能与效率，解决了现有经验表示与推理过程脱节的问题。

Beyond the Node: Clade-level Selection for Efficient MCTS in Automatic Heuristic Design

超越节点：用于自动启发式设计中高效MCTS的族级选择

Kezhao Lai, Yutao Lai, Hai-Lin Liu

机构 * School of Mathematics and Statistics, Guangdong University of Technology, China（数学与统计学学院，广东工业大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Clade-AHD通过族级贝叶斯信念替代节点级估计，有效解决自动启发式设计中MCTS的过度探索问题，提升决策可靠性并降低计算成本。

Comments v2 substantially expands the experimental evaluation with large-scale zero-shot benchmarks, broader baselines, and additional ablation and sensitivity analyses. Code: https://github.com/Mriya0306/Clade-AHD

HFS: Holistic Query-Aware Frame Selection for Efficient Video Understanding

HFS: 为高效视频推理的全局查询感知帧选择

Yiqing Yang, Yun Li, Daiqing Qi, Lehan Yang, Tianlong Wang, Wenhao Zhang, Sheng Li, Kin-man Lam

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：SLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 HFS提出一种端到端可训练的帧选择框架，通过任务自适应方法提升视频推理效率。

Comments Accepted to the Main Track of ACM Multimedia 2026 (ACM MM '26)

Matryoshka Language Model Suites

套娃语言模型套件

Nathan Godey, Yoav Artzi

机构 * Cornell University（康奈尔大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出Matryoshka训练框架，将尺寸递增的子模型堆叠为端到端嵌套架构，训练含5亿、15亿、30亿参数子模型的套件，其性能与基线相当，训练计算量减少36%，推测解码吞吐量提升14-26%。

Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching

基于连续深度批处理的循环语言模型深度自适应推理

Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis

机构 * Technical University of Munich (TUM)（慕尼黑工业大学（TUM）） ； Imperial College London（帝国理工学院） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； University of Potsdam（波茨坦大学） ； Hasso Plattner Institute for Digital Engineering（哈索·普拉特纳数字工程研究所） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文针对循环语言模型深度自适应推理中标准批处理失效的问题，提出连续深度批处理（CDB）方案，在两个模型上实现了接近理论上限的加速比，显著提升了吞吐量并降低了延迟。

The Cost of Language: Centroid Erasure Exposes and Exploits Modal Competition in Multimodal Language Models

语言的成本：质心擦除揭示并利用多模态语言模型中的模态竞争

Akshay Paruchuri, Ishan Chatterjee, Henry Fuchs, Ehsan Adeli, Piotr Didyk

机构 * Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； USI Lugano（卢加诺大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究发现多模态语言模型在视觉任务中表现不佳，通过质心替换方法揭示语言表征优于视觉，通过文本质心对比解码提升准确率，不同训练方法影响结果。

Comments 37 pages, 8 figures, 28 tables

Explaining, Verifying, and Aligning Semantic Hierarchies in Vision-Language Model Embeddings

解释、验证和对齐视觉语言模型嵌入中的语义层次结构

Gesina Schwalbe, Mert Keser, Moritz Bayerkuhnlein, Edgar Heinert, Annika Mütze, Marvin Keller, Sparsh Tiwari, Georgii Mikriukov, Diedrich Wolter, Jae Hee Lee, Matthias Rottmann

机构 * University of Lübeck（吕贝克大学） ； Technical University of Munich（慕尼黑工业大学） ； AUMOVIO SE ； Osnabrück University（奥斯纳布吕克大学） ； Leibniz Institute for Agricultural Engineering and Bioeconomy（莱布尼茨农业工程与生物经济研究所） ； University of Hamburg（汉堡大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种框架，用于解释、验证和对齐视觉语言模型嵌入中的语义层次结构，通过聚类和概念库匹配提取层次结构，并利用人类本体评估其合理性，最终提出基于本体的对齐方法以提升共享嵌入空间的语义对齐。

Comments camera-ready version of accepted IJCAI-ECAI 2026 paper including supplementary material; code: https://github.com/gesina/ontological-commitment

SimP: Unifying Syntax- and Semantic-Guided Techniques for Efficient Program Reduction

SimP：统一语法与语义引导技术的高效程序缩减方法

Ye Xiong, Xiangyu Gao, Qiaochu Chen, Mingyu Li, Haibo Chen

专题命中 效率与部署 ：LLM(summary_cn,abstract)

AI总结 SimP框架结合传统与LLM式缩减技术，兼顾缩减效率与质量，且LLM成本可忽略，解决编译器漏洞调试中测试程序过大的问题。

VisionSelector: End-to-End Learnable Visual Token Compression for Efficient Multimodal LLMs

VisionSelector：用于高效多模态大语言模型的端到端可学习视觉令牌压缩

Jiaying Zhu, Yurui Zhu, Xin Lu, Wenrui Yan, Dong Li, Kunlin Liu, Xueyang Fu, Zheng-Jun Zha

专题命中 效率与部署 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 针对多模态大语言模型的视觉令牌压缩瓶颈，提出端到端可学习的VisionSelector框架，通过可微Top-K与课程退火策略实现高效自适应令牌选择，在压缩时保持优异性能并提升预填充速度。

Comments Accepted by ACM Multimedia 2026

Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models

Omni2LoRA：用于高效全模态语言模型的保持一致性的参数化存储器

Puneet Mathur, Manan Suri, Dinesh Manocha

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 Omni2LoRA是一种保持一致性的参数化存储器压缩框架，通过优化秩分配策略提升全模态语言模型效率，在视听问答任务中优于多种基线，大幅缩短推理时间。