语言大模型 / LLM

Statistical Foundations of LLM-based A/B Testing: A Surrogacy Framework for Human Causal Inference

基于LLM的A/B测试的统计基础：用于人类因果推断的替代指标框架

Joel Persson, Mårten Schultzberg, Sebastian Ankargren

机构 * Spotify USA, Inc.（Spotify美国公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出替代指标理论框架，证明在弱于分布等价条件下，校准LLM输出可识别平均处理效应，并分析随机性带来的偏差与方差。

Evaluating LLM Usage for Efficient and Explainable Numerical and Classified Implicit Sentiment Analysis of Product Desirability

评估LLM在高效可解释的产品期望数值与分类隐式情感分析中的应用

Sherri Weitl-Harms, John Hastings

机构 * Creighton University（克雷顿大学） ； The Beacom College of Computer & Cyber Sciences, Dakota State University（达科他州立大学比肯计算机与网络科学学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出基于LLM的可扩展框架，从定性反馈中量化产品期望，零样本数值评分和分类情感分析分别达到0.97皮尔逊相关和94%准确率，GPT-4o-mini以94%更低成本实现可比性能，并集成置信度与可解释性。

Comments 20 pages, 6 figures, 11 tables. arXiv admin note: text overlap with arXiv:2408.01527

VoltanaLLM: Energy-Efficient and SLO-Aware Disaggregated LLM Serving via Adaptive Frequency Control and State-Space Routing

VoltanaLLM: 通过自适应频率控制和状态空间路由实现节能且SLO感知的解耦LLM服务

Jiahuan Yu, Aryan Taneja, Junfeng Lin, Minjia Zhang

机构 * Siebel School of Computing（计算与数据科学学院） ； Department of Precision Instrument, Tsinghua University（清华大学精密仪器系） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出VoltanaLLM系统，利用控制理论，通过每实例迭代级频率选择和状态空间路由，在满足延迟SLO下降低LLM推理能耗，实验显示最高节能36.3%。

Comments Accepted by ISC High Performance 2026: https://ieeexplore.ieee.org/abstract/document/11520495/

Tuning without Peeking: Provable Generalization Bounds and Robust LLM Post-Training

无窥调优：可证明的泛化边界与鲁棒的大语言模型后训练

Ismail Labiad, Mathurin Videau, Matthieu Kowalski, Marc Schoenauer, Alessandro Leite, Julia Kempe, Olivier Teytaud

机构 * Meta FAIR ； LISN, Inria, CNRS（LISN，Inria，CNRS） ； NYU Courant Institute（NYU Courant学院） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出BBoxER黑盒进化方法用于LLM后训练，通过隐式压缩数据诱导信息瓶颈，提供非平凡泛化边界和对数据投毒、提取攻击的鲁棒性理论保证，实验证明其有效性和隐私保护。

Scaling Laws for Task-Specific LLM Distillation

任务特定LLM蒸馏的缩放定律

Lavinia Ghita, Dhruv Desai, Ioana Boier

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文推导了领域特定LLM压缩的经验缩放定律，通过定量金融领域的实验，比较了基于logit和LoRA的蒸馏方法，并引入混合思维链监督损失，揭示了监督格式对领域知识与通用知识权衡的关键作用。

Comments 24 pages, 13 figures

CompressKV: Semantic-Retrieval-Guided KV-Cache Compression for Resource-Efficient Long-Context LLM Inference

CompressKV: 面向资源高效长上下文LLM推理的语义检索引导KV缓存压缩

Xiaolin Lin, Jingcun Wang, Olga Kondrateva, Yiyu Shi, Bing Li, Grace Li Zhang

机构 * Technical University of Darmstadt（达姆施塔特工业大学） ； University of Notre Dame（圣母大学） ； Technical University of Ilmenau（伊尔梅瑙工业大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出CompressKV框架，通过识别语义检索头（SRH）选择关键token并分层分配缓存预算，在仅用3% KV缓存时保留97%以上性能。

Comments arXiv admin note: substantial text overlap with arXiv:2508.02401

Collaborative Lossless LLM Inference Serving with Offloading-based Pipeline Parallelism on Edge Devices

基于卸载的流水线并行实现边缘设备上的协作无损LLM推理服务

Mingyu Sun, Xiao Zhang, Shen Qu, Yan Li, Mengbai Xiao, Yanwei Zheng, Yuan Yuan, Dongxiao Yu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出LOIP系统，通过卸载感知的交叉流水线并行、细粒度分配调度和在线内存自适应策略，在异构边缘设备上实现LLM无损推理，相比基线加速8.8-20.3倍。

Comments 12 pages, 16 figures

Sentence-Level Contextual Entrainment in Large Language Models

大型语言模型中的句子级上下文嵌入

Yang Liu, Chenhui Chu

机构 * Kyoto University（京都大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 研究大型语言模型中句子级上下文嵌入现象，发现提示中的句子（包括反事实陈述）会显著增加其推理概率，且该现象随模型增大而减弱，通过关闭2%-4%的注意力头可缓解而不影响性能。

Comments 16 pages, 3 figures

Toward Autonomous O-RAN: A Multi-Scale Agentic AI Framework for Real-Time Network Control and Management

迈向自主O-RAN：一种用于实时网络控制与管理的多尺度智能体AI框架

Hojjat Navidan, Mohammad Cheraghinia, Jaron Fontaine, Mohamed Seif, Eli De Poorter, H. Vincent Poor, Ingrid Moerman, Adnan Shahid

机构 * IDLab, Department of Information Technology at Ghent University - imec（IDLab，格鲁特大学信息科技系 - imec） ； Department of Electrical and Computer Engineering, Princeton University（电气与计算机工程系，普林斯顿大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一种多尺度智能体AI框架，通过非实时、近实时和实时控制环的协调层次结构，实现O-RAN的自主网络控制与管理，并在非平稳条件下和意图驱动的切片资源控制场景中验证了其有效性。

Comments Accepted for publication in the IEEE Network magazine

Spectral Evolution-Guided Token Pruning in Multimodal Large Language Models

多模态大语言模型中基于谱演化引导的令牌剪枝

Bin Chen, Yuxiang Cai, Yadan Luo, Yi Zhang, Jianwei Yin, Zhi Chen

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； Zhejiang Key Laboratory of Digital-Intelligence Service Technology（浙江省数字化服务技术重点实验室） ； The University of Queensland（昆士兰大学） ； Singapore Management University（新加坡管理大学） ； The University of Southern Queensland（南昆士兰大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出跨层谱演化（CLSE）框架，通过频域分析令牌表示在Transformer层间的演化来评估重要性，实现无训练剪枝，在保持性能的同时减少计算开销。

Comments Accepted to ECCV 2026

Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction

利用先验校正的令牌缩减加速多模态大语言模型

Zengjie Chen, Yuxiang Cai, Jingcai Guo, Taotao Cai, Jianwei Yin, Zhi Chen

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； Zhejiang Key Laboratory of Digital-Intelligence Service Technology（浙江省数字化服务技术重点实验室） ； Hong Kong Polytechnic University（香港理工大学） ； The University of Southern Queensland（南昆士兰大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出PriorTR方法，通过分离任务条件注意力与模型先验注意力，在单次前向传播中估计先验并校正令牌重要性，实现无训练令牌缩减，提升多模态大语言模型效率与准确性。

Comments Accepted to ECCV 2026

CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression

CAVEWOMAN: 大型语言模型在语言输入和输出压缩下的行为

Morayo Danielle Adeyemi, Ryan A. Rossi, Franck Dernoncourt

机构 * Independent（独立研究者） ； Adobe Research（Adobe研究院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出双通道评估协议CAVEWOMAN，发现输出压缩降低API模型成本（1.4-2.4倍），输入压缩反而增加成本（~1.15倍）并导致准确率下降和文本偏离。

OTRO: Oblivious Tokenization Path with Square-Root ORAM

OTRO: 具有平方根ORAM的遗忘标记化路径

Jonghyun Lee, Yongqin Wang, Rachit Rajat, Daniel Wong, Mengyuan Li, Murali Annavaram

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对LLM机密计算中标记器访问模式泄露问题，提出OTRO，利用平方根ORAM实现高效遗忘查找，通过实例池、轮换填充和分块KV缓存感知标记化降低开销，在TDX环境中将TTFT开销限制在4.5%以内。

AsyncOPD: How Stale Can On-Policy Distillation Be?

AsyncOPD：同策略蒸馏可以有多陈旧？

Wonjun Kang, Kevin Galim, Seunghyuk Oh, Minjun Kang, Sanghyun Park, Donghoon Kim, Minjae Lee, Minseo Kim, Rishabh Tiwari, Yuchen Zeng, Hyung Il Koo, Kangwook Lee

机构 * FuriosaAI ； Ajou University（亚洲大学） ； UC Berkeley（加州大学伯克利分校） ； Microsoft Research（微软研究院） ； KRAFTON ； Ludo Robotics 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究异步同策略蒸馏中陈旧数据的影响，发现前向KL对陈旧更鲁棒，反向KL脆弱但可通过重算信号缓解，并提出AsyncOPD框架实现1.6-3.8倍加速。

Comments Code: https://github.com/furiosa-ai/async-opd

MONAQ: Multi-Objective Neural Architecture Querying for Time-Series Analysis on Resource-Constrained Devices

MONAQ：面向资源受限设备的时间序列分析多目标神经架构查询

Patara Trirat, Jae-Gil Lee

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MONAQ通过多目标神经架构查询框架，结合大语言模型能力，实现对时间序列数据的高效处理与部署，实验表明其模型性能优于传统方法。

Comments EMNLP 2025 (Findings), Project Page: https://kaist-dmlab.github.io/MONAQ

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

AVOC：通过检索启发的令牌压缩增强全模态大语言模型中的小时级音视频理解

Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Huawei Inc.（华为技术有限公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出AVOC框架，通过检索启发的令牌压缩模块，将多模态令牌压缩视为top-K检索问题，结合相关性、重要性和多样性三个标准，实现长时音视频理解，在小时级基准上取得最优性能。

MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference

MERGE: 自然语言推理的最小表达式替换泛化测试

Mădălina Zgreabăn, Tejaswini Deoskar, Lasha Abzianidze

机构 * Utrecht Institute of Linguistics OTS（乌得勒支语言研究所OTS） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 提出MERGE测试，通过最小表达式替换（MERE）生成高质量变体，评估NLI模型在非对抗性变体上的泛化能力，发现LLM和微调模型泛化较差。

Comments Pre-print

FirmCure:Towards Autonomous and Adaptive Rehosting of Linux-Based Firmware

FirmCure：面向基于Linux固件的自主自适应重托管

Chuan Hong, Zheng Zhang, Lei Zhou, Laisong Li, Chenyifan Liu, Ze Huang, Xu Zhou, Peihong Lin

专题命中 效率与部署 ：LLM(summary_cn,abstract)

AI总结 提出首个LLM驱动的全系统重托管框架FirmCure，通过自适应感知推理、反射合成和自主运行时干预，在10个厂商21个固件上实现100%端口开放率和90.5%服务交互性，显著优于现有方法。

The Professor: Multi-Teacher Unsupervised Prompt Distillation for Vision-Language Models

The Professor: 面向视觉语言模型的多教师无监督提示蒸馏

Ahmad Algadhi, Ahmed Alzuhair, Omar Alkhulaif, Muzammil Behzad

机构 * King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出多教师提示蒸馏方法TheProfessor，融合领域微调教师和零样本教师，在四个数据集上平均HM提升1.77点，尤其对域偏移数据集效果显著。

Cross-Lingual Exploration for Parametric Knowledge

跨语言探索参数化知识

Elisha Diskind, Itamar Trainin, Uri Shaham, Leshem Choshen, Idan Szpektor, Omri Abend

机构 * The Hebrew University of Jerusalem（海法大学） ； Google Research（谷歌研究） ； MIT, IBM-MIT Watson AI Lab（麻省理工学院与IBM-麻省理工 Watson人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文研究通过跨语言提示策略探索大型语言模型中的隐藏事实知识，发现跨语言探索能显著提升知识迁移和事实召回，比单语言扩展更高效，并改善跨语言一致性。

Comments 29 pages, 5 figures, preprint

ParallelBench: Understanding the Trade-offs of Parallel Decoding in Diffusion LLMs

ParallelBench: 理解扩散大语言模型中并行解码的权衡

Wonjun Kang, Kevin Galim, Seunghyuk Oh, Minjae Lee, Yuchen Zeng, Shuibai Zhang, Coleman Hooper, Yuezhou Hu, Hyung Il Koo, Nam Ik Cho, Kangwook Lee

机构 * FuriosaAI ； UW-Madison（威斯康星大学麦迪逊分校） ； Microsoft Research（微软研究院） ； UC Berkeley（加州大学伯克利分校） ； Seoul National University（首尔国立大学） ； KRAFTON ； Ludo Robotics Project（Ludo机器人项目） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；分类 cs.LG

AI总结 针对扩散LLM并行解码导致生成质量下降的问题，通过信息论分析和合成实验揭示其根本限制，并提出首个专门基准ParallelBench，系统评估发现并行解码在现实任务中质量损失严重，且现有策略无法根据任务难度调整并行度。

Comments Accepted at ICLR 2026. Project Page: https://parallelbench.github.io

GPT-4o reads the mind in the eyes

GPT-4o解读他人眼神

James W. A. Strachan, Oriana Pansardi, Eugenio Scaliti, Marco Celotto, Krati Saxena, Chunzhi Yi, Fabio Manzi, Alessandro Rufo, Guido Manzi, Michael S. A. Graziano, Stefano Panzeri, Cristina Becchio

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究探讨GPT-4o在解读面部情绪与心理状态的能力，发现其在直立面孔上表现优于人类，但在倒置面孔上表现欠佳，且对白人面孔的解读更准确。

Privacy-Preserving RAG via Multi-Agent Semantic Rewriting: Achieving Confidentiality Without Compromising Contextual Fidelity

基于多智能体语义重写的隐私保护检索增强生成：在不损害上下文保真度的情况下实现机密性

Yuanhe Zhao, Tianyu Zhang, Huafei Xing, Derek F. Wong, Jianbin Li, Tao Fang

机构 * School of Control and Computer Engineering, North China Electric Power University（华北电力大学控制与计算机工程学院） ； Department of Computer & Information Science & Engineering, University of Florida（佛罗里达大学计算机与信息科学与工程系） ； NLP2CT Lab, Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系NLP2CT实验室） ； Institute of International Language Services Studies, Macau Millennium College（澳门千禧学院国际语言服务研究所） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出多智能体框架，通过语义重写净化检索内容，在去除敏感标识的同时保留语义核心，显著降低隐私泄露并保持上下文保真度。

Comments This full manuscript contains 23 pages and has been formally accepted for publication in Information Processing & Management (Elsevier IPM). Tao Fang is the corresponding author

The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs

非洲语言税：量化前沿大语言模型中标记化非洲语言的成本、延迟和上下文惩罚

Olaoye Anthony Somide

机构 * DataLens Africa Research（DataLens 非洲研究） ； CipherSense AI Technologies Ltd（CipherSense 人工智能科技有限公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过平行语料库测量20种非洲语言在11种前沿分词器上的标记化惩罚，发现非洲语言平均标记数比英语高1.88倍（N'Ko语最高达8.92倍），导致推理成本增加8.9倍、有效上下文窗口仅剩11%，并发布开源测量工具和缓解指南。

Comments 40 pages, 5 figures, 25 tables

Teaching Diffusion to Speculate Left-to-Right

教导扩散模型从左到右推测

Lexington Whalen, Yuki Ito, Ryo Sakamoto

机构 * Lexington Whalen ； Yuki Ito ； Ryo Sakamoto 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对自回归解码的推理瓶颈，提出三种训练时干预方法（位置加权、首次错误焦点损失、链损失）来弥合块扩散草稿模型的双向生成与自回归目标模型从左到右验证之间的不对称性，显著提升接受草稿长度。

Comments 13 pages, technical report

Fix Initial Programs and Iteratively Refine Repair Instructions Toward Non-Elimination Multi-Turn Program Correction

修正初始代码并迭代细化文本方向以实现安全的多轮代码修正

Yuto Tanaka, Issei Sato

机构 * Department of Computer Science（计算机科学系） ； The University of Tokyo（东京大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出简化方法IRTD，通过修正初始代码并迭代细化文本方向，理论证明其安全性，并在代码生成基准测试中表现与最先进方法相当。

Ground Then Rank: Revisiting Knowledge-Based VQA with Training-Free Entity Identification

先定位再排序：基于知识的视觉问答中无训练实体识别的再探讨

Qian Ma, Qiong Wu, Zhengyi Zhou, Yao Ma

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； AT&T Chief Data Office（AT&T首席数据办公室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对知识型视觉问答中实体与证据双重定位瓶颈，提出解耦实体识别与段落排序的无训练IBA框架，利用MLLM候选名称选择与文本重排序器，在降低复杂度同时提升性能。

Comments Accepted by ACL 2026 Findings. Project page https://github.com/VAN-QIAN/ACL26-IBA/

HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-training

HilDA：利用扩散的分层蒸馏推进自监督LiDAR预训练

Maciej Wozniak, Jesper Ericsson, Hariprasath Govindarajan, Truls Nyberg, Thomas Gustafsson, Patric Jensfelt, Olov Andersson

机构 * KTH Royal Institute of Technology（瑞典皇家理工学院） ； Linköping University（林雪平大学） ； TRATON AB（TRATON公司） ； Qualcomm Auto Ltd Sweden Filial（高通汽车有限公司瑞典分公司） 纠错

专题命中 效率与部署 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出HilDA框架，通过分层蒸馏（多层蒸馏和全局上下文蒸馏）结合时间占用扩散目标，自监督预训练LiDAR骨干网络，在3D检测、场景流和语义占用预测任务上达到最先进水平。

Comments Accepted to ECCV 2026. Maciej and Jesper contributed equally

Block-wise Codeword Embedding for Reliable Multi-bit Text Watermarking

分块码字嵌入用于可靠的多比特文本水印

Joeun Kim, HoEun Kim, Dongsup Jin, Young-Sik Kim

机构 * Department of AI, DGIST, Daegu, Republic of Korea（韩国大邱科学技术院人工智能系） ； Department of EECS, DGIST, Daegu, Republic of Korea（韩国大邱科学技术院电子工程与计算机科学系） ； ICT convergence, University of Ulsan, Ulsan, Republic of Korea（韩国釜山大学信息通信融合学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出BREW框架，通过分块盲消息估计和窗口位移验证，解决多比特水印中高误报率问题，实现高真阳性率和低误报率。

Comments Accepted at ICML 2026

Political DEBATE: Efficient Zero-shot and Few-shot Classifiers for Political Text

政治辩论：用于政治文本的高效零样本和少样本分类器

Michael Burnham, Kayla Kahn, Ryan Yank Wang, Rachel X. Peng

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Political DEBATE语言模型，用于政治文档的零样本和少样本分类，模型在效率和开放性上优于现有模型，并发布包含20多万政治文档的PolNLI数据集。

Comments 26 pages, 5 figures

Journal ref Polit. Anal. 34 (2026) 329-343