语言大模型 / LLM

FLIPS: Instance-Fingerprinting for LLMs via Pseudo-random Sequences

FLIPS：通过伪随机序列为LLMs进行实例指纹识别

Gurvan Richardeau, Gohar Dashyan, Erwan Le Merrer, Gilles Tredan

机构 * Inria（法国国家信息与自动化研究所） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出FLIPS方法，利用生成的二进制随机序列中的偏差，在237个模型实例上实现96%（闭集）和90%（开集）的识别准确率，解决了现有指纹识别技术无法区分同一LLM不同配置的问题，为AI监管提供了实例级指纹识别新范式。

Comments 20 pages, 20 figures, 3 tables. 43rd International Conference on Machine Learning (ICML 2026)

Mask-GCG: Are All Tokens in Adversarial Suffixes Necessary for Jailbreak Attacks?

Mask-GCG：对抗性后缀中的所有标记对于越狱攻击都是必要的吗？

Junjie Mu, Zonghao Ying, Zhekui Fan, Zonglei Jing, Yaoyuan Zhang, Zhengmin Yu, Wenxin Zhang, Quanchen Zou, Xiangzheng Zhang

机构 * Politecnico di Milano（米兰理工学院） ； Beihang University（北京航空航天大学） ； East China Normal University（华东师范大学） ； Fudan University（复旦大学） ； University of the Chinese Academy of Sciences（中国科学院大学） ； AI Security Lab（360人工智能安全实验室） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Mask-GCG方法，通过可学习的标记掩码识别后缀中高影响力标记并剪枝低影响力标记，降低计算开销并保持攻击成功率，揭示LLM提示中的标记冗余。

Comments Accepted to ICASSP 2026

Journal ref 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 13887-13891, 2026

xKV: Cross-Layer KV-Cache Compression via Aligned Singular Vector Extraction

xKV：通过对齐奇异向量提取的跨层KV缓存压缩

Chi-Chih Chang, Wei-Cheng Lin, Chien-Yu Lin, Hung-Yueh Chiang, Yash Akhauri, Xilai Dai, Huiqiang Jiang, Yucheng Li, Luis Ceze, Kai-Chiang Wu, Mohamed S. Abdelfattah

机构 * Cornell University（康奈尔大学） ； University of Washington（华盛顿大学） ； Department of Computer Science, National Yang Ming Chiao Tung University（国立阳明交通大学计算机科学系） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Surrey（塞夫顿大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出xKV，一种通过跨层共享低秩子空间压缩KV缓存的后训练方法，实现高达8倍压缩且保持长上下文任务精度，并引入选择性重建实现端到端加速。

Comments ICML 2026

Demystifying the Mythos or Disrupting Bugonomics? From Zero-Day Asymmetry to Defender Remediation Throughput

揭秘神话或颠覆漏洞经济学？从零日不对称到防御者修复吞吐量

Alfredo Pesoli, Herman Errico, Lorenzo Cavallaro

机构 * University College London（伦敦大学学院） ； Bynario 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过漏洞经济学视角分析LLM驱动的漏洞发现，指出其核心影响并非增加零日漏洞，而是提升防御者修复吞吐量，并利用Anthropic Mythos预览和Mozilla Firefox合作数据论证这一转变。

Harnesses for Inference-Time Alignment over Execution Trajectories

在执行轨迹上进行推理时间对齐的工具

Boyuan Wang, Bochao Li, Minghan Wang, Yuxin Tao, Fang Kong

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了在执行轨迹上进行推理时间对齐的工具设计，通过任务分解和引导执行机制来提高长期性能，发现工具设计中分解和引导的复杂性并不总是带来更好的结果，提出了任务分解和引导执行的两种机制，并通过合成实验和实际终端代理基准验证了这些发现。

InnerQ: Hardware-Aware Tuning-Free Quantization of KV Cache for Large Language Models

InnerQ: 一种面向硬件的无需调优的KV缓存量化方法用于大语言模型

Sayed Mohammadreza Tayaranian Hosseini, Amir Ardakani, Warren J. Gross

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.LG

AI总结 本文提出InnerQ，一种面向硬件的KV缓存量化方法，旨在减少解码延迟而不影响评估性能，通过分组量化策略提高数据重用率，从而在Llama和Mistral模型上提升了少样本评估得分。

Comments 18 pages, 5 figures, 7 tables

MO-CAPO: Multi-Objective Cost-Aware Prompt Optimization

MO-CAPO：多目标成本感知提示优化

Jan Büssing, Moritz Schlager, Timo Heiß, Tom Zehle, Matthias Feurer

机构 * Technical University of Munich (TUM), Munich Center for Machine Learning (MCML)（慕尼黑工业大学（TUM）、慕尼黑机器学习中心（MCML）） ； LMU Munich, Munich Center for Machine Learning (MCML)（慕尼黑大学（LMU）、慕尼黑机器学习中心（MCML）） ； University of Freiburg, ELLIS Institute Tübingen（弗赖堡大学、图宾根ELLIS研究所） ； TU Dortmund University, Lamarr Institute for Machine Learning（多特蒙德工业大学、拉马尔机器学习与人工智能研究所） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MO-CAPO，一种多目标提示优化算法，同时优化性能和推理成本，并通过预算分配实现高效优化，通过评估四个任务和三个LLM，证明其在噪声R2指标上优于NSGA-II基线，并在较低预算下达到竞争性性能。

PruneTIR: Inference-Time Tool Call Pruning for Effective yet Efficient Tool-Integrated Reasoning

PruneTIR: 在推理时工具调用剪枝以实现有效且高效的工具集成推理

Luan Zhang, Dandan Song, Zhijing Wu, Zhengyu Chen, Chen Zhang, Yuhang Tian, Huipeng Ma, Chenhao Li, Changzhi Zhou, Xudong Li, Shuhao Zhang

机构 * School of Computer Science and Technology, Beijing Institute of Technology, China（北京理工大学计算机科学与技术学院） ； School of Computer Science and Technology, Huazhong University of Science and Technology, China（华中科技大学计算机科学与技术学院） ； Independent, China（独立） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PruneTIR框架，通过剪枝轨迹、重采样工具调用和暂停工具使用，提升已有工具能力LLM的推理能力，减少工作上下文长度并提高效率。

Junk DNA Hypothesis: Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs "Difficult" Downstream Tasks in LLMs

垃圾DNA假说：修剪小的预训练权重不可逆且单调地损害LLM中的“困难”下游任务

Lu Yin, Ajay Jaiswal, Shiwei Liu, Souvik Kundu, Zhangyang Wang

机构 * University of Surrey ； Eindhoven University of Technology ； University of Texas at Austin ； Intel Labs ； University of Oxford 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出垃圾DNA假说，指出LLM预训练权重中存在关键知识，修剪小权重会单调损害困难下游任务性能，且即使允许持续训练也无法弥补损失。

Comments Published at ICML 2024

RosettaSearch: Multi-Objective Inference-Time Search for Protein Sequence Design

RosettaSearch：蛋白质序列设计的多目标推理时间搜索

Meghana Kshirsagar, Allen Nie, Ching-An Cheng, Fanglei Xue, Rahul Dodhia, Juan Lavista Ferres, Kevin K. Yang, Frank DiMaio

机构 * AI for Good, Microsoft Redmond（微软红mond AI for Good） ； Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） ； Institute for Protein Design University of Washington（蛋白质设计研究所华盛顿大学） ； Microsoft Research New England（微软新英格兰研究） ； Department of Biochemistry Institute for Protein Design University of Washington（生物化学系蛋白质设计研究所华盛顿大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 RosettaSearch通过大语言模型作为生成优化器，在受控探索与利用中改进蛋白质序列设计，实现结构保真度提升2.5倍，适用于多种LLM家族和独立结构预测 oracle。

Grounding Generative Planners in Verifiable Logic: A Hybrid Architecture for Trustworthy Embodied AI

基于可验证逻辑的生成规划器：一种可信具身AI的混合架构

Feiyu Wu, Xu Zheng, Yue Qu, Zhuocheng Wang, Zicheng Feng, Hui Li

机构 * School of Cyber Engineering, Xidian University（电子科技大学信息工程学院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出VIRF框架，通过逻辑导师与LLM的对话机制实现主动协作，提升具身AI的安全性与可靠性，实验显示其在家庭安全任务中表现优异。

Comments Accepted to ICLR 2026. Project page. https://openreview.net/forum?id=wb05ver1k8&noteId=v1Ax8CwI71

Journal ref Proceedings of the International Conference on Learning Representations (ICLR), 2026

MambaCSP: Hybrid-Attention State Space Models for Hardware-Efficient Channel State Prediction

MambaCSP: 用于硬件高效通道状态预测的混合注意力状态空间模型

Aladin Djuhera, Haris Gacanin, Holger Boche

机构 * Technical University Munich, Germany（慕尼黑技术大学，德国） ； RWTH Aachen University, Germany（亚琛工业大学，德国） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MambaCSP，一种混合注意力状态空间模型，通过线性时间Mamba模型替代LLM，提升CSI预测精度与效率，降低资源消耗。

Supplement Generation Training for Enhancing Agentic Task Performance

增强代理任务性能的补充生成训练

Young Min Cho, Daniele Bonadiman, Divya Bhargavi, Tamer Alkhouli, Salvatore Romeo, Dongwei Jiang, Khushbu Pahwa, Yubin Ge, Etsuko Ishii, Monica Sunkara, Yi Zhang

机构 * University of Pennsylvania（宾夕法尼亚大学） ； AWS Agentic AI Labs（AWS智能代理AI实验室） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；foundation model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出补充生成训练(SGT)，通过小型LLM生成补充文本帮助大模型更高效完成任务，降低计算成本并提升部署灵活性。

Comments Accepted to the Findings of ACL 2026

EVIL: Evolving Interpretable Algorithms for Zero-Shot Inference on Event Sequences and Time Series with LLMs

EVIL：利用LLM引导的进化算法进行事件序列和时间序列的零样本推断

David Berghaus

机构 * Lamarr Institute（拉马尔研究所） ； Fraunhofer IAIS（弗劳恩霍夫人工智能研究所） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；分类 cs.AI、cs.LG

AI总结 EVIL通过LLM引导的进化搜索发现简单可解释的算法，用于动态系统推断，无需训练神经网络，能在多个任务中实现跨数据集泛化。

Acceptance Dynamics Across Cognitive Domains in Speculative Decoding

跨认知领域接受动态的推测解码

Saif Mahmoud

机构 * College of Engineering, Al Ain University Abu Dhabi, United Arab Emirates（阿联酋阿因大学工程学院） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了基于树的推测解码接受动态，分析了不同NLP任务领域对接受概率的影响，发现任务类型比树深度更能预测接受率，且聊天领域表现出较高的熵和接受率。

SPICE: Submodular Penalized Information-Conflict Selection for Efficient Large Language Model Training

SPICE：基于子模惩罚的信息冲突选择用于高效大语言模型训练

Powei Chang, Jinpeng Zhang, Bowen Chen, Chenyu Wang, Chenlu Guo, Yixing Zhang, Yukang Gao, JianXiang Xiang, Yue Gao, Chaoqun Sun, Yiyi Chen, Dongying Kong

机构 * Bilibili Inc.（哔哩哔哩公司） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；instruction tuning(abstract)；分类 cs.AI、cs.LG

AI总结 SPICE通过惩罚信息冲突提升大语言模型训练效率，利用子模惩罚优化信息选择，在减少数据量的同时实现性能提升。

Comments Accepted to ICLR 2026 main conference ; Code available at <https://github.com/Chang-pw/SPICE>

Efficient Causal Graph Discovery Using Large Language Models

利用大语言模型高效发现因果图

Thomas Jiralerspong, Xiaoyin Chen, Yash More, Vedant Shah, Yoshua Bengio

机构 * Mila, Université de Montréal（蒙特利尔大学Mila研究所） ； Mila, McGill University（麦吉尔大学Mila研究所） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种利用大语言模型进行完整因果图发现的新框架，通过广度优先搜索方法提高效率，并展示其在不同规模真实因果图上的最佳性能。

Off-Policy Value-Based Reinforcement Learning for Large Language Models

为大语言模型设计的非策略价值基于强化学习

Peng-Yuan Wang, Ziniu Li, Tian Xu, Bohan Yang, Tian-Shuo Liu, ChenYang Wang, Xiong-Hui Chen, Yi-Chen Li, Tianyun Yang, Congliang Chen, Yang Yu

机构 * National Key Laboratory for Novel Software Technology & School of Artificial Intelligence, Nanjing University（新型软件技术国家重点实验室 & 智能科学与技术学院，南京大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（大数据研究院（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出ReVal方法，通过结合步级信号和轨迹级信号提升大语言模型的训练效率，实验表明其在数学推理任务中优于GRPO。

DAQ: Delta-Aware Quantization for Post-Training LLM Weight Compression

DAQ：面向训练后LLM权重压缩的Delta感知量化

Xiaoming Yu, Shize Tang, Guanghua Yu, Linchuan Xie, Song Liu, Jianchen Zhu, Feng Li

机构 * Tencent（腾讯） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；LLM(title)；分类 cs.AI、cs.LG

AI总结 DAQ通过Delta感知量化方法在无需数据的情况下实现训练后LLM权重压缩，优化方向保真度以恢复特定风格能力。

SozKZ: Training Efficient Small Language Models for Kazakh from Scratch

SozKZ: 从头开始训练高效的哈萨克语小型语言模型

Saken Tukenov

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；分类 cs.CL、cs.AI

AI总结 本文提出SozKZ，通过从头训练哈萨克语模型，在90亿个token上使用专用的50K BPE分词器，实现了在文化问答、阅读理解及主题分类任务上的高性能表现，证明了小型专用模型在低资源语言技术中的可行性。

Comments 12 pages, 3 figures, 2 tables

Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance

Evo：具有进化平衡的自回归-扩散大语言模型

Junde Wu, Minhao Hu, Jiayuan Zhu, Yuyuan Liu, Tianyi Zhang, Kang Li, Jingkun Chen, Jiazhen Pan, Min Xu, Yueming Jin

机构 * University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； Technical University of Munich（慕尼黑技术大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 Evo通过进化平衡机制，结合自回归和扩散模型，实现高效且高质量的语言生成。

Quantum-Inspired Self-Attention in a Large Language Model

量子启发的大型语言模型中的自注意力机制

Nikita Kuznetsov, Niyaz Ismagilov, Ernesto Campos

机构 * Higher School of Economics, National Research University, St. Petersburg, Russian Federation（俄罗斯联邦圣彼得堡高等经济学院国家研究大学） ； JV Quantum LLC, State Atomic Energy Corporation Rosatom, Moscow, Russian Federation（JV量子有限公司，俄罗斯原子能机构罗斯托克莫斯） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI

AI总结 本文提出了一种量子启发的自注意力机制，并将其应用于GPT-1模型，实现了在多个评估指标上的显著提升，同时推理时间仅增加2.6倍。

Comments 8 pages, 7 figures

Dynamic Rank Reinforcement Learning for Adaptive Low-Rank Multi-Head Self Attention in Large Language Models

动态秩强化学习用于自适应低秩多头自注意力机制在大语言模型中

Caner Erden

机构 * Faculty of Technology, Department of Computer Engineering, Sakarya University of Applied Sciences（技术学院，计算机工程系，萨克萨大学应用科学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.LG

AI总结 本文提出动态秩强化学习方法，通过强化学习优化注意力机制，实现低秩多头自注意力在大语言模型中的自适应调整，显著降低计算成本并保持模型性能。

Journal ref International Journal of Complexity in Applied Science and Technology, 2026

IMU-1: Sample-Efficient Pre-training of Small Language Models

IMU-1: 小语言模型的样本高效预训练

George Grigorev

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；分类 cs.AI、cs.LG

AI总结 IMU-1通过高效预训练方法，在少量数据上实现接近大规模数据训练的性能，展示了小语言模型的高效训练潜力。

Comments 16 pages

Vocabulary Expansion of Large Language Models via Kullback-Leibler-Based Self-Distillation

通过Kullback-Leibler基于的自蒸馏实现大语言模型词汇扩展

Max Rehman Linder

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI

AI总结 本研究通过基于KL散度的知识蒸馏方法，实现大语言模型在不改变原有词汇的情况下扩展新领域术语，提升代码生成任务性能。

Comments Master's Thesis

BackSlash: Rate Constrained Optimized Training of Large Language Models

Jun Wu, Jiangtao Wen, Yuxing Han

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Computer Science, New York University（纽约大学计算机科学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；分类 cs.AI、cs.LG

Journal ref Proceedings of the 42nd International Conference on Machine Learning, PMLR 267:67852-67863, 2025

CG-TTRL: Context-Guided Test-Time Reinforcement Learning for On-Device Large Language Models

Peyman Hosseini, Ondrej Bohdal, Taha Ceritli, Ignacio Castro, Matthew Purver, Mete Ozay, Umberto Michieli

机构 * Samsung R&D Institute UK（三星研发院英国分院） ； Queen Mary University of London（伦敦大学女王学院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；foundation model(abstract)；分类 cs.CL、cs.LG

Comments 12 pages, 7 Figures, 4 Tables

PermLLM: Learnable Channel Permutation for N:M Sparse Large Language Models

Lancheng Zou, Shuo Yin, Zehua Pei, Tsung-Yi Ho, Farzan Farnia, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；post-training(abstract)；分类 cs.AI、cs.LG

Comments Accepted by NeurIPS 2025

Using Large Language Models to Suggest Informative Prior Distributions in Bayesian Statistics

Michael A. Riegler, Kristoffer Herland Hellton, Vajira Thambawita, Hugo L. Hammer

机构 * Simula Research Laboratory（Simula研究实验室） ； OsloMet（奥斯陆大学） ； SimulaMet ； OsloMet and SimulaMet（奥斯陆大学和SimulaMet） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI

Efficient but Vulnerable: Benchmarking and Defending LLM Batch Prompting Attack

Murong Yue, Ziyu Yao

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 效率与部署 ：prompting(title,abstract)；LLM(title)；分类 cs.AI、cs.LG

Comments Accepted to ACL Findings, 2025