语言大模型 / LLM

Enhancing LLM-Based Neural Network Generation: Few-Shot Prompting and Efficient Validation for Automated Architecture Design

增强基于LLM的神经网络生成：面向自动化架构设计的少样本提示与高效验证

Raghuvir Duvvuri, Chandini Vysyaraju, Avi Goyal, Dmitry Ignatov, Radu Timofte

机构 * Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany（计算机视觉实验室，CAIDAS与IFI，乌尔姆大学，德国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出少样本架构提示（FSAP）和空白归一化哈希验证方法，以提升基于LLM的计算机视觉架构自动生成效率，并通过大规模实验验证其有效性。

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 3242-3251, 2026

SHERLOCK: Towards Dynamic Knowledge Adaptation in LLM-enhanced E-commerce Risk Management

SHERLOCK：面向LLM增强电商风险管理的动态知识适应

Nan Lu, Yurong Hu, Jiaquan Fang, Yan Liu, Rui Dong, Yiming Wang, Rui Lin, Shaoyi Xu

机构 * Beijing Jiaotong University（北京交通大学） ； JD.com（京东公司） ； Southeast University（东南大学） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出Sherlock框架，通过构建领域知识库、两阶段检索增强生成和自演化数据飞轮，将结构化知识与LLM推理结合，提升电商风险案例调查的效率和准确性。

Rethinking the Role of Temperature in Large Language Model Distillation

重新思考温度在大语言模型蒸馏中的作用

Hoang-Chau Luong, Lingwei Chen

机构 * Golisano College of Computing and Information Sciences（戈利萨诺计算与信息科学学院） ； Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过分析温度τ对前向KL散度和反向KL散度在LLM蒸馏中的不对称影响，发现高温下FKL优于RKL，并证明温度能提升多种蒸馏目标，使简单KL方法达到先进水平。

From Talking Words to Sharing Thoughts: Scalable Multi-LLM Aggregation via Structured Message Passing

从言语到思想：通过结构化消息传递实现可扩展的多LLM聚合

Niloufar Mehrabi, Sayed Pedram Haeri Boroujeni, Abolfazl Razi

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出基于二分因子图的消息传递框架，通过语义层集成多个LLM的输出分布，实现高效、可扩展的多模型聚合，在降低97%令牌使用和6倍API调用的同时，性能优于现有方法。

Large Language Models in Transportation Systems Management and Operations: From Text Reasoning to Multi-modal Decision Support

交通系统管理与运营中的大语言模型：从文本推理到多模态决策支持

Siyan Li, Zehao Wang, Jiachen Li, Kanok Boriboonsomsin, Matthew J. Barth, Guoyuan Wu

机构 * Bourns College of Engineering, Center for Environmental Research and Technology, University of California at Riverside, CA, USA（伯恩斯工程学院，环境研究与技术中心，加州大学河滨分校，美国，加利福尼亚州河滨） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文综述了大语言模型（LLM）和多模态大语言模型（MM-LLM）在交通系统管理与运营（TSMO）中的应用，涵盖运营与服务、移动性与车队服务、数据建模与决策支持三大领域，并指出了数据异构性、实时推理、可解释性等挑战及未来方向。

Comments Preprint version

From Layers to Submodules: Rethinking Granularity in Replacement-Based LLM Compression

从层到子模块：重新思考基于替换的LLM压缩中的粒度

Elia Cunegatti, Marcus Vukojevic, Erik Nielsen, Giovanni Iacca

机构 * University of Trento（特伦托大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出子模块级别的非连续替换压缩方法SubFit，通过为注意力和前馈子模块分别设计轻量残差旁路，在多种LLM上实现更好的困惑度-准确率权衡。

VERA: Variational Inference Framework for Jailbreaking Large Language Models

VERA：用于越狱大型语言模型的变分推理框架

Anamika Lochab, Lu Yan, Patrick Pynadath, Xiangyu Zhang, Ruqi Zhang

机构 * Department of Computer Science, Purdue University（计算机科学系，普渡大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；prompting(abstract)

AI总结 提出VERA框架，将黑盒越狱提示生成视为变分推理问题，训练小型攻击者LLM近似目标LLM的对抗提示后验，无需重新优化即可生成多样且流畅的越狱提示。

Comments Accepted by NeurIPS 2025

SPARQLe: Sub-Precision Activation Representation for Quantized LLM Inference

SPARQLe: 用于量化LLM推理的子精度激活表示

Aradhana Mohan Parvathy, Soumendu Kumar Ghosh, Shamik Kundu, Arnab Raha, Souvik Kundu, Deepak A. Mathaikutty, Anand Raghunathan

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM推理中激活值高精度需求导致的硬件开销，提出SPARQLe软硬件协同设计框架，利用激活值低位稀疏性，将高精度张量分解为密集低位和稀疏高位部分，在保持精度的同时降低内存访问和计算能耗。

Memory-Efficient LLM Training with Dynamic Sparsity: From Stability to Practical Scaling

基于动态稀疏性的内存高效LLM训练：从稳定性到实际扩展

Qiao Xiao, Boqian Wu, Patrik Okanovic, Tomasz Sternal, Maurice van Keulen, Elena Mocanu, Mykola Pechenizkiy, Decebal Constantin Mocanu, Torsten Hoefler

机构 * University of Waterloo（滑铁卢大学） ； University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Michigan（密歇根大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SMET方法，通过优化器预热和密度感知学习率缩放解决动态稀疏训练中的优化不稳定问题，实现LLM的稳定、可扩展且内存高效的稀疏预训练。

Comments Accepted at ICML2026

Lost in Delusion: Examining LLM Safety Under User Delusions and Distress

迷失在妄想中：审视用户妄想与痛苦下的LLM安全性

Andrew Aquilina, Chetna Nihalani, Vasudha Varadarajan, Nathan S. Fishbein, Yu-Ru Lin, Maarten Sap

机构 * University of Pittsburgh（匹兹堡大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Fordham University（福特汉姆大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL

AI总结 本研究通过多轮对话模拟，发现LLM在检测用户痛苦时表现良好，但在痛苦嵌入妄想时干预行为显著减少（高达4.5倍），并提出针对性提示策略以缩小这一差距。

WINDQuant: Weight-Informed Neural Decision-Making for Global Mixed-Precision LLM Quantization

WINDQuant: 权重感知的全局混合精度大语言模型量化神经决策

Phong Nam Huu Nguyen, Khoi M. Le, Cong-Duy T Nguyen, Anh Tuan Luu, Thong Thanh Nguyen, Tho Quan

机构 * CAIR, VinUniversity, Vietnam（越南 VinUniversity 的 CAIR） ； Ho Chi Minh City University of Technology (HCMUT), VNU-HCM, Ho Chi Minh City, Vietnam（越南胡志明市技术大学 (HCMUT)） ； CCDS, Nanyang Technological University, Singapore（新加坡南洋理工大学的 CCDS） ； School of Computing, National University of Singapore, Singapore（新加坡国立大学计算机学院） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出基于强化学习的WINDQuant控制器，在全局存储预算下为列块分配位宽和量化策略，实现超低位LLM量化的细粒度混合精度，性能优于传统方法。

MiCU: End-to-End Smart Home Command Understanding with Large Language Model

MiCU: 基于大语言模型的端到端智能家居指令理解

Haowei Han, Kexin Hu, Weiwei Cai, Debiao Zhang, Bin Qin, Yuxiang Wang, Jiawei Jiang, Xiao Yan, Bo Du

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Xiaomi Corporation（小米公司） ； Institute for Math & AI, Wuhan University（武汉大学数学与人工智能研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MiCU，一种利用课程学习、强化学习和令牌压缩技术的领域特定大语言模型，用于解决智能家居中模糊指令理解问题，平均准确率提升20.01%。

Failure of contextual invariance in large language models

大型语言模型中语境不变性的失效

Sagar Kumar, Ariel Flint, Luca Maria Aiello, Andrea Baronchelli

机构 * Network Science Institute, Northeastern University（网络科学研究所，东北大学） ； Center for Health Informatics Program, Boston Children’s Hospital（健康信息学计划中心，波士顿儿童医院） ； Dept. of Mathematics, City St George’s, University of London（伦敦大学城市圣乔治学院数学系） ； IT University of Copenhagen（哥本哈根IT大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过代词选择任务发现，在语境等价但无信息量的干扰下，大语言模型输出发生系统性偏移，表明其违反语境不变性，影响偏见评估与高风险应用。

Distillation of Large Language Models via Concrete Score Matching

通过具体分数匹配进行大型语言模型的蒸馏

Yeongmin Kim, Donghyeok Shin, Mina Kang, Byeonghu Na, Il-Chul Moon

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出具体分数蒸馏（CSD）目标，通过离散分数匹配克服softmax平滑和logit平移不变性限制，实现学生与教师模型间所有词汇对相对logit差异的灵活加权，在GPT-2、OpenLLaMA和GEMMA上优于现有蒸馏方法。

Comments ICLR 2026

Not All Errors Are Equal: A Systematic Study of Error Propagation in Large Language Model Inference

并非所有错误都平等：大型语言模型推理中错误传播的系统研究

Yafan Huang, Sheng Di, Guanpeng Li

机构 * University of Iowa（爱荷华大学） ； Argonne National Laboratory（阿贡国家实验室） ； University of Florida（佛罗里达大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究通过提出的LLMFI故障注入框架，系统研究了软错误在大型语言模型推理中的传播机制，揭示了关键脆弱性模式，并提出了四种低开销的软件级可靠性改进方向。

Comments Accepted at ICS'26

SIRI: Self-Internalizing Reinforcement Learning with Intrinsic Skills for LLM Agent Training

SIRI：具有内在技能的自我内化强化学习用于LLM智能体训练

Zhongyu He, Yuanfan Li, Fei Huang, Tianyu Chen, Siyuan Chen, Xingyang Li, Meng Hsuan Yu, Xiangrong Liu, Leyi Wei, Lu Pan, Ke Zeng, Xunliang Cai

机构 * Xiamen University（厦门大学） ； Meituan（美团） ； Macao Polytechnic University（澳门 polytechnic 大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出SIRI框架，通过自我技能挖掘、验证和内化，使LLM智能体无需外部技能生成器或推理时技能库即可提升长程任务性能，在ALFWorld和WebShop上优于基线方法。

Optimal Bayesian Stopping for Efficient Inference of Consistent LLM Answers

用于高效推断一致LLM答案的最优贝叶斯停止

Jingkai Huang, Will Ma, Zhengyuan Zhou

机构 * Stern School of Business, New York University, New York, USA（纽约大学 Stern 商学院） ； Graduate School of Business, Columbia University, New York, USA（哥伦比亚大学 商学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 利用贝叶斯先验信息，通过L-聚合停止策略在达到足够一致性时提前停止采样，以最小化采样成本并高效识别最一致的LLM答案。

Comments Accepted to ICML 2026. Camera-ready version

Journal ref Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)

A Communication-Centric 6G-LLM Architecture for Scalable Tactical Autonomous Defense Vehicle Networks

面向可扩展战术自主防御车辆网络的以通信为中心的6G-LLM架构

Kiran Khurshid, Shumaila Javaid, Nasir Saeed

机构 * Department of Computer and Software Engineering, National University of Sciences and Technology (NUST), Islamabad, Pakistan（计算机与软件工程系，国家科学与技术大学（NUST），伊斯兰堡，巴基斯坦） ； Department of Control Science and Engineering, College of Electronics and Information Engineering, Tongji University and National Key Laboratory of Autonomous Intelligent Unmanned Systems, Tongji University, China（控制科学与工程系，电子与信息工程学院，同济大学，以及自主智能无人机系统国家重点实验室，同济大学，中国） ； Department of Electrical and Communication Engineering, UAE University, Al-Ain 15551, UAE（电子与通信工程系，阿联酋大学，阿恩15551，阿联酋） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种以通信为中心的分层架构，通过集成边缘辅助大语言模型推理与6G语义通信，在战术自主防御车辆网络中实现协调效率提升、通信开销降低和延迟韧性增强。

Comments 10 pages, accepted in IEEE Network Magazine

Journal ref K. Khurshid, S. Javaid and N. Saeed, "A Communication-Centric 6G-LLM Architecture for Scalable Tactical Autonomous Defense Vehicle Networks," in IEEE Network, Early access, 2026

DistFlow: A Fully Distributed RL Framework for Scalable and Efficient LLM Post-Training

DistFlow: 一种用于可扩展高效LLM后训练的全分布式强化学习框架

Zhixin Wang, Jiaming Xu, Tianyi Zhou, Mingjun Zhang, Liming Liu, Jiarui Hu, Dian Yang, Tongyu Wang, Ping Zhang, Jinlong Hou, Siyuan Feng, Yuan Qi, Yuan Cheng

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(title)；large language model(abstract)；language model(abstract)

AI总结 提出DistFlow框架，通过解耦数据传输与控制调度、采用多控制器范式和基于DAG的任务调度器，实现近线性可扩展性并提升吞吐量达2.63倍。

MOC: Multi-Order Communication in LLM-based Multi-Agent Systems

MOC：基于LLM的多智能体系统中的多阶通信

Yao Guan, Lin Wang, Zhihu Lu, Ziyi Wang, Wenzhu Yan, Qiang Duan

机构 * Fudan University（复旦大学） ； Nanjing Normal University（南京师范大学） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出多阶通信（MOC）方案，通过重构智能体间通信以捕获多跳依赖，并设计结构消息合并策略，在多个数据集上提升任务性能并降低通信成本。

Absorbing Complexity: An Interaction-Native Knowledge Harness for Financial LLM Agents

吸收复杂性：面向金融LLM代理的交互原生知识驾驭系统

Ailiya Borjigin, Igor Stadnyk, Ben Bilski, Maksym Chikita, Dmytro Kyrylenko, Sofiia Pidturkina, Julia Stadnyk

机构 * True Trading ； Inc4.net 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出交互原生知识驾驭（InKH）架构，通过被动知识注入、时序图记忆和过期失效机制，将复杂性吸收到系统中，在金融LLM代理任务中显著降低延迟、令牌成本和过时知识使用，同时提升任务质量和可追溯性。

Comments 17 pages, 3 figures

CoMIC: Collaborative Memory and Insights Circulation for Long-Horizon LLM Agents in Cloud-Edge Systems

CoMIC：云边系统中长周期LLM代理的协作记忆与洞察循环

Yannan Wang, Longli Yang, Zhen Liu, Abhishek Kumar, Carsten Maple

机构 * Beijing Jiaotong University（北京交通大学） ； The Alan Turing Institute（艾伦·图灵研究所） ； University of Warwick（沃里克大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出无需参数更新的云边框架CoMIC，通过集中式反思与分布式执行设计，利用语义子目标标识实现跨代理经验聚合，提升弱边缘代理在长周期任务中的进展率和动作基础。

Threshold-Based Exclusive Batching for LLM Inference

基于阈值的独占批处理用于LLM推理

Weifang Zhang, Yuzhou Nie, Bowen Pang, Guangrui Ma, Shining Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间利用工程技术中心） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对混合批处理中预填充与解码干扰导致边际成本上升的问题，提出基于GPU内存带宽、模型大小和工作负载的EB-MB性能交叉条件及最优切换阈值，优化后的独占批处理在带宽受限GPU上吞吐量提升高达41.9%。

Comments 37 pages, 12 figures. Accepted at ICML 2026

SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors

SALSA: 通过学习的引导激活向量实现语音感知的LLM适配

Yekaterina Yegorova, Argyrios Gerogiannis, Haolong Zheng, Julia Hockenmaier, Chang D. Yoo, Mark A. Hasegawa-Johnson

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出SALSA方法，通过监督学习优化逐层引导向量，在儿童语音、多语种语音和普通话-英语代码切换基准上显著提升零样本推理和语音上下文学习性能，最高相对提升46.8%。

Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation

Quartet II: 通过改进的无偏梯度估计实现 NVFP4 中准确的 LLM 预训练

Andrei Panferov, Erik Schultheis, Soroush Tabesh, Dan Alistarh

机构 * University of Waterloo（多伦多大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出一种用于微缩放格式的无偏量化方法 MS-EDEN，其量化误差比随机舍入低 2 倍以上，并集成到全 NVFP4 线性层量化方案 Quartet II 中，在 LLM 预训练中实现更准确的梯度估计和加速。

DuetServe: Harmonizing Prefill and Decode for LLM Serving via Adaptive GPU Multiplexing

DuetServe: 通过自适应GPU多路复用协调LLM服务的预填充与解码

Lei Gao, Chaoyi Jiang, Hossein Entezari Zarch, Daniel Wong, Mark Hill, Murali Annavaram

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） ； University of Washington（华盛顿大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 针对LLM服务中预填充与解码阶段的干扰问题，提出DuetServe框架，通过自适应SM级GPU空间多路复用实现单GPU内的阶段隔离，在保证低延迟的同时提升吞吐量。

A Shared Valence Axis Across Modern LLMs and Human EEG: The Saturation Regularity

现代LLM与人脑EEG共享的效价轴：饱和规律

Yousef A. Radwan, Xuhui Liu, Kilichbek Haydarov, Yuqian Fu, Mohamed Elhoseiny

机构 * King Abdullah University of Science and Technology（卡布斯大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过构建从大型语言模型（LLM）中提取的一维效价方向（V轴），发现其与人类EEG神经活动对齐，但进一步对齐策略无法提升解码性能，并形式化为“饱和规律”，指出改进应来自监督无法触及的残差子空间。

Scaling LLM Inference Beyond Amdahl`s Limits via Eliminating Non-Scalable Overheads

通过消除不可扩展开销将LLM推理扩展到超越Amdahl极限

Alan Zhao, Cyril Y. He, Wei Xu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 针对LLM推理中张量并行度增加导致的不可扩展开销问题，提出Albireo系统，通过重叠调度、I/O与计算及序列并行采样来提升最优并行度，从而显著提高吞吐量、降低延迟和能耗。

Fail-Closed Lowering of Resident KV Claims onto LLM Serving Runtimes

将Resident KV声明降级到LLM服务运行时的故障关闭

Lukas Stepanek

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 本文提出一种故障关闭的降级关系，用于将未来KV重用声明映射到LLM服务运行时的原语，通过检查器验证运行时是否满足声明义务。

Comments 24 pages, 2 figures. Public artifact: https://github.com/gustavgauge/resident-kv-lowering-artifact

Efficient LLM Moderation with Multi-Layer Latent Prototypes

基于多层潜在原型的高效LLM审核

Maciej Chrabąszcz, Filip Szatkowski, Bartosz Wójcik, Jan Dubiński, Tomasz Trzciński, Sebastian Cygert

机构 * University of Warsaw（华沙大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出多层原型审核器（MLPM），利用多层中间表示的原型实现轻量、高效且可定制的输入审核，在多个基准上达到最优性能，并可与输出审核结合提升响应安全性。