语言大模型 / LLM

Smaller Models, Unexpected Costs: Trade-offs in LLM Quantization for Automated Program Repair

更小的模型，意外的代价：LLM量化在自动程序修复中的权衡

Fernando Vallecillos-Ruiz, Giordano d'Aloisio, Max Hort, Luca Traini, Antinisca Di Marco, Leon Moonen

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)

AI总结 研究LLM量化在自动程序修复中的效果，发现量化虽减少内存但增加推理时间和能耗，且修复问题集差异大，权衡受模型架构和任务复杂度影响。

Comments Accepted for publication in the Research Papers Track of the 42nd IEEE International Conference on Software Maintenance and Evolution (ICSME 2026), 14-18 September 2026, Benevento, Italy

From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations

从点击到意图：基于LLM提炼分类法的跨平台会话嵌入用于金融服务推荐

Dianjing Fan, Yao Li, Kyaw Hpone Myint, Dwipam Katariya, Alexandre G. R. Day, Pranab Mohanty, Giri Iyengar

机构 * Capital One 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对金融服务中网页匿名浏览与移动端登录行为差异导致的意图信号利用不足问题，提出自监督Transformer编码会话嵌入与LLM提炼分类法生成可解释标签的双用途框架，在移动端首页排序和用户转化预测任务上显著提升性能。

Comments Dianjing Fan and Yao Li equally contributed to this work. 7 pages, 1 figure

Context Recycling for Long-Horizon LLM Inference

长程LLM推理的上下文回收

Derek Thomas

机构 * Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ContextForge系统，通过结构化查询生成、外部记忆检索和受控合成实现上下文回收，在15轮对话基准中减少令牌消耗并保持回答质量。

Learning from the Self-future: On-policy Self-distillation for dLLMs

从自我未来学习：面向扩散LLM的在线自蒸馏

Yifu Luo, Zeyu Chen, Haoyu Wang, Xinhao Hu, Yuxuan Zhang, Zhizhou Sha, Shiwei Liu

机构 * Tsinghua University（清华大学） ； Technical University of Munich（慕尼黑工业大学） ； Nanyang Technological University（南洋理工大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； ELLIS Institute Tubingen（ELLIS蒂宾根研究所） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； Tubingen AI Center（蒂宾根人工智能中心） 纠错

专题命中 效率与部署 ：SFT(summary_cn,abstract)；LLM(title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出首个面向扩散大语言模型的在线自蒸馏框架d-OPSD，通过自我生成答案作为后缀条件实现从自我未来经验学习，并将监督从词元级转向步骤级，在推理基准上以约10%的优化步骤超越RLVR和SFT基线。

Comments Preprint

Experience Compression Spectrum: Unifying Memory, Skills, and Rules in LLM Agents

经验压缩光谱：在LLM代理中统一记忆、技能和规则

Xing Zhang, Guanghui Wang, Yanwei Cui, Wei Qiu, Ziyuan Li, Bing Zhu, Peiyang He

机构 * AWS Generative AI Innovation Center（AWS生成式AI创新中心） ； HSBC Holdings Plc., HSBC Technology Center, China（汇丰控股有限公司，汇丰技术中心，中国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 针对LLM代理长期多会话部署中经验管理效率问题，提出经验压缩光谱框架，统一记忆、技能和规则的压缩轴，解决压缩适应性和跨层级压缩缺失问题。

LLM-based Models for Detecting Emerging Topics in Service Feedback

基于LLM的服务反馈中新兴主题检测模型

Mahsa Tavakoli, Ruth Bankey, Cristián Bravo

机构 * Department of Statistical and Actuarial Sciences, The University of Western Ontario（西安大略大学统计与精算科学系） ； Canada Revenue Agency（加拿大税务局） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种结合大语言模型、统计技术和人机协作的方法，用于检测服务反馈中的新兴质量主题，并揭示潜在服务不公，经税务专家评估优于基线模型。

SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference

SharQ：桥接激活稀疏性与FP4量化用于LLM推理

Haoqian Meng, Yilun Luo, Yafei Zhao, Wenyuan Liu, Huaqing Zheng, Xindian Ma, Peng Zhang

机构 * School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SharQ方法，通过在线稀疏-稠密分解结合N:M稀疏性与FP4量化，无需训练即可恢复NVFP4与FP16之间43-63%的精度差距，并在RTX 5090上实现2.2-2.4倍延迟降低。

Comments 20 pages, 4 figures

DMuon: Efficient Distributed Muon Training with Near-Adam Overhead

DMuon: 高效分布式Muon训练，开销接近Adam

Vincent Chen, Starrick Liu, Regis Cheng, Dance Yang, Shalfun Li, Ryan Yu, Lucy Liang, Hang Su, Roy Gan, Hao Wang, Qian Wang

机构 * X SQUARE ROBOT TEAM（X SQUARE机器人团队） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 提出DMuon，一种分布式矩阵正交化优化器，通过减少通信和计算开销，使每步延迟接近AdamW，在基础模型和LLM训练中实现1.48-3.01倍端到端加速。

Why Are Some Emotions Harder for LLMs? Uncovering the Causal Mechanisms of Emotion Inference via Sparse Autoencoders

从语法到情感：对LLM中情感推理的机制分析

Bangzhao Shu, Arinjay Singh, Mai ElSherief

机构 * Northeastern University（东北大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过稀疏自编码器研究LLM内部情感识别机制，发现情感特征在最终阶段出现，包含共享和特定情感特征，并提出可解释的因果特征引导方法提升情感识别性能。

Comments 19 pages including appendix

Agent Capsules: Quality-Gated Granularity Control for Multi-Agent LLM Pipelines

代理胶囊：多代理LLM流水线中的质量门控粒度控制

Aninda Ray

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Agent Capsules，通过将多代理流水线执行视为优化问题，结合质量约束实现粒度控制，有效减少token消耗并保持质量，实验显示在不同流水线中均取得显著效率提升。

Comments 17 pages, 7 figures. Code: https://github.com/aray-17/agent-capsules

Cascaded Multi-Granularity Pruning for On-Device LLM Inference in Industrial IoT

面向工业物联网设备端大模型推理的级联多粒度剪枝

Jinghan Wang, Yanjun Chen, Wei Zhang, Xiaotong Huang, Tianchen Liu, Gaoliang Peng

专题命中 效率与部署 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出级联多粒度剪枝框架，通过粗到细顺序移除层、注意力头和前馈通道，并利用轻量级低秩恢复重新估计重要性，在MHA+GELU架构上实现13.8倍压缩和83.82%准确率，在工业物联网设备上降低推理延迟67.2%。

Comments This work has been submitted to the IEEE Internet of Things Journal for possible publication

GenRecal: Generation after Recalibration from Large to Small Vision-Language Models

GenRecal：从大到小视觉语言模型的校准后生成

Byung-Kwan Lee, Ryo Hachiuma, Yong Man Ro, Yu-Chiang Frank Wang, Yueh-Hua Wu

机构 * NVIDIA ； KAIST（韩国成均馆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 提出GenRecal通用蒸馏框架，通过校准器对齐异构VLM特征，实现从大到小模型的有效知识迁移，在多个基准上超越大规模开源和闭源VLM。

Comments Project page: https://byungkwanlee.github.io/GenRecal-page/

Dynamic-dLLM: Dynamic Cache-Budget and Adaptive Parallel Decoding for Training-Free Acceleration of Diffusion LLM

Dynamic-dLLM: 动态缓存预算与自适应并行解码实现扩散大语言模型的无训练加速

Tianyi Wu, Xiaoxi Sun, Yanhua Jiao, Yulin Li, Yixin Chen, YunHao Cao, YiQi Hu, Zhuotao Tian

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Huawei（华为） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对扩散大语言模型计算复杂度随序列长度立方增长的问题，提出Dynamic-dLLM框架，通过动态缓存更新和自适应并行解码，在不训练的情况下实现3倍以上加速并保持性能。

At the Edge of Understanding: Sparse Autoencoders Trace The Limits of Transformer Generalization

在理解的边缘：稀疏自编码器追踪Transformer泛化的极限

Praneet Suresh, Jack Stanley, Sonia Joseph, Luca Scimeca, Danilo Bzdok

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； Meta AI ； Sapient manifold-informed selection of samples for improved Intelligence 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 通过稀疏自编码器分析内部概念，发现OOD输入（如拼写错误和越狱提示）会激活更多错误概念，并据此提出一种基于机制的微调策略来增强LLM鲁棒性。

Automating Potential-based Reward Shaping with Vision Language Model Guidance

基于视觉语言模型引导的势能奖励塑形自动化

Henrik Müller, Daniel Kudenko

机构 * L3S Research Center Leibniz University Hannover（莱布尼茨汉诺威大学L3S研究中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出VLM-PBRS框架，利用轻量级视觉语言模型的偏好学习势能函数，实现自动化奖励塑形，保证最优策略不变，提升样本效率并避免奖励黑客。

On-board Remote-Sensing Foundation Models for Unsupervised Change Detection of Disaster Events

面向灾害事件无监督变化检测的星载遥感基础模型

S. Ramírez-Gallego

机构 * Thales Alenia Space Spain（泰雷兹阿莱尼亚宇航公司西班牙分部） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出基于ResNet(RSFM)+FPN的无监督变化检测方法，利用潜空间语义偏移检测异常，无需训练即可实现高效高分辨率映射，泛化性强。

MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models

MedPruner: 面向高效3D医学图像理解的免训练层次化令牌剪枝框架

Shengyuan Liu, Zanting Ye, Yunrui Lin, Chen Hu, Wanting Geng, Xu Han, Bulat Ibragimov, Yefeng Zheng, Yixuan Yuan

机构 * Chinese University of Hong Kong（香港中文大学） ； Westlake University（西湖大学） ； Southern Medical University（南方医科大学） ； Jiangnan University（江南大学） ； Dalian University of Technology（大连理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 提出MedPruner，一种免训练、模型无关的层次化令牌剪枝框架，通过帧间锚点过滤和动态信息核选择，在保留不到5%视觉令牌时保持甚至提升模型性能，显著降低计算开销。

Comments 11 pages

Use What You Know: Causal Foundation Models with Partial Graphs

利用已知信息：带有部分图结构的因果基础模型

Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

机构 * University of Cambridge（剑桥大学） ； Gatsby Computational Neuroscience Unit（加布特计算神经科学单位） ； Prior Labs（Prior实验室） ； University of Freiburg（弗赖堡大学） ； The Alan Turing Institute（艾伦·图灵研究所） ； University of Oxford（牛津大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出在因果基础模型中注入因果图或祖先信息的方法，利用图卷积编码器和注意力机制有效利用部分因果信息，使通用模型匹配专用模型性能。

Journal ref ICML 2026

GreenRFM: Learning a resource-efficient radiology vision-language foundation model via supervision-centric pre-training

GreenRFM：通过以监督为中心的预训练学习资源高效的放射学视觉-语言基础模型

Yingtai Li, Shuai Ming, Qiuli Wang, Mingyue Zhao, Hongchun Zhang, Yuhe Tian, Haoran Lai, Rongsheng Wang, Rui Zhou, Rundong Wang, Yujia Li, Zhiyang He, Xiaodong Tao, Wei Chen, Wei Wei, Shaohua Kevin Zhou

机构 * School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China (USTC)（生物医学工程学院，生命科学与医学系，中国科学技术大学） ； Center for Medical Imaging, Robotics, Analytic Computing & Learning (MIRACLE)（医学影像、机器人、分析计算与学习中心） ； Suzhou Institute for Advanced Research, USTC（苏州先进研究院，中国科学技术大学） ； Department of Radiology, The First Affiliated Hospital of USTC, Division of Life Sciences and Medicine, USTC（放射科，中国科学技术大学第一附属医院，生命科学与医学系，中国科学技术大学） ； T Magnetic Resonance Translational Medicine Research Center, Department of Radiology, The First Affiliated Hospital (Southwest Hospital) of Army Medical University（7T磁共振转化医学研究中心，放射科，中国医学大学第一附属医院（西南医院）） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 提出GreenRFM框架，通过将噪声报告转化为结构化诊断信号，以监督为中心预训练，在有限资源下实现高效3D放射学视觉-语言表示，零样本CT-RATE AUC达84.8。

JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting

JetFlow: 通过并行树草稿突破推测解码的缩放上限

Lanxiang Hu, Zhaoxiang Feng, Yulun Wu, Haoran Yuan, Yujie Zhao, Yu-Yang Qian, Bojun Wang, Peng Zhao, Daxin Jiang, Yibo Zhu, Tajana Rosing, Hao Zhang

机构 * UC San Diego（加州大学圣地亚哥分校） ； Zhejiang University（浙江大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Nanjing University（南京大学） ； StepFun（阶跃星辰） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出JetFlow框架，通过因果并行草稿头结合树推测解码，将更大草稿预算转化为更长接受前缀和更高端到端加速，在Qwen3模型上实现最高9.64倍加速。

Techniques for supercharging academic writing with generative AI

增强学术写作的生成式AI技术

Zhicheng Lin

机构 * Department of Psychology, University of Science and Technology of China（中国科学技术大学心理系） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文探讨利用生成式AI提升学术写作质量与效率的方法，提出人机协作框架及写作辅助类型模型，旨在优化写作流程并维护学术严谨性。

Comments Published in: Nature Biomedical Engineering, 2025

Journal ref Nature Biomedical Engineering, 9, 426-431 (2025)

Moebius: Serving Mixture-of-Expert Models with Seamless Runtime Parallelism Switch

Moebius: 以无缝运行时并行性切换服务混合专家模型

Shaoyu Wang, Yizhuo Liang, Jaeyong Song, Chong Li, Seo Jin Park

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Moebius系统，在运行时动态切换张量并行与专家并行，无需重启或丢弃请求，通过仅迁移所有权变更的切片实现低开销切换，在8×H200 GPU上匹配最优静态并行性能，RL rollout提升1.16-1.25倍。

Autoregressive Boltzmann Generators

自回归玻尔兹曼生成器

Danyal Rehman, Charlie B. Tan, Yoshua Bengio, Avishek Joey Bose, Alexander Tong

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出自回归玻尔兹曼生成器（ArBG），通过自回归建模替代基于流的模型，克服拓扑约束并提升可扩展性，在分子系统采样中显著优于现有方法，并在8残基系统上将零样本能量误差降低60%以上。

Comments ICML 2026 (Spotlight)

TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference

TOPS：通过构建令牌最优保留集实现高效多模态大语言模型推理的第一性原理视觉令牌剪枝

Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； University of Electronic Science and Technology of China（电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出TOPS方法，基于信息论分析确立任务相关性、信息覆盖和语义多样性三大原则，无训练且模型无关地剪枝视觉令牌，在LLaVA-NeXT上剪除77.8%令牌仍保持甚至提升性能。

Comments 27 pages, 18 figures

Code evolution for link prediction in complex networks

复杂网络中链接预测的代码进化

Alexey Vlaskin, Eduardo G. Altmann

机构 * School of Mathematics and Statistics & Centre for Complex Systems（数学与统计学系及复杂系统中心） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过代码进化自动生成链接预测方法，在580个网络上平均AUC达0.915，优于人工方法的0.783，且计算效率更高。

Linguistics and Human Brain: A Perspective of Computational Neuroscience

语言学与人脑：计算神经科学的视角

Fudong Zhang, Bo Chai, Yujie Wu, Wai Ting Siok, Nizhuan Wang

机构 * Institute of AI and Robotics, College of Intelligent Robotics and Advanced Manufacturing, Fudan University（人工智能与机器人研究院，智能机器人与先进制造学院，复旦大学） ； Department of Language Science and Technology, The Hong Kong Polytechnic University（语言科学与技术系，香港理工大学） ； Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文从计算神经科学视角，通过建模、模拟和数据分析将语言层次动态结构转化为可测试神经模型，并利用深度学习和大语言模型探索语言处理的神经基础。

Journal ref Cognitive Neurodynamics, 2026

Microparticles manipulation with a three-dimensional closed optical trap

利用三维封闭光阱操控微粒

Chunyu Zhang, Xinran Fang, Pengcheng Mao, Dongxu Zhao

专题命中 效率与部署 ：SLM(abstract,abstract_cn)

AI总结 提出一种无需空间光调制器的三维封闭光阱系统，通过腔内模式调制和腔外透镜调制生成零中心强度的暗势阱，实现单/多微粒稳定捕获及低功率下小鼠肝细胞捕获，降低光毒性并灵活调节尺寸。

Comments 20 pages,6 figures

Data-Free Reservoir Features for Efficient Long-Horizon Cold-Start Continual Learning

无数据储备特征用于高效长时域冷启动持续学习

Augustinas Jučas, Yangchen Pan

机构 * University of Oxford（牛津大学） ； Department of Computer Science（计算机科学系） ； Department of Engineering Sciences（工程科学系） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出CIRCLE方法，使用固定的双向二维储备特征和流式线性判别分析头，无需重放、预训练或骨干网络反向传播，在长任务序列中显著优于现有冷启动无样本类增量学习方法。

CAT-Q: Cost-efficient and Accurate Ternary Quantization for LLMs

CAT-Q：面向LLMs的经济高效且精确的三值量化

Shigeng Wang, Chao Li, Yangyuxuan Kang, Jiawei Fan, Anbang Yao

机构 * Intel Labs China（英特尔中国实验室） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出CAT-Q后训练量化方案，通过可学习调制和软化三值化，仅用512个校准样本即可将LLMs高效量化为三值模型，性能优于使用100B tokens训练的BitNet 1.58-bit，训练token减少约100,000倍。

Comments This work is accepted to ICML 2026 as an oral. The project page: https://github.com/IntelChina-AI/BitTern

Risk-Aware Selective Multimodal Driver Monitoring with Driver-State World Modeling

风险感知的选择性多模态驾驶员监控与驾驶员状态世界建模

Daosheng Qiu, Haozhuang Chi, Hao Su, Shu Long, Xinyue Miao, Yongle Dong, Wei Zhang

机构 * Hubei University（湖北大学） ； Nanyang Technological University（南洋理工大学） ； Osaka University（大阪大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 提出成本感知的选择性推理框架，结合轻量级RGB-生理学生网络和门控机制，在低延迟下减少不安全决策，实现可部署的多模态驾驶员监控。