语言大模型 / LLM

LightRot: A Light-Weighted Rotation Scheme and Architecture for Accurate Low-Bit Large Language Model Inference

LightRot：用于精确低比特大语言模型推理的轻量级旋转方案与架构

Sangjin Kim, Yuseon Choi, Jungjun Oh, Byeongcheol Kim, Hoi-Jun Yoo

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本研究提出LightRot轻量级旋转方案与硬件加速器，通过算法创新结合28nm工艺实现4比特推理27.4 TOPS/W能效，适配LLaMA系列模型，为低比特LLM推理提供新范式。

Comments 13 pages, journal version. Published in IEEE Journal on Emerging and Selected Topics in Circuits and Systems (JETCAS), vol. 15, no. 2, pp. 231-243, 2025, DOI: 10.1109/JETCAS.2025.3558300

Journal ref IEEE Journal on Emerging and Selected Topics in Circuits and Systems, vol. 15, no. 2, pp. 231-243, June 2025

OptGraph: Large Language Models Enhanced Evolutionary Optimization Via Graph Retrieval-Augmented Generation

OptGraph：基于图检索增强生成的大语言模型增强进化优化

Xianchao Xiu, Jianhao Li, Huangyue Chen, Wanquan Liu

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 针对现有LLM自动化进化优化的局限，提出引入GraphRAG的OptGraph工作流，通过类型化图复用经验等方法，在基准数据集上较现有框架平均精确准确率提升8.9%。

Defusing the Trigger: Tail-Risk-Informed Attention Rebalancing for LLM Backdoor Mitigation

解除触发器：通过尾风险内在几何平滑实现的插件式防御方法用于后门LLM

Kaisheng Fan, Yishu Gao, Xunzhu Tang, Tegawendé F. Bissyandé, Weizhe Zhang

机构 * School of Cyber Science and Technology（网络安全科学与技术学院） ； Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； University of Luxembourg（卢森堡大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出TIGS方法，通过在推理时进行内容感知的尾风险筛查和内在几何平滑，有效抑制后门攻击，同时保持推理稳定性和语义一致性，适用于多种架构的LLM。

Guiding Large Language Models with Genetic Programming-Evolved Heuristic Knowledge for Dynamic Multi-Mode Project Scheduling

用遗传编程演化的启发式知识指导大语言模型解决动态多模式项目调度问题

Yuan Tian, Yi Mei, Mengjie Zhang

机构 * Centre for Data Science and Artificial Intelligence（数据科学与人工智能中心） ； School of Engineering and Computer Science（工程与计算机科学学院） ； Victoria University of Wellington（惠灵顿维多利亚大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究将遗传编程演化的调度规则知识反向转移，通过四种机制指导大语言模型决策，提升了调度性能、决策稳定性并降低 token 消耗。

Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models

捕捉令牌趋势以实现多模态大语言模型中无需训练的令牌剪枝

Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

机构 * Xiamen University（厦门大学） ； Xiamen Ocean Vocational College（厦门海洋职业技术学院） ； Sino-Russian Research Center for Digital Economy（中俄数字经济研究中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 该研究针对多模态大语言模型现有无训练剪枝方法忽略令牌重要性动态变化的问题，提出趋势感知剪枝框架，通过捕捉注意力流动量实现动态修正，大幅减少视觉令牌且保持性能，实现高效多模态推理。

LLM-Guided Evolutionary Search for Constraint Model Reformulation to Improve Solver Efficiency

基于大语言模型引导的进化搜索的约束模型重构以提升求解器效率

Kostis Michailidis, Dimos Tsouros, Nguyen Dang, Tias Guns

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出LLM引导的进化框架，引入PDR策略保留多样化上下文，在8个CSPLib问题上验证迭代重构可提升求解速度，且多样化上下文策略和验证选择均能增强加速效果。

A Policy-Driven Runtime Layer for Agentic LLM Serving

一种面向智能体LLM服务的策略驱动运行时层

Rui Zhang, Chaeeun Kim, Liting Hu

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对多智能体LLM系统中跨层策略难以高效实现的问题，提出在框架与引擎之间插入智能体运行时层，通过四个原语支持任意智能体感知策略，并在KV缓存策略CacheSage上验证了有效性。

SmartGen: Seamless Disaggregated LLM Inference with Selective KV Cache Transfer

SmartGen：支持无缝拆分式大语言模型推理的选择性KV缓存传输方案

Xuchuan Luo, Jiacheng Shen, Xin Wang, Yangfan Zhou

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 SmartGen是一款KV缓存传输引擎，通过三种数据传输路径实现拆分式LLM推理的KV缓存选择性传输，可将首token生成时间最多缩短4.3倍，且后续性能与准确率相当。

Not as Sweet by Another Name: An Empirical Study of Format Robustness in LLM Document Workflows

换个名字就不甜了：LLM文档工作流中格式鲁棒性的实证研究

Xiaoyu Zhang, Xianyun Cheng, Tianlin Li, Yuwei Zheng, Yue Yang, Yang Liu

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 本文提出感知格式的变形测试框架，经大规模实证研究发现LLM文档工作流的格式鲁棒性存在严重问题，切换格式可致准确率降53.63%，并设计出无需重训模型的缓解策略。

Comments 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

LimICE: Integrating LLM into ICE Framework for Efficient Loop Invariant Inference

LimICE：将大语言模型（LLM）集成到ICE框架以实现高效循环不变式推理

Kai Fan, ShiWen Yu, GuangSheng Fan, HaoAng Chi, WanWei Liu, Ji Wang

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 该研究提出集成LLM与ICE框架的增量式学习框架LimICE，用于循环不变式综合，在367个线性、50个非线性基准上的实验显示其解决实例更多、运行速度更快，性能优于相关基线。

Comments 21 pages, 2 figures

Clairvoyant: Predictive Shortest-Job-First Admission for Serial LLM Inference

Clairvoyant: 预测性SJF调度以缓解串行LLM后端中的队头阻塞

Aravind Sundaresan

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出Clairvoyant，一种轻量级侧车代理，通过预测请求长度实现SJF调度，缓解串行LLM后端中的队头阻塞，显著降低短请求延迟。

Comments 17 pages, 3 figures, 8 tables. Code: https://github.com/Aravind0403/clairvoyant-scheduler

When Derived Measurements Mislead: Quantifying and Mitigating LLM Over-Trust with Privileged-Modality Reliability Evidence

当派生测量值产生误导时：利用特权模态可靠性证据量化并缓解大语言模型的过度信任问题

Zongheng Guo, Tao Chen, Tianli Li, Mingzhe Cui, Yang Jiao, Lei Xie, Yi Pan, Xiao Hu, Manuela Ferrario

机构 * Politecnico di Milano（米兰理工大学） ； Zhejiang University（浙江大学） ； China-Japan Friendship Hospital（中日友好医院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Emory University（埃默里大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究定义了派生特征过度信任（DFOT）问题，构建了量化该问题的估计量框架，在PPG-ECG数据集上验证了基于特权蒸馏的基线方法可缓解DFOT，为相关研究提供通用评估目标。

Comments 25 pages, including references and supplementary material; 3 figures and 19 tables. Code: https://github.com/Zongheng-Guo/When-Derived-Measurements-Mislead

From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents

从评分到行动：面向大语言模型智能体的结果验证式对比自蒸馏

Xu Xia, Jinghua Piao, Min Yang, Xiaochong Lan, Jiaju Chen, Yong Li

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究针对LLM智能体现有自蒸馏方法的局限，提出OVCSD方法，经实验在ALFWorld和WebShop数据集上显著提升了智能体任务完成成功率。

GyRot: Leveraging Hidden Synergy between Rotation and Fine-grained Group Quantization for Low-bit LLM Inference

GyRot：利用旋转与细粒度组量化之间的隐藏协同实现低位大语言模型推理

Sangjin Kim, Yuseon Choi, Byeongcheol Kim, Jungjun Oh, Hoi-jun Yoo

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 GyRot通过算法-硬件协同设计，结合旋转与细粒度组量化，在LLaMA系列模型4位量化推理中实现先进精度，同时提升加速比与能效，为LLM部署提供可行方案。

Comments 15 pages, 12 figures. Published in 2026 IEEE International Symposium on High-Performance Computer Architecture (HPCA), Sydney, Australia, pp. 1-15, DOI: 10.1109/HPCA68181.2026.11408453

Journal ref Proc. 2026 IEEE Int. Symp. High-Performance Computer Architecture (HPCA), 2026, pp. 1-15

OwlPath: Lossless Knowledge Compression for LLM Bug Repair

OwlPath：面向大语言模型漏洞修复的无损知识压缩

Bo Zhang, Ren Pan, Huan Chen, Xiang Song

专题命中 效率与部署 ：LLM(title,summary_cn)

AI总结 OwlPath是构建于CodeGraph之上的OWL2推理层，通过无损知识压缩将代码编码为OWL2本体，提升LLM漏洞修复的结构检索性能，在多组基准测试中实现了严格应用率、召回率等指标的显著提升。

GORGO: Online Tuning for Cross-Region Network-Aware LLM Serving

GORGO：面向跨区域网络感知的LLM服务的在线调优

Alessio Ricci Toniolo, Rome Thorstenson, Abinaya Dinesh

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出GORGO代理架构，通过可调参数综合考量网络延迟、预填充成本和排队延迟，并发布长上下文数据集ART-Chat-2.5M，利用进化策略优化p95 TTFT，在保留测试中p95 TTFT提升6.9-15.5%，端到端延迟提升14.3-30.9%。

Comments 12 pages, 4 figures. Code: https://github.com/Arcadia-Research-Team/GORGO

GGC: Selective Query Correction for Reliable Text-to-SPARQL Generation

GGC：面向可靠Text-to-SPARQL生成的选择性查询修正

Ziyi Yang, Thanh-Son Nguyen, Tuan Anh Nguyen, Lihui Chen

机构 * Nanyang Technological University（南洋理工大学） ； Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究所） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对LLM生成Text-to-SPARQL查询不可靠的问题，提出GGC框架，通过选择性修正高风险查询，在MCQA数据集上提升准确率并降低推理开销。

Comments 18 pages, 1 figure

DP-LENS: A Density-Aware Polyfocal Lens with Topology-Driven Auto-Routing for Occlusion Management in Immersive 3D Analytics

DP-LENS：一种用于沉浸式3D分析中遮挡管理的密度感知多焦点透镜，带有拓扑驱动自动路由功能

Nieyu Cao, Xian Wang, Lik-Hang Lee

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究针对沉浸式3D分析中数据遮挡导致的高认知负荷问题，提出带拓扑驱动自动路由的DP-LENS系统，结合LLM语音交互，经用户验证可降低负荷、提升效率，为相关系统设计提供启示。

Comments Accepted to IEEE International Symposium on Mixed and Augmented Reality (ISMAR) 2026, to appear in IEEE Transactions on Visualization and Computer Graphics (TVCG). 11 pages

Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations

公平剪枝：通过差分激活定位GLU-MLP层中的人口统计偏差

Pere Martra, Eugenio Martínez Cámara, Alfonso Ureña López

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出Fairness Pruning方法，通过最小对比提示对与激活捕获定位LLM的GLU-MLP层中人口统计偏差神经元，经实验验证该方法可针对性调控偏差且对模型能力影响极小。

Comments 15 pages, 3 figures, 9 tables. Code and datasets publicly available

WIDE: Boosting Adaptive LLM Inference via Token-level Dynamic Width Pruning

WIDE：通过令牌级动态宽度剪枝提升自适应大语言模型推理效率

Haozhe Hu, Hao Wu, Peiran Yin, Chao Han, Yunpu Ma, Xiaoyu Shen

机构 * Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波东方理工大学宁波数字孪生研究院） ； Munich Center for Machine Learning, LMU Munich（慕尼黑大学慕尼黑机器学习中心） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 WIDE是首个端到端可微令牌级动态宽度剪枝框架，通过两阶段训练与剪枝-内核协同设计，在50%稀疏度下实现显著推理加速与更优精度保持，性能优于现有动态剪枝方法。

Comments 30 pages, 19 figures

Crossing the Margin Cliff: Toward Relearn-Robust LLM Unlearning via Margin Calibration

跨越边际悬崖：通过边际校准实现可再学习鲁棒的大语言模型遗忘

Xiangyu Yin, Jiaxu Liu, Zhen Chen, Chih-Hong Cheng

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对大语言模型遗忘在再学习攻击下的脆弱性，提出边际校准方法，在多个数据集和模型上提升遗忘鲁棒性并降低成员推断风险，仅以保留侧效用降低为代价。

Continual Learning with Vision-Language Models via Semantic-Geometry Preservation

通过语义-几何保持实现视觉-语言模型的持续学习

Chiyuan He, Zihuan Qiu, Fanman Meng, Runtong Zhang, Linfeng Xu, Qingbo Wu, Hongliang Li

机构 * School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出SeGP-CL方法，通过构建对抗锚点和跨模态几何蒸馏，解决持续学习中的语义几何退化问题，提升模型稳定性和迁移能力。

Comments Accepted by IEEE TCSVT 2026

Energy-Driven Adaptive Visual Token Pruning for Efficient Vision-Language Models

基于能量驱动的自适应视觉令牌修剪以提高视觉语言模型的效率

Jialuo He, Huangxun Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 E-AdaPrune通过能量驱动的自适应修剪方法，提高视觉语言模型的效率，实现令牌预算的动态分配，减少冗余并提升推理性能。

Prox: Training-Free FFN Activation Sparsity via Approximate Intermediate-Channel Salience in LLMs

Prox：基于大语言模型中近似中间通道显著性的无训练前馈网络激活稀疏化方法

Jinyi Liu, Wei Chen, Pengyu Chen, Xinyi Yuan, Minghe Bai, Guoquan Wu, Jun Wei

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 Prox是一种两阶段无训练的SwiGLU前馈网络激活稀疏化框架，通过近似中间通道显著性构建掩码，在多类大语言模型上实现了优于基线的性能与解码加速，且兼容量化和稀疏注意力。

Efficient LLMs with AMP: Attention Heads and MLP Pruning

采用AMP的高效大语言模型：注意力头与多层感知机剪枝

Leandro Giusti Mugnaini, Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Edson Bollis, Lucas Pellicer, Anna Helena Reali Costa, Artur Jordao

机构 * Escola Politécnica（圣保罗理工大学） ； Instituto de Matemática e Estatística（数学与统计学研究所） ； Universidade de São Paulo（圣保罗大学） ； Instituto de Ciência e Tecnologia Itaú (ICTi)（Itaú科学与技术研究所） 纠错

专题命中 效率与部署 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出新型结构化剪枝方法AMP，通过剪枝LLMs的注意力头与MLP结构压缩模型，在常识推理任务上超越当前最优方法，提升推理速度，适用于LLaMA、Phi等模型，支持资源受限场景部署。

Comments Published in International Joint Conference on Neural Networks (IJCNN), 2025

SpecPrefetch: Parameter-Efficient Expert Prefetching for Sparse MoE Foundation Models

SpecPrefetch：用于稀疏混合专家基础模型的参数高效专家预取

Jinwei Kong, Runqi Meng, Fanyi Wang, Wentao Qiu, Haotian Hu, Yongjian Zhou, Zhenhua Ge

机构 * StepOs（未知） ； ShanghaiTech University（上海科技大学） ； Xiamen University（厦门大学） ； Chongqing University（重庆大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对稀疏MoE模型在有限内存下部署及专家卸载的传输瓶颈问题，提出SpecPrefetch框架，通过分离传输预测与执行路由，结合窗口感知调度器，提升专家召回率和设备解码吞吐量。

Agent Harness Distillation: Inference-Time Harness Extraction and Exploitation in Autonomous Multi-Agent Systems

智能体调控蒸馏：自主多智能体系统中的推理时调控提取与利用

Yu Cui, Wuli Yang, Yirui Shi, Junhao Xia, Hui Jiang, Lei Gao, Chenfu Bao

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出AHD框架，将AMAS推理时调控提取形式化为新安全问题，实验证实其可提取调控致IP泄露，还提出对应欺骗防御，揭示AMAS新安全威胁。

Comments This work is currently in progress

Emission-Forecasting-Based Spatial-Temporal Carbon Response: A Multi-Agent Attention-Enhanced Deep Learning Framework

基于排放预测的时空碳响应：多智能体注意力增强深度学习框架

Feiyu Cai, Jing Qiu, Yi Yang, Chenxi Zhang, Xinlei Wang, Baichuan Liu, Junhua Zhao

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对电力系统低碳调度延迟问题，提出多智能体注意力增强深度学习框架，可提前预测节点碳强度，在改进IEEE 33节点系统测试下减排超30%，推动主动碳管理。

Comments 31 pages, 11 figures

A Cross-Architecture Audit of Direction-Based Inference-Time Defences in Vision-Language Models

跨架构视觉语言模型中基于方向的推理时防御措施审计

Xiangyu Yin, Tora Bodin, Rohan Menon, Chih-Hong Cheng

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 该研究审计了视觉语言模型中5种基于方向的推理时防御，发现其性能具架构特异性，部分防御间几何重叠，需按解码器家族单独校准。

Memory Efficient Tabular Foundation Models

内存高效的表格基础模型

Shuting Luo, Monika Mikhail Kanaan, Cameron Gordon, Anna Leontjeva, Simon Lucey

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文研究表格基础模型的内存需求，采用模型压缩方法可实现最高7.6倍内存缩减，同时保持相近性能，降低近87%部署需求，为从业者高效部署这类模型提供见解。

Comments 12 pages, 3 figures Accepted at FMSD @ ICML 2026

Journal ref FMSD @ ICML 2026