语言大模型 / LLM

SEPTQ: A Simple and Effective Post-Training Quantization Paradigm for Large Language Models

SEPTQ：一种用于大型语言模型的简单且有效的后训练量化范式

Han Liu, Haotian Gao, Xiaotong Zhang, Changya Li, Feng Zhang, Wei Wang, Fenglong Ma, Hong Yu

机构 * Dalian University of Technology（大连理工大学） ； Peking University（北京大学） ； Shenzhen MSU-BIT University（深圳北理莫斯科大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；分类 cs.CL

AI总结 SEPTQ提出了一种简化后训练量化流程的方法，通过重要性评分和静态全局确定量化位置，提升低比特量化下的性能。

Comments Accepted to KDD 2025. 12 pages, 10 figures

EdgeCIM: A Hardware-Software Co-Design for CIM-Based Acceleration of Small Language Models

EdgeCIM: 一种基于CIM的边缘设备小型语言模型加速的软硬件协同设计

Jinane Bazzi, Mariam Rakka, Fadi Kurdahi, Mohammed E. Fouda, Ahmed Eltawil

机构 * King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） ； University of California Irvine（加利福尼亚大学尔湾分校） ； Rain Neuromorphics Inc.（Rain Neuromorphics公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract)；分类 cs.AI

AI总结 本文提出EdgeCIM，一种针对边缘设备小型语言模型加速的软硬件协同设计框架，通过CIM宏和基于瓷砖的映射策略提升并行性并缓解DRAM带宽瓶颈，实现更高的吞吐量和能效。

Beyond A Fixed Seal: Adaptive Stealing Watermark in Large Language Models

超越固定水印：大语言模型中的自适应窃取水印

Shuhao Zhang, Yuli Chen, Jiale Han, Bo Cheng, Jiabao Ma

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出自适应窃取算法，通过位置基水印构建和自适应选择模块提升水印窃取效率，增强对抗攻击的灵活性和有效性。

Comments 18 pages,6 figures

Characterizing Performance-Energy Trade-offs of Large Language Models in Multi-Request Workflows

刻画大规模语言模型在多请求工作流中的性能-能耗权衡

Md. Monzurul Amin Ifath, Israat Haque

机构 * Dalhousie University（达尔豪斯大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文研究了多请求工作流中大规模语言模型的性能与能耗权衡，通过四个代表性工作负载分析关键能耗参数对延迟、吞吐量和组件能耗的影响，揭示了批处理大小、GPU供电限制和引擎优化对能耗的差异影响。

Cache Your Prompt When It's Green: Carbon-Aware Caching for Large Language Model Serving

在绿色时缓存提示：面向大型语言模型服务的碳感知缓存

Yuyang Tian, Desen Sun, Yi Ding, Sihang Liu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文提出GreenCache框架，通过动态资源分配平衡碳排放与服务等级协议，实现在LLM服务中减少15.1%的碳排放，最高达25.3%。

Resource Consumption Threats in Large Language Models

大语言模型中的资源消耗威胁

Yuanhe Zhang, Xinyue Wang, Zhican Chen, Weiliu Wang, Zilu Zhang, Zhengshuo Gong, Zhenhong Zhou, Kun Wang, Li Sun, Yang Liu, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Nanyang Technological University（南洋理工大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文系统回顾了大语言模型中资源消耗威胁，分析其影响并提出统一视角，旨在明确问题领域以支持后续建模和缓解措施。

Optimizing Large Language Models: Metrics, Energy Efficiency, and Case Study Insights

优化大语言模型：指标、能效与案例研究洞察

Tahniat Khan, Soroor Motie, Sedef Akinli Kocak, Shaina Raza

机构 * Vector Institute（向量研究所） ； University of Ottawa（渥太华大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了在大语言模型部署中整合能效优化技术，通过量化和本地推断技术降低碳足迹，实验表明可减少45%的能耗和碳排放，适用于资源受限环境。

Tango: Taming Visual Signals for Efficient Video Large Language Models

Tango：驯服视觉信号以提高视频大语言模型的效率

Shukang Yin, Sirui Zhao, Hanchao Wang, Baozhi Jia, Xianquan Wang, Chaoyou Fu, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Reconova AI Lab（Reconova AI实验室） ； Nanjing University（南京大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 Tango通过改进注意力选择和相似性聚类方法，优化视频大语言模型的视觉信号利用，实现在保留10%视频token时性能损失仅0.1%，推理速度提升1.88倍。

Comments Code: https://github.com/xjtupanda/Tango

WebLLM: A High-Performance In-Browser LLM Inference Engine

WebLLM：一种高性能的浏览器内LLM推理引擎

Charlie F. Ruan, Yucheng Qin, Akaash R. Parthasarathy, Xun Zhou, Ruihang Lai, Hongyi Jin, Yixin Dong, Bohan Hou, Meng-Shiun Yu, Yiyan Zhai, Sudeep Agarwal, Hangrui Cao, Siyuan Feng, Tianqi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Shanghai Jiao Tong University（上海交通大学） ； NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 WebLLM通过JavaScript框架在浏览器内实现高性能LLM推理，利用WebGPU和WebAssembly结合MLC-LLM和Apache TVM优化，实现80%的本地性能，推动隐私保护的本地化LLM应用。

CONSCIENTIA: Can LLM Agents Learn to Strategize? Emergent Deception and Trust in a Multi-Agent NYC Simulation

CONSCIENTIA：LLM代理能否学会策略性行为？多智能体纽约市模拟中的涌现欺骗与信任

Aarush Sinha, Arion Das, Soumyadeep Nag, Charan Karnati, Shravani Nag, Chandra Vadhan Raj, Aman Chadha, Vinija Jain, Suranjana Trivedy, Amitava Das

机构 * University of Copenhagen（哥本哈根大学） ； IIIT Ranchi（印度信息技术学院兰契分校） ； ISI Kolkata（印度统计学院加尔各答分校） ； NIT Andhra Pradesh（印度国家理工学院安得拉邦分校） ； IGDTUW（英迪拉·甘地德里技术女子大学） ； IIT Kharagpur（印度理工学院卡哈拉格普尔分校） ； Google DeepMind（谷歌DeepMind） ； Google（谷歌） ； AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过多智能体模拟探讨LLM在对抗性环境中的策略行为，发现智能体在导航中表现出有限的策略性，包括选择性信任与欺骗，但易受对抗性说服影响。

Self-Calibrating Language Models via Test-Time Discriminative Distillation

通过测试时判别蒸馏实现自校准语言模型

Mohamed Rissal Hedna, Jan Strich, Martin Semmann, Chris Biemann

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；small language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SECL方法，利用模型在回答正确性问题时的真实概率与声明置信度之间的差距进行无监督训练，有效降低校准误差，优于现有方法。

Comments Submitted to ACL March 26

ChatInject: Abusing Chat Templates for Prompt Injection in LLM Agents

ChatInject: 利用聊天模板对LLM代理进行提示注入

Hwan Chang, Yonghyun Jun, Hwanhee Lee

机构 * Department of Artificial Intelligence, Chung-Ang University（中央大学人工智能系） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究提出ChatInject攻击，通过模拟聊天模板诱导LLM代理执行恶意指令，实验显示其攻击成功率显著高于传统方法，且现有防御措施对多轮对话变种效果有限。

Comments ICLR 2026

Flow-Controlled Scheduling for LLM Inference with Provable Stability Guarantees

具有可证明稳定性的LLM推理流控制调度

Zhuolun Dong, Junyu Cao

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种流控制框架，通过控制提示加入活跃集的速度，解决LLM推理中解码长度未知导致的内存溢出问题，并证明算法的稳定性。

LLM-based Realistic Safety-Critical Driving Video Generation

基于LLM的现实安全关键驾驶视频生成

Yongjie Fu, Ruijian Zha, Pei Tian, Xuan Di

机构 * Department of Civil Engineering and Engineering Mechanics, Columbia University（哥伦比亚大学土木工程与工程力学系） ； Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用LLM生成少样本代码实现安全关键驾驶场景生成，结合CARLA模拟器与Cosmos-Transfer1和ControlNet生成真实驾驶视频，提升自动驾驶测试效率。

ConfigSpec: Profiling-Based Configuration Selection for Distributed Edge--Cloud Speculative LLM Serving

ConfigSpec：基于配置分析的分布式边缘-云推测LLM服务配置选择

Xiangchen Li, Saeid Ghafouri, Jiakun Fan, Babar Ali, Hans Vandierendonck, Dimitrios S. Nikolopoulos

机构 * Queen's University Belfast（贝尔法斯特女王大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出ConfigSpec框架，通过分析边缘设备和草案模型对齐，评估不同配置下的吞吐量、验证成本效率和能耗，揭示了在边缘-云LLM推理中配置优化的结构性冲突。

Comments 6 Pages, 6 figures, accepted by the 4th International Workshop on Testing Distributed Internet of Things Systems (TDIS 2026)

Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration

低秩优化轨迹建模用于LLM RLVR加速

Zhipeng Chen, Tao Qian, Wayne Xin Zhao, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； China University of Mining and Technology (Beijing)（中国矿业大学（北京）） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出NExt框架，通过非线性插值方法建模和预测LLM参数轨迹，降低RLVR训练计算开销，提升模型性能。

Comments Working in progress

LLM-enabled Antenna Partitioning and Beamforming Optimization for Segmented Pinching

基于大语言模型的天线分区与波束成形优化用于分段捏合

Qian Gao, Ruikang Zhong, Hyundong Shin, Yuanwei Liu

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于大语言模型的框架，用于优化分段捏合天线辅助的集成感知与通信系统，通过构建CSI诱导自图和任务特定头，实现天线部署、分区和波束成形的联合预测，提升系统适应性。

Comments arXiv admin note: substantial text overlap with arXiv:2604.10256. arXiv admin note: substantial text overlap with arXiv:2604.10256

fabric-lib: RDMA Point-to-Point Communication for LLM Systems

fabric-lib: 用于LLM系统的RDMA点对点通信

Nandor Licker, Kevin Hu, Vladimir Zaytsev, Lequn Chen

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 fabric-lib通过统一接口实现灵活的点对点通信，支持异步强化学习微调和MoE路由，提升吞吐量并增强硬件兼容性。

Improving Dynamic Specification Inference with LLM-Generated Counterexamples

通过LLM生成的反例改进动态规范推断

Agustín Balestra, Agustín Nolasco, Facundo Molina, Diego Garbervetsky, Renzo Degiovanni, Nazareno Aguirre

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文利用大语言模型生成反例以提高动态规范推断的精度，实验表明可减少无效断言并提升精度7%。

LLM-assisted Agentic Edge Intelligence Framework

基于大语言模型的代理边缘智能框架

Chinmaya Kumar Dehury, Siddharth Singh Kushwaha, Qiyang Zhang, Alaa Saleh, Praveen Kumar Donta

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出LEI框架，利用云托管的大语言模型协调设备端逻辑的生成与更新，通过生成轻量级程序并部署以适应变化条件，提升边缘计算的灵活性与资源效率。

Comments 35 pages, 22 Figures, Journal version

ForestPrune: High-ratio Visual Token Compression for Video Multimodal Large Language Models via Spatial-Temporal Forest Modeling

ForestPrune: 通过时空森林建模实现视频多模态大语言模型的高比率视觉令牌压缩

Shaobo Ju, Baiyang Song, Tao Chen, Jiapeng Zhang, Qiong Wu, Chao Chang, HuaiXi Wang, Yiyi Zhou, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 本文提出ForestPrune，一种无需训练的视频MLLM令牌压缩方法，通过时空森林建模实现高效高比率压缩，实验表明其在视频任务中效果优于现有方法。

Efficient Training for Cross-lingual Speech Language Models

多语言语音语言模型的高效训练

Yan Zhou, Qingkai Fang, Yun Hong, Yang Feng

机构 * Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（中国科学院计算技术研究所智能信息处理重点实验室） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所人工智能安全国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CSLM，通过离散语音标记实现多语言语音大模型的高效训练，采用持续预训练策略提升模态对齐质量，减少延迟，展现良好的语言扩展能力。

Comments Accepted to Findings of ACL 2026

Quotation-Based Data Retention Mechanism for Data Privacy in LLM-Empowered Network Services

基于引用的数据保留机制用于LLM赋能网络服务中的数据隐私

Bin Han, Di Feng, Zexin Fang, Jie Wang, Hans D. Schotten

机构 * RPTU University Kaiserslautern-Landau（凯泽斯劳滕-兰道大学） ； Dongbei University of Finance and Economics（东北财经大学） ； Tongji University（同济大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种迭代价格发现机制，使MNOs通过连续报价补偿用户数据保留，无需预先了解用户隐私偏好，有效提升网络生态的社会福利。

Comments Accepted by IEEE ICC 2026 WKSPS

HOG-Layout: Hierarchical 3D Scene Generation, Optimization and Editing via Vision-Language Models

HOG-Layout：通过视觉-语言模型实现层次化3D场景生成、优化与编辑

Haiyan Jiang, Deyu Zhang, Dongdong Weng, Weitao Song, Henry Been-Lirn Duh

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 HOG-Layout利用大语言模型和视觉-语言模型实现文本驱动的层次化3D场景生成、优化与实时编辑，通过检索增强生成技术提升语义一致性，结合优化模块增强物理一致性，实现高效场景编辑。

Comments CVPR 2026

Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents

Skill-SD：基于多轮LLM代理的技能条件自蒸馏

Hao Wang, Guozhi Wang, Han Xiao, Yufeng Zhou, Yue Pan, Jichao Wang, Ke Xu, Yafei Wen, Xiaohu Ruan, Xiaoxin Chen, Honggang Qi

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） ； The Chinese University of Hong Kong（香港中文大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； vivo AI Lab（vivo AI实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Skill-SD通过将代理自身轨迹转化为动态训练监督，结合重要加权反KL损失稳定训练，提升多轮LLM代理性能，实验显示优于标准RL和OPD方法。

Comments Project page: https://k1xe.github.io/skill-sd/

FS-DFM: Fast and Accurate Long Text Generation with Few-Step Diffusion Language Models

FS-DFM: 一种快速且准确的长文本生成方法：基于少步扩散语言模型

Amin Karimi Monsefi, Nikhil Bhendawade, Manuel Rafael Ciosici, Dominic Culver, Yizhe Zhang, Irina Belousova

机构 * The Ohio State University（俄亥俄州立大学） ； Apple（苹果公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 FS-DFM通过减少采样步骤数提升生成速度，同时保持生成质量，在语言模型基准测试中实现与传统扩散模型相当的性能，显著降低采样延迟和吞吐量。

Comments Accepted to ICLR 2026

Powerful Training-Free Membership Inference Against Autoregressive Language Models

针对自回归语言模型的强大无训练成员推断

David Ilić, David Stanojević, Kostadin Cvejoski

机构 * JetBrains Research（JetBrains 研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EZ-MIA方法，通过分析错误位置的概率偏差来检测细调语言模型的隐私风险，实验表明其在WikiText和AG News数据集上显著提高了检测率，为隐私审计提供了更有效的工具。

Comments 9 pages, 2 figures; appendix with additional experiments and derivations

Towards Efficient Large Vision-Language Models: A Comprehensive Survey on Inference Strategies

迈向高效的大型视觉-语言模型：关于推理策略的综合调查

Surendra Pathak, Bo Han

机构 * George Mason University（乔治梅森大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了提升大型视觉语言模型推理效率的最新方法，从视觉token压缩、内存管理、架构设计和解码策略四个维度进行分类，并指出当前方法的局限性及未来研究方向。

Comments 12 pages

SWE-Shepherd: Advancing PRMs for Reinforcing Code Agents

SWE-Shepherd：推进基于强化学习的代码代理的PRMs

Mahir Labib Dihan, Md Ashrafur Rahman Khan

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出SWE-Shepherd框架，通过引入过程奖励模型为代码代理提供密集的步骤级监督，提升代码代理在大型代码库中的交互效率和动作质量。

Comments Code is available at https://github.com/mahirlabibdihan/swe-shepherd

HetRL: Efficient Reinforcement Learning for LLMs in Heterogeneous Environments

HetRL：异构环境下高效的大语言模型强化学习

Yongjun He, Shuai Zhang, Jiading Gai, Xiyuan Zhang, Boran Han, Bernie Wang, Huzefa Rangwala, George Karypis

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出HetRL系统，通过混合调度算法和整数线性规划方法，解决异构GPU环境下大语言模型强化学习的调度问题，实验表明其在吞吐量上优于现有系统。

Comments To appear at MLSys 2026