arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-08-17 至 2026-08-17 共收录 44 信号源:cs.CL, cs.AI, cs.LG

1. 效率与部署 44 篇

2608.14094 2026-08-17 cs.CR cs.AI 新提交 93%

P2Skill: Privacy Preserving Skill Distillation for Cloud-Local LLM Inference Systems

P2Skill:面向云-本地大语言模型推理系统的隐私保护技能蒸馏

Myunghoon Ryu, Geunpyo Park, Sungjoon Lee, XinYu Piao, Jong-Kook Kim

专题命中 效率与部署 :LLM(title,summary_cn);SLM(summary_cn,abstract);language model(abstract);small language model(abstract)

AI总结 针对云-本地LLM推理系统的P2Skill,通过技能提示实现本地SLM自主处理PII相关操作,无需隐私微调,在四领域基准上的隐私保护推理质量较基线提升1.69倍、3.66倍。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13767 2026-08-17 cs.AI cs.RO 新提交 92%

Simulation-Aware In-Context Policy Improvement for LLM-Aided Analog Layout Refinement

面向LLM辅助的模拟电路版图优化的感知仿真上下文内策略改进

Bingyang Liu, Ziming Wei, Xiaohan Gao, David Z. Pan

机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对LLM辅助模拟版图优化的样本效率问题,提出感知仿真的LLM多智能体框架,通过上下文内策略改进,仅需数十次仿真即可提升后版图性能,优于生成器启发式规则与贝叶斯优化方法。

Comments 7 pages, 3 figures. To appear in the Proceedings of the 2026 International Conference on LLM-Aided Design (ICLAD 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13573 2026-08-17 cs.AI 新提交 92%

A Year in LLM Serving: Workload Evolution, Caching and Load-Balancing

LLM 服务的一年:工作负载演变、缓存与负载均衡

William Nixon, Jon Durbin, Florian Standhartinger, Haryadi S. Gunawi, Juncheng Yang

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 该研究通过分析 Chutes 一年的 LLM 生产请求轨迹,揭示了 LLM 服务工作负载的演变规律与用户-模型结构,并将发布完整轨迹供后续研究使用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14376 2026-08-17 cs.OS cs.PF 新提交 91%

CoRun: Padding is Simple and Efficient for Deterministic LLM Inference

CoRun:填充对于确定性大语言模型(LLM)推理而言简单且高效

Shiju Zhao, Jiacheng Yang, Qihang Chen, Junhao Hu, Jiaqi Zheng, Guihai Chen, Xusheng Chen

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract)

AI总结 CoRun利用LLM内核的位置不变性,通过独立预填充和固定形状批量解码的调度系统,在保证确定性推理的同时提升了LLM的吞吐量并降低了延迟。

Comments 13 pages, 14 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14065 2026-08-17 cs.SE cs.AI 新提交 90%

Rethinking Automated Program Repair: The Impact of Bug Complexity, Fault Localization, and LLM Cost-efficiency

重新思考自动程序修复:缺陷复杂度、缺陷定位与大语言模型成本效率的影响

Junchi Liu, Ali Bigdeli, Roya Daneshi, Atu Ambala, Sudipto Ghosh, Fabio Santos

专题命中 效率与部署 :LLM(title,summary_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本研究通过实证分析,发现中等复杂度缺陷可超50%由低成本LLM修复,不精确缺陷定位会扩大APR技术差距,高成本LLM与强推理设置并非总能提升成本效率,DeepSeek-V3.2成本效率最优。

Comments 20 pages, 6 figures, 10 tables. Accepted at ESEM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.12921 2026-08-17 cs.MA cs.AI 版本更新 90%

Discovering Efficient and Explainable Communication Topologies for LLM-based Multi-Agent Systems via Causal Inference

通过因果推理发现基于大语言模型的多智能体系统的高效且可解释的通信拓扑

Junzhi Li, Peng He, Qirui Ji, Wei Wang, Lixiang Liu, Chuxiong Sun

专题命中 效率与部署 :LLM(title,summary_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 该研究针对基于LLM的多智能体系统通信拓扑可解释性不足的问题,提出模型无关框架E2-Explainer,通过因果推理识别关键通信子图,在保持任务性能的同时降低了通信成本。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13591 2026-08-17 cs.AI cs.CL 新提交 90%

Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors

大语言模型中的稳定校准误差:高置信度错误的实用视角

Akira Okutomi

机构 * ToppyMicroServices OÜ

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);prompting(abstract);分类 cs.CL、cs.AI

AI总结 本研究提出稳定校准误差概念,结合两类诊断方法,发现自我批判提示可降低模型隐藏状态敏感性,但高置信度错误未必是推理脆弱,部分或为稳定校准不当。

Comments Accepted at the 2nd Workshop on Epistemic Intelligence in Machine Learning (EIML)@ICML 2026. 7 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13580 2026-08-17 cs.CL cs.AI 新提交 90%

Jais 2: A Family of Arabic-Centric Open Large Language Models

Jais 2:以阿拉伯语为核心的开源大语言模型家族

Mohamed Anwar, Abed Alhakim Freihat, George Ibrahim, Mostafa Awad, Abdelrahman Sadallah, Gurpreet Gosal, Gokulakrishnan Ramakrishnan, Sarath Chandran, Biswajit Mishra, Rituraj Joshi, Ahmed Frikha, Etienne Goffinet, Abhishek Maiti, Ali El Filali, Sarah AlBarri, Samujjwal Ghosh, Rahul Pal, Parvez Mullah, Awantika Shukla, Sajid siddiki, Samta Kamboj, Onkar Pandit, Sunil Kumar Sahu, AbdelRahman Elbadawy, Amr Mohamed, Ahmad Chamma, Evan Dufraisse, Abdelaziz Bounhar, Dani Bouch, Hadi Abdine, Guokan Shang, Fajri Koto, Yuxia Wang, Zhuohan Xie, Ali Mekky, Rania Elbadry, Sarfraz Ahmad, Momina Ahsan, Omar El Herraoui, Daniil Orel, Hasan Iqbal, Kareem Elzeky, Mervat Abassy, Kareem Elozeiri, Saadeldine Eletter, Farah Atif, Nurdaulet Mukhituly, Haonan Li, Xudong Han, Aaryamonvikram Singh, Zainul Abedien Ahmed Quraishi, Neha Sengupta, Larry Murray, Avraham Sheinin, Joel Hestness, Natalia Vassilieva, Hector Xuguang Ren, Zhengzhong Liu, Michalis Vazirgiannis, Preslav Nakov

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL、cs.AI

AI总结 Jais 2是MBZUAI等联合开发的以阿拉伯语为核心的开源大语言模型家族,含70B、8B参数变体,在阿拉伯语及文化相关基准上表现领先,已开源并部署为多平台聊天应用,可支撑相关研究开发。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13868 2026-08-17 cs.AR 新提交 89%

Exploring High-Bandwidth Flash for Modern LLM Inference: Opportunities and Challenges

探索用于现代大语言模型推理的高带宽闪存:机遇与挑战

Dowon Son, Yonggon Park, Hyunuk Cho, Hyungkyu Ham, Onur Mutlu, Sungjin Lee, Gwangsun Kim, Jisung Park

专题命中 效率与部署 :LLM(title,summary_cn);large language model(abstract);language model(abstract)

AI总结 本研究分析高带宽闪存(HBF)用于大语言模型(LLM)推理的机遇与挑战,发现HBF可提升LLM服务系统性能并降低GPU需求,但需维持类HBM读取带宽并提升耐用性。

Comments 4 pages, 7 figures, IEEE Computer Architecture Letters (CAL)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13127 2026-08-17 cs.AR 版本更新 89%

Potential Applications of HBF in LLM Serving Systems

HBF在大语言模型(LLM)服务系统中的潜在应用

Yihan Yin, Yinlun Zhao, Zhixin Yun, Guanying Wu, Feng Zhu, Kai Tao, Shu Li, Fei Huang, Zhe Zhang, Shuangchen Li, Hongzhong Zheng

专题命中 效率与部署 :LLM(title,title_cn)

AI总结 该研究针对LLM服务的内存容量限制,提出将HBF集成到GPU内存层级的方案,通过仿真验证其可提升MoE和多模型服务性能,需保留HBM驻留执行路径。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.15732 2026-08-17 cs.CV 版本更新 88%

IoU-PD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

IoUPD:用于多模态大语言模型视觉定位的IoU感知特权蒸馏

Xiuyuan Zhu, Ke Lu, Hao Wu, Siwen Jiao, Zijin Du, Dongming Zhang, Jian Xue

机构 * University of Chinese Academy of Sciences(中国科学院大学) State Key Laboratory of Communication Content Cognition(通信内容认知技术国家重点实验室) Peng Cheng Laboratory(鹏城实验室)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract)

AI总结 研究多模态大语言模型视觉定位中训练与评估不匹配问题,提出IoUPD方法,利用真实框作特权指导,训练时学生模型接收原始信息,教师模型接收增强提示,经监督微调与特权蒸馏损失训练,推理时无需额外模块,实验显示该方法有改进。

Comments 16 pages, 7 figures, 10 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13926 2026-08-17 cs.AI cs.CL cs.DB 新提交 87%

Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact

绝非数字:将答案作为事实使用的AI系统的结构弃权

Zhelun (Allen)Wu

机构 * Apple Inc.(苹果公司)

专题命中 效率与部署 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 针对LLM文本转SQL系统返回错误答案且无法区分的问题,提出带生成式外壳的可信内核架构,即结构弃权,在生产案例中验证其可靠性优于两种生成式替代方案。

Comments 26 pages, 5 figures, 5 tables. Technical report. Describes architecture and design principles only; contains no code, schemas, datasets, or performance metrics

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13576 2026-08-17 cs.HC cs.LG q-bio.NC 新提交 86%

BCIJelly: An integrated ecosystem for brain-computer interface research

BCIJelly:用于脑机接口研究的集成生态系统

Liyuan Han, Xinrui Yang, Tianyu Zheng, Qizhi Yang, Yitao Qin, Liang Chen, Qinglai Wei, Binjie Hong, Xinhe Zhang, Rui Xiong, Yong Gu, Mu-ming Poo, Bo Xu, Chengyu Li, Tielin Zhang

专题命中 效率与部署 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 BCIJelly是集成多类BCI数据集、解码器及工具的Python生态系统,可通过AAS与LLM支持多任务跨物种解码,经多范式多物种验证,为BCI研究提供统一可扩展的开发部署基础设施。

Comments 67 pages, 6 figures, 7 extended data figures, 20 supplementary tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.10538 2026-08-17 cs.AI 版本更新 86%

SKILLER: Language-Level Reinforcement Learning for Reusable Skill Extraction in Small Language Models

SKILLER:面向小型语言模型可复用技能提取的语言级强化学习框架

Chenhao Dang, Siyuan Xiong, Conghui He, Weijia Li

专题命中 效率与部署 :language model(title,abstract);small language model(title);分类 cs.AI

AI总结 研究针对小型语言模型技能生成成本高的问题,提出SKILLER框架,经实验在多基准上优于现有方法,性能接近闭源模型,可大幅降低智能体技能部署成本。

Comments 15 pages, 6 figures, and 8 tables. Project and code: this https URL (https://github.com/DANG-ai/SKILLER)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23815 2026-08-17 cs.DB cs.AI cs.CL 版本更新 86%

Kalypso: Relational LLM Serving

卡利普索:关系型大语言模型服务

Hojae Son, Md Ashraful Islam, Huy Gia Cao, Hui Guan, Marco Serafini

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 研究如何提升大语言模型服务语义查询效率,提出关系型大语言模型服务,通过跨语义运算符流水线执行复用KV缓存状态,卡利普索系统利用自适应算法执行查询计划,解决在线调度问题,相比基线系统大幅提高查询完成时间。

Comments 14 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14333 2026-08-17 cs.AR 新提交 85%

Beyond Capacity: Scalable MoE LLM Inference via High-Bandwidth Flash with Direct GPU and HBM Paths

超越容量:通过具有直接GPU和HBM路径的高带宽闪存实现可扩展的MoE大语言模型推理

Seeyeon Kim, Juhyeong Jin, Joo-Young Kim

专题命中 效率与部署 :LLM(title,abstract);language model(abstract)

AI总结 该研究针对MoE大语言模型推理的HBM容量瓶颈,提出同时利用HBF到GPU的直接路径和HBF经HBM到GPU的中继路径的架构,可提升专家传递效率,实现1.94倍吞吐量与1.90倍端到端加速。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13831 2026-08-17 eess.AS cs.CL 新提交 84%

VoiceChat-TTS: A Low-Latency Continuous Speech Synthesis Model for Interactive Agents

VoiceChat-TTS:面向交互智能体的低延迟连续语音合成模型

Edresson Casanova, Jaehyeon Kim, Mariana Graterol Fuenmayor, Shehzeen Hussain, Viacheslav Klimkov, Valentin Mendelev, Mikyas Desta, Paarth Neekhara, Piotr Zelasko, Chen Chen, Elena Rastorgueva, Ke Hu, Ankita Pasad, Xuesong Yang, Aya Alja'fari, Rajarshi Roy, Rohan Badlani, Jason Roche, Jason Li, Zhehuai Chen

专题命中 效率与部署 :LLM(summary_cn,abstract);language model(abstract);分类 cs.CL

AI总结 针对现有语音模型延迟高、无法处理用户插话的问题,提出VoiceChat-TTS模型,由LLM文本令牌流驱动,支持语句中途中断且不重置KV缓存,在保证高语音质量的同时实现低延迟连续语音合成。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.01785 2026-08-17 cs.CL cs.SE 版本更新 83%

Seeing is Coding: On the Effectiveness of Vision Language Models in Code Understanding

CodeOCR: 关于视觉语言模型在代码理解中的有效性

Yuling Shi, Chaoxiang Xie, Zhensu Sun, Yeheng Chen, Chenxu Zhang, Longfei Yun, Chengcheng Wan, Hongyu Zhang, David Lo, Xiaodong Gu

机构 * Shanghai Jiao Tong University China Hohai University China Singapore Management University Singapore Imperial College London United Kingdom East China Normal University \& Shanghai Innovation Institute China Chongqing University China Shanghai Jiao Tong University Hohai University Singapore Management University Imperial College London East China Normal University \& Shanghai Innovation Institute Chongqing University

专题命中 效率与部署 :language model(title,abstract);large language model(abstract);分类 cs.CL

AI总结 本文探讨多模态大语言模型在代码理解中的有效性,发现其可通过图像压缩显著提升效率,并在代码克隆检测等任务中表现出更强的抗压缩能力。

Comments ISSTA 2026 camera ready. Code and data are available at this https URL (https://github.com/YerbaPage/CodeOCR)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14397 2026-08-17 cs.AI cs.CL 新提交 82%

LLMs Don't Pay for the Jump

大语言模型不承担“跳跃”的代价

Paras Balani, Subhrakanta Panda

机构 * Birla Institute of Technology and Science, Pilani(毕拉理工与科学学院皮拉尼分校)

专题命中 效率与部署 :large language model(abstract,abstract_cn);language model(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 该研究指出LLMs无法完成催生科学发现的溯因“跳跃”,因固定权重Transformer推理缺乏认知误差与物理代价的耦合,提出机器溯因需更深层物理机制的核心观点。

Comments 14 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13844 2026-08-17 cs.LG cs.AI cs.DC 新提交 82%

Federated Prompt Learning: A Unified Framework, Empirical Analysis, and Future Directions

联邦提示学习:统一框架、实证分析与未来方向

Qinglin Yang, Chen Qiu, Hongyuan Zhang, Pengdeng Li, Yuan Liu, Zhihong Tian

机构 * Cyberspace Institute of Advanced Technology, Guangzhou University(广州大学先进技术网络空间研究院) Huangpu Research School of Guangzhou University(广州大学黄埔研究院) Iwate Biotechnology Research Center(岩手生物技术研究中心) Nanjing University of Posts and Telecommunications(南京邮电大学)

专题命中 效率与部署 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文为联邦提示学习(FPL)的全面综述,明确其与传统联邦学习及全模型联邦微调的差异,分析其多维度权衡与现存挑战,梳理全生命周期方法及防御机制,为该领域研究提供方向。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13723 2026-08-17 cs.RO 新提交 80%

Graph-MambaNav: Spatial-Temporal Graph Mamba Leveraging Object-Relation Knowledge for Object-Goal Navigation

Graph-MambaNav:利用对象关系知识的时空图Mamba用于目标对象导航

Leyuan Sun, Genxin Chen, Linwei Ye, Yan Zhang, Xi Kan, Yanfei Sun

机构 * School of Internet of Things Engineering, Wuxi University(无锡大学物联网工程学院) School of Communications and Information Engineering, Nanjing University of Posts and Telecommunications(南京邮电大学通信与信息工程学院)

专题命中 效率与部署 :LLM(summary_cn,abstract)

AI总结 本研究提出Graph-MambaNav,一种结合LLM常识对象关系的目标感知时空图编码框架,通过节点排序与Mamba建模实现高效导航,在仿真环境表现优异且泛化性好,经真实机器人部署验证有效。

Comments Accepted by IEEE Robotics and Automation Letters (IEEE RA-L), will transfer to 2027 IEEE International Conference on Robotics & Automation (ICRA)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.09075 2026-08-17 cs.CR cs.AR 版本更新 80%

SLAC: Access-Driven CPU-to-GPU Side-channel Attacks via System-Level Cache on Apple Silicon

SLAC:基于Apple Silicon系统级缓存的访问驱动CPU到GPU侧信道攻击

Tianhong Xu, Saion K. Roy, Ruyi Ding, Aidong Adam Ding, Yunsi Fei

专题命中 效率与部署 :LLM(summary_cn,abstract)

AI总结 本研究针对Apple Silicon异构SoC发现GPU内存访问会在共享SLC留下可被CPU观测的集合级足迹,提出CPrime+CProbe及加速变体GPrime+CProbe侧信道技术,实现GNN图边重构与LLM隐私攻击,揭示Apple Silicon的微架构漏洞。

Comments Accepted to ACM CCS 2026. 15 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13932 2026-08-17 cs.LG 新提交 79%

Post-training Quantization for Hybrid Iterative Generative Models

混合迭代生成模型的训练后量化

Jing Gao, Junyi Wu, Wei Wang, Yan Yan, Yao Zhao

机构 * Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所) University of Illinois Chicago(伊利诺伊大学芝加哥分校)

专题命中 效率与部署 :post-training(title,abstract);分类 cs.LG

AI总结 针对混合迭代生成模型训练后量化易引发模型崩溃的问题,提出HyGenQ框架,通过分层聚类解耦与缩放重校准,成功将其量化至8位精度且性能优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14385 2026-08-17 cs.LG cs.AI 新提交 79%

DeaMoE: Efficient MoE Structure for Fast Small-Batch Decoding

DeaMoE:用于快速小批量解码的高效MoE结构

Zewen Jin, Shen Fu, Zeping Duan, Shannon Wang, Weihao Wu, Chengjie Tang, Congkun Ai, Ping Gong, Zijian Dai, Youhui Bai, Cheng Li

机构 * University of Science and Technology of China(中国科学技术大学) Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院) Shanxi University(山西大学)

专题命中 效率与部署 :LLM(abstract,abstract_cn);post-training(abstract);分类 cs.AI、cs.LG

AI总结 针对小批量解码下MoE模型专家权重加载的瓶颈,提出DeaMoE架构,通过专家分组共享参数与两阶段路由策略提升效率,在多款模型及显卡上实现显著速度提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13966 2026-08-17 cs.LG cs.CL stat.ML 新提交 79%

QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction

QUASAR:通过损失感知重构降低量化感知训练的损失下限

Vincent Counathe, Ben Athiwaratkun, Christopher De Sa, Tianyi Zhang

机构 * Together AI Cornell University(康奈尔大学)

专题命中 效率与部署 :large language model(abstract);language model(abstract);post-training(abstract);分类 cs.CL、cs.LG

AI总结 QUASAR是一种QAT方法,通过训练循环中轻量级损失感知重构降低大语言模型量化损失下限,在2-4比特下优于现有方法,提升了低比特模型准确率。

Comments 39 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23132 2026-08-17 cs.CV 版本更新 78%

T-VSS: Test-Time Visual Subspace Steering for Adversarial Robustness of Vision-Language Models

T-VSS:面向视觉语言模型对抗鲁棒性的测试时视觉子空间引导

Jaehyuk Jang, Minseok Seo, Seungju Cho, Kangwook Ko, Changick Kim

机构 * School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)

专题命中 效率与部署 :language model(title,abstract)

AI总结 提出T-VSS方法,通过在视觉特征空间中构建样本特定的低秩子空间并学习共享特征校正,直接适应受攻击特征,提升视觉语言模型的对抗鲁棒性,同时保持清洁准确率和效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.14392 2026-08-17 cs.AI 新提交 77%

Tripwire: Triggering Aligned Refusal via Statistically Certified Safety Neurons

Tripwire:通过统计验证的安全神经元触发对齐后的拒绝行为

Wei Zhao, Zhe Li, Peixin Zhang, Jun Sun

专题命中 效率与部署 :LLM(abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出无需训练的Tripwire防御方法,通过统计验证安全神经元触发对齐拒绝,将攻击成功率降至最高2.0%,MT-Bench实用性下降仅0.5%-5.3%,为最优防御之一。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13925 2026-08-17 cs.LG cs.AI cs.CL 新提交 75%

CForce: Boosting Parallel Decoding for dLLMs via Consistency Forcing

CForce:通过一致性强制提升扩散大语言模型(dLLMs)的并行解码性能

Yuji Ren, Chenkai Xu, Zhuocheng Gong, Jianguo Li, Zhijie Deng

机构 * Shanghai Jiao Tong University(上海交通大学) Ant Group(蚂蚁集团)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CForce方法,通过一致性强制提升dLLMs的并行解码性能,在LLaDA模型上实验证实其在高并行解码预算下可优化速度-质量权衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.13756 2026-08-17 cs.LG 新提交 74%

The Integer Alibi: Localizing Cross-Kernel Divergence in INT8-Quantized LLM Inference

整数不在场证明:定位INT8量化大语言模型推理中的跨内核差异

Teng-Ruei Chen

机构 * Krixvon(克里克斯冯公司)

专题命中 效率与部署 :LLM(title);分类 cs.LG

AI总结 该研究验证了vLLM中INT8线性内核(CUTLASS与Triton)的可互换性,定位到差异源于累加器后的缩放应用与输出舍入,提出的干预措施可恢复端到端逐位一致,还揭示了FP8 GEMM差异的不同特征并发布相关一致性检查流程。

Comments 10 pages (IEEEtran two-column), 4 figures, 4 tables. Pre-registered protocol with append-only amendments; measurement artifacts and per-run manifests with kernel-selection evidence are described in the artifact statement. Companion to arXiv:2608.11693 (https://arxiv.org/abs/2608.11693)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28642 2026-08-17 cs.AI 版本更新 70%

Parameter- and Bandwidth-Efficient Edge--cloud Many-to-Many Speech-to-Text Translation

带宽高效且隐私保护的边缘-云多对多语音翻译

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Lei Chen, Ming Liu, Bing Qin, Yang Xiang

机构 * Harbin Institute of Technology(哈尔滨工业大学) Pengcheng Laboratory(鹏城实验室)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出边缘-云协同框架ESRT,通过分割推理架构压缩中间特征实现带宽降低10倍和语音隐私保护,并采用多任务加权课程学习策略实现45种语言的多对多语音翻译。

详情

展开后加载摘要…

URL PDF HTML 收藏