arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 1859 信号源:cs.CL, cs.AI, cs.LG

1. 效率与部署 1859 篇

2607.25828 2026-07-29 cs.NI 新提交 88%

C-RE-ACT: Causal RE-ACTing Agent for O-RAN Forensic Triage

C-RE-ACT:用于O-RAN取证分类的因果反应代理

Pau Baguer, J. Xavier Salvat Lozano, Gines Garcia-Aviles, Xavier Costa-Pérez

专题命中 效率与部署 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 研究O-RAN架构下性能降级攻击难区分问题,提出C-RE-ACT框架,用结构不可知模型构建加权有向无环图,经图同构网络编码,在测试平台评估,能准确分离根本原因,提升LLM准确率及代理异常分类准确率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24447 2026-07-28 cs.CV 新提交 88%

RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models

RP - OPSD:用于多模态大语言模型的分辨率特权在线自蒸馏

Qihui Zhu, Yuchen Wang, Zijian Wen, Tao Zhang, Mengjie Zhang, Yang Liu, Shuangwu Chen, Siying Wu, Jian Yang, Xiaofeng Jiang

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract)

AI总结 研究针对多模态大语言模型在线自蒸馏问题,利用同一图像高低分辨率视图信息差提出RP - OPSD,学生策略用低分辨率图像生成轨迹,教师策略用原始分辨率图像监督,实验表明该方法能提升性能并加快训练速度,为在线自蒸馏提供有效途径。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22726 2026-07-28 cs.CV 新提交 88%

PCA: Persistence-Aware Compression and Aggregation for Fast Video Large Language Models

PCA:用于快速视频大语言模型的持久性感知压缩与聚合

Zihan Song, Shuo Ye, Bo Zhao, Ruixin Zhang, Jiayu Zhang, Shouhong Ding, Zitong Yu

机构 * Institute for Artificial Intelligence, Great Bay University(大湾区大学人工智能研究院) Sun Yat-sen University(中山大学) Youtu Lab, Tencent(腾讯优图实验室) Shenzhen University(深圳大学) Dongguan Key Laboratory for Intelligence and Information Technology(东莞市智能信息技术重点实验室)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract)

AI总结 研究视频大语言模型长时帧冗余问题,提出PCA方法,含动态下采样和持久性感知运动增强模块,能在编码前保留视觉信息,提升效率与准确性,优于现有方法,速度有显著提升。

Comments Accepted by ACM MM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22226 2026-07-27 cs.RO 新提交 88%

Offline Vision-Language Navigation with Geometric Goal Localization for Outdoor Environments

用于户外环境的基于几何目标定位的离线视觉语言导航

Ali Salmasi, Xianjia Yu, Tomi Westerlund

专题命中 效率与部署 :SLM(summary_cn,abstract);language model(abstract);foundation model(abstract);small language model(abstract)

AI总结 研究针对户外环境下的离线视觉语言导航,通过对17个可边缘部署的SLM与4个在线API进行基准测试,提出轻量级混合语义几何目标定位框架并集成到Edge-BehAV中,提升了性能,降低目标距离误差,实现无网络连接下的有效导航。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.15937 2026-07-20 cs.CR cs.SE 新提交 88%

The Language of Security: How Prompt Syntax Shapes Secure Code Generation in Open LLMs

安全语言:提示语法如何塑造开放语言模型中的安全代码生成

Matteo Cicalese, Antonio Della Porta, Stefano Lambiase, Emanuele Iannone, Torge Hinrichs, Riccardo Scandariato, Fabio Palomba

专题命中 效率与部署 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 研究开放语言模型中提示语法对安全代码生成的影响,采用解析器驱动方法生成句法变体并评估,发现特定句法元素及其位置影响代码安全性,为降低LLM辅助开发漏洞风险提供指导。

Comments Accepted at ICSME 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09008 2026-07-13 cs.CV 新提交 88%

C-GAP: Class-Aware and Online Prompting Improves Vision-Language Models on Imbalanced Classes

C-GAP:类感知与在线提示改进不均衡类上的视觉语言模型

Francis Fernandez, Arash Jahangiri, Salimeh Sekeh

机构 * San Diego State University(圣地亚哥州立大学)

专题命中 效率与部署 :prompting(title,abstract);language model(title);LLM(abstract)

AI总结 研究针对安全关键感知系统检测小标签空间中罕见物体类别的问题,提出C-GAP框架,通过建立复合字幕基线并利用语言模型迭代细化提示,无需更新检测器权重,有效提升少数类检测精度,实验证明其成效显著。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02930 2026-07-07 cs.CV 新提交 88%

CL-Anomaly: Layer-Adaptive Mixture-of-Experts with Multimodal Large Language Model for Continual Learning in Anomaly Detection

CL-Anomaly:用于异常检测中持续学习的具有多模态大语言模型的层自适应专家混合模型

Wen Dong, Zhao Wang, Shuangqing Zhang, Kai Sun, Ben Li, Guo-Sen Xie, Caifeng Shan, Fang Zhao

机构 * Nanjing University(南京大学) China Mobile Zijin Innovation Institute(中国移动紫金创新研究院) Nanjing University of Science and Technology(南京理工大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract)

AI总结 针对多模态大语言模型持续学习计算昂贵及现有方法语义纠缠问题,提出CL-Anomaly框架,用隔离共享协作实现参数高效微调,介绍任务私有专家PrivLoRA等,实验表明其性能优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31270 2026-07-01 cs.CV cs.AI cs.CL cs.CY cs.LG 新提交 88%

Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents

从失败中学习:计算机使用代理的推理时自我改进

Xueqiao Sun, Xiaohan Wang, Ludwig Schmidt, Serena Yeung-Levy, Yuhui Zhang

机构 * Stanford University(斯坦福大学) Tsinghua University(清华大学)

专题命中 效率与部署 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出失败驱动的自我改进循环,利用LLM诊断失败模式并生成代码补丁,在OSWorld基准上将OpenCUA-72B模型成功率从42.3%提升至48.9%,无需额外训练成本。

Comments Published in ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24165 2026-06-24 cs.CV 新提交 88%

Spectral Evolution-Guided Token Pruning in Multimodal Large Language Models

多模态大语言模型中基于谱演化引导的令牌剪枝

Bin Chen, Yuxiang Cai, Yadan Luo, Yi Zhang, Jianwei Yin, Zhi Chen

机构 * School of Software Technology, Zhejiang University(浙江大学软件学院) Zhejiang Key Laboratory of Digital-Intelligence Service Technology(浙江省数字化服务技术重点实验室) The University of Queensland(昆士兰大学) Singapore Management University(新加坡管理大学) The University of Southern Queensland(南昆士兰大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract)

AI总结 提出跨层谱演化(CLSE)框架,通过频域分析令牌表示在Transformer层间的演化来评估重要性,实现无训练剪枝,在保持性能的同时减少计算开销。

Comments Accepted to ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24156 2026-06-24 cs.CV 新提交 88%

Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction

利用先验校正的令牌缩减加速多模态大语言模型

Zengjie Chen, Yuxiang Cai, Jingcai Guo, Taotao Cai, Jianwei Yin, Zhi Chen

机构 * School of Software Technology, Zhejiang University(浙江大学软件学院) Zhejiang Key Laboratory of Digital-Intelligence Service Technology(浙江省数字化服务技术重点实验室) Hong Kong Polytechnic University(香港理工大学) The University of Southern Queensland(南昆士兰大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract)

AI总结 提出PriorTR方法,通过分离任务条件注意力与模型先验注意力,在单次前向传播中估计先验并校正令牌重要性,实现无训练令牌缩减,提升多模态大语言模型效率与准确性。

Comments Accepted to ECCV 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17645 2026-06-17 cs.AI cs.CL cs.LG 新提交 88%

Beyond Domains: Reusing Web Skills via Transferable Interaction Patterns

超越领域:通过可迁移交互模式重用网络技能

Shiqi He, Yue Cui, Feijie Wu, Xinyu Ma, Jiaheng Lu, Yaliang Li, Bolin Ding, Mosharaf Chowdhury

机构 * University of Michigan(密歇根大学) Alibaba Group(阿里巴巴集团) Purdue University(普渡大学) McMaster University(麦克马斯特大学) University of Pennsylvania(宾夕法尼亚大学)

专题命中 效率与部署 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出SkillMigrator代理,通过学习可迁移交互模式(TIP)匹配布局结构而非元素引用,实现跨站点技能重用,在WebArena和Mind2Web上成功轨迹的LLM动作数减少8-10%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16067 2026-06-16 cs.CV 新提交 88%

Stepwise Token Selection for Efficient Multimodal Large Language Models

逐步令牌选择用于高效多模态大语言模型

Landi He, Shawn Young, Lijian Xu

机构 * Shenzhen University of Advanced Technology(深圳先进技术大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract)

AI总结 提出一种基于指针机制的逐步视觉令牌选择方法,通过可微松弛实现端到端训练,动态决定保留令牌数量,在去除88.9%令牌时保持94.6%准确率并加速1.88倍。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.12371 2026-08-14 cs.AI 新提交 87%

Multi-Agent Scheduling with LLM-Assisted Contract Net Negotiation for Stream Processing in Mobile Edge Computing

面向移动边缘计算中流处理的、基于大语言模型辅助合同网协商的多智能体调度

Sabeur Lajili, Zaki Brahmi

专题命中 效率与部署 :LLM(title,summary_cn);分类 cs.AI

AI总结 针对移动边缘计算流处理的分散调度难题,提出MAS-DecStream模型,其核心为LLM-MR-CNP协议,实验表明该模型可降低延迟违规、提升冲突解决率与效用,多轮CNP优化及LLM辅助均具价值。

Comments 8

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.10447 2026-08-12 cs.IR cs.AI 新提交 87%

Towards Efficient Reasoning in LLM-Based Recommender Systems via Model Merging

基于模型合并的大语言模型推荐系统高效推理研究

Linh Dieu Le, Tong Chen, Shazia Sadiq, Hongzhi Yin, Ming Jin, Junliang Yu

专题命中 效率与部署 :LLM(title,summary_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本研究针对LLM推荐系统推理冗长导致成本高的问题,提出首个用于推理压缩的注意力头级细粒度模型合并框架,在不降低推荐准确率的前提下最多缩短24.3%的推理长度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.09260 2026-08-11 cs.DB cs.AI 新提交 87%

SafeQL: Search-based Refinement for Safe and Efficient LLM-based Text-to-SQL

SafeQL:基于搜索的安全高效大语言模型Text-to-SQL优化方法

Geonho Lee, Min-Soo Kim

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 SafeQL是将DBMS设为主动引导者的基于搜索的Text-to-SQL优化方法,可修复SQL错误,在Bird和Spider基准上提升了执行准确率与效率。

Comments VLDB 2026

Journal ref Proc. VLDB Endow. 19(9): 2210-2223, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08675 2026-08-11 cs.LG 新提交 87%

Efficient Test-Time Scaling for LLM-based Time Series Forecasting

基于大语言模型的时间序列预测的高效测试时缩放

Xuan-May Le, Minh-Tuan Tran, Ling Luo, Uwe Aickelin, Dinh Phung, Trung Le

机构 * The University of Melbourne(墨尔本大学) Monash University(莫纳什大学)

专题命中 效率与部署 :LLM(title,summary_cn);分类 cs.LG

AI总结 本研究提出 SCALER 框架,通过轻量 Transformer 预测未来粗粒度形状引导 LLM 迭代精调,在多类预测任务中优于基线且降低推理成本。

Comments Accepted at KDD 2026 (Oral)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.07538 2026-08-11 cs.AI cs.GT econ.GN q-fin.EC 新提交 87%

When LLM Agents Negotiate: Private Information and Dynamic Bargaining in Supply Chains

当大语言模型智能体进行谈判:供应链中的私人信息与动态议价

Chen Liang, Fasheng Xu

机构 * School of Business, University of Connecticut(康涅狄格大学商学院)

专题命中 效率与部署 :LLM(title,summary_cn);分类 cs.AI

AI总结 该研究以供应链议价问题为场景,将9个LLM与完美贝叶斯均衡基准测试,发现LLM智能体的谈判能力、提供商身份及提示策略对剩余分配和效率有显著影响,为AI智能体审计提供了三维框架。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.06183 2026-08-07 cs.AI 新提交 87%

MicroEvo: Knowledge-Guided LLM Sampling for Efficient Microarchitecture Design Space Exploration

MicroEvo:知识引导的大语言模型采样用于高效微架构设计空间探索

Jia Xiong, Runkai Li, Chenxu Niu, Guangyuan Gao, Changwen Xing, Yifan Zhang, Xinlai Wan, Jieran Cui, Chen Bai, Yusheng Hua, Ying Wang, Ming Ling, Xi Wang, Tao Xie

机构 * Southeast University(东南大学) National Center of Technology Innovation for EDA(国家EDA技术创新中心) NVIDIA Corporation(英伟达公司) Fudan University(复旦大学) Nanjing University of Posts and Telecommunications(南京邮电大学) Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所) Peking University(北京大学)

专题命中 效率与部署 :LLM(title,summary_cn);分类 cs.AI

AI总结 MicroEvo是结合LLM与MCTS的知识引导框架,用于多目标微架构优化,可提升帕累托前沿质量与搜索效率,具备工业级可扩展性。

Comments Accepted by ICCAD 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.05791 2026-08-07 cs.MA cs.AI 新提交 87%

A Two-Tier Perspective on Inference-Time Parallelism in Multi-Agent LLM Systems

多智能体大语言模型系统推理时并行性的两层视角

Zihan Xu, Haolin Tian, Hai Jiang

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出整合两类并行性的TIPEX框架,在GAIA基准上验证推理时并行性可提升多智能体系统性能,中等难度任务从两类并行性协调中获益最多。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.04255 2026-08-06 cs.CR cs.LG 新提交 87%

PriDyG: Privacy-preserving Dynamic Graph Inference with LLM-GNN Collaboration

PriDyG:结合大语言模型与图神经网络的隐私保护动态图推理

Yuyang Xia, Ruixuan Liu, Li Xiong

专题命中 效率与部署 :LLM(title,summary_cn);分类 cs.LG

AI总结 PriDyG是结合GNN结构学习与LLM语义推理的隐私保护动态图推理框架,可在边级差分隐私约束下,在节点分类等任务中降低累计隐私开销并保持良好效用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.03838 2026-08-05 cs.AI 新提交 87%

LatentGuard: Efficient and Inspectable Latent Reasoning for LLM Safeguards

LatentGuard:面向大语言模型安全防护的高效可检查潜在推理方法

Zhinan Liu, Jie Li, Mingyu Kang, Jiayi Ji

专题命中 效率与部署 :LLM(title,summary_cn);分类 cs.AI

AI总结 LatentGuard是将连续潜在推理引入防护模型的高效可检查框架,其8B参数版本在提升安全判定性能的同时大幅降低推理成本,还具备良好的审计效用,为可部署的LLM安全防护提供了可行路径。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.01891 2026-08-04 cs.DC cs.AI 新提交 87%

Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling

通过解耦注意力机制与前馈网络及灵活频率缩放实现高能效大语言模型服务

Cunchen Hu, Liangliang Xu, Tian Liu, Min Lyu, Yongkun Li, Sa Wang, Shuo Quan, Yanan Yang, Wenda Tang, Yiduo Wang, Fu Yu, Jie Wu

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 AFlex框架通过全局调度器、局部DVFS控制器及交错A/F流水线,优化解耦A/F服务的资源配置与GPU频率,在满足SLO的同时将每token能耗降低最高49%

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.00423 2026-08-04 cs.AI 新提交 87%

Diagnose Before You Compress: Prediction-Independent Bottleneck Witness Refinement for LLM Serving Traces

压缩前诊断:面向大语言模型服务轨迹的预测独立瓶颈见证优化

Liming Liu, Chao Hu, Mingfei Lu, Cong Tan, Yiwei Ge, Chijin Zhou, Yongjun Xie, Runzhe Wang, Xiaohai Shi, Heyuan Shi

机构 * Central South University(中南大学) University of Technology Sydney(悉尼科技大学) Chongqing Normal University(重庆师范大学) East China Normal University(华东师范大学) Alibaba Group(阿里巴巴集团)

专题命中 效率与部署 :LLM(title,summary_cn);分类 cs.AI

AI总结 针对LLM服务轨迹重放成本高及现有方法的局限,提出BPW框架,通过三阶段流程构建紧凑可靠的重放套件,在三个数据集上优于16种策略,获两项指标提升

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28421 2026-07-31 cs.AI 新提交 87%

When Derived Measurements Mislead: Quantifying and Mitigating LLM Over-Trust with Privileged-Modality Reliability Evidence

当派生测量值产生误导时:利用特权模态可靠性证据量化并缓解大语言模型的过度信任问题

Zongheng Guo, Tao Chen, Tianli Li, Mingzhe Cui, Yang Jiao, Lei Xie, Yi Pan, Xiao Hu, Manuela Ferrario

机构 * Politecnico di Milano(米兰理工大学) Zhejiang University(浙江大学) China-Japan Friendship Hospital(中日友好医院) Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院) Emory University(埃默里大学)

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 该研究定义了派生特征过度信任(DFOT)问题,构建了量化该问题的估计量框架,在PPG-ECG数据集上验证了基于特权蒸馏的基线方法可缓解DFOT,为相关研究提供通用评估目标。

Comments 25 pages, including references and supplementary material; 3 figures and 19 tables. Code: https://github.com/Zongheng-Guo/When-Derived-Measurements-Mislead

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27937 2026-07-31 cs.AI 新提交 87%

From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents

从评分到行动:面向大语言模型智能体的结果验证式对比自蒸馏

Xu Xia, Jinghua Piao, Min Yang, Xiaochong Lan, Jiaju Chen, Yong Li

专题命中 效率与部署 :LLM(title,summary_cn);分类 cs.AI

AI总结 该研究针对LLM智能体现有自蒸馏方法的局限,提出OVCSD方法,经实验在ALFWorld和WebShop数据集上显著提升了智能体任务完成成功率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27694 2026-07-31 cs.AR cs.LG 新提交 87%

GyRot: Leveraging Hidden Synergy between Rotation and Fine-grained Group Quantization for Low-bit LLM Inference

GyRot:利用旋转与细粒度组量化之间的隐藏协同实现低位大语言模型推理

Sangjin Kim, Yuseon Choi, Byeongcheol Kim, Jungjun Oh, Hoi-jun Yoo

专题命中 效率与部署 :LLM(title,summary_cn);分类 cs.LG

AI总结 GyRot通过算法-硬件协同设计,结合旋转与细粒度组量化,在LLaMA系列模型4位量化推理中实现先进精度,同时提升加速比与能效,为LLM部署提供可行方案。

Comments 15 pages, 12 figures. Published in 2026 IEEE International Symposium on High-Performance Computer Architecture (HPCA), Sydney, Australia, pp. 1-15, DOI: 10.1109/HPCA68181.2026.11408453

Journal ref Proc. 2026 IEEE Int. Symp. High-Performance Computer Architecture (HPCA), 2026, pp. 1-15

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25853 2026-07-29 cs.AI 新提交 87%

HiSkill: Empowering LLM Agents with Hierarchical Skill Graphs

HiSkill:利用分层技能图增强大语言模型智能体

Yu Hao, Jinxuan Cai, Qi Zhang, Yawen Li, Zhiqiang Zhang, Chuan Shi, Cheng Yang

机构 * Beijing University of Posts and Telecommunications(北京邮电大学) China Mobile Group Shaanxi Co., Ltd(中国移动通信集团陕西有限公司) Ant Group(蚂蚁集团)

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 研究提出HiSkill分层技能图框架,将交互轨迹组织成有向图,连接高级技能与可执行动作模板并捕捉多种关系。推理时检索子图引导任务执行,实验表明其在减少推理令牌消耗方面优于基线,有效弥合技能与动作差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.25590 2026-07-29 cs.CL 新提交 87%

PILA: Plug-and-Play Insertion for LLM-native Advertising

PILA:用于大语言模型原生广告的即插即用插入法

Zhaowei Zhang, Yuhan Fu, Yihang Zhang, Xiaohan Liu, Ceyao Zhang, Xiaoyuan Zhang, Yipeng Kang, Tonghan Wang, Yaodong Yang

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 研究如何通过自然整合赞助内容实现大语言模型盈利的问题,提出PILA方法,将广告插入重构成条件响应重写问题并解耦为轻量级边车模块,实验证明该方法能在保持回复质量的同时提高广告效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21958 2026-07-27 stat.ML cs.LG 新提交 87%

Efficient Online LLM Watermark Detection via Rao-Blackwellized E-Processes

通过Rao-Blackwellized E过程实现高效在线大语言模型水印检测

Lu Luo, Dandan Mo, Chengdong Xu, Ting Li, Jinhan Xie, Huiqiong Li, Niansheng Tang

机构 * Yunnan Key Laboratory of Statistical Modeling and Data Analysis(云南统计建模与数据分析重点实验室) Yunnan University(云南大学) School of Statistics and Management(统计与管理学院) Shanghai University of Finance and Economics(上海财经大学)

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究如何在大语言模型中高效检测水印,基于Rao-Blackwellized e过程开发在线检测框架,针对Gumbel-max水印实例化,能随时有效推理、递归更新证据,理论证明其有效性,模拟和实验验证了高效在线检测。

Comments 25 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11211 2026-07-14 cs.LG 新提交 87%

FastTPS: An Optimized Method for LLM Token Phase for AI accelerators

FastTPS:一种针对人工智能加速器的大语言模型令牌阶段的优化方法

Wenzong Yang, Danyang Zhang, Kun Cao, Tejus Siddagangaiah, Rajeev Patwari, Zhanxing Pu, Siyin Kong, Zijiang Yang, Hao Zhu, Varun Sharma, Yue Gao, Tianping Li, Fan Yang, Jicheng Chen, Yushan Chen, Fennian Zhao, Aaron Ng, Elliott Delaye, Ashish Sirasao, Sudip Nag

机构 * Anonymous Institution(匿名机构)

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究针对LLMs推理令牌阶段低并行性问题,提出FastTPS方法,含无重新加载KV缓存串联、优化“RoPE”注意力、高度融合MLP及细粒度流水线调度,显著缓解内存瓶颈,提升推理速度与内存带宽利用率。

Comments 16 pages, 8 figures, 7 tables

详情

展开后加载摘要…

URL PDF HTML 收藏