arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-07-27 至 2026-07-27 共收录 35 信号源:cs.CL, cs.AI, cs.LG

1. 效率与部署 35 篇

2604.25774 2026-07-27 cs.CL cs.AI 92%

CGU-ILALab at FoodBench-QA 2026: Comparing Traditional and LLM-based Approaches for Recipe Nutrient Estimation

CGU-ILALab 在 FoodBench-QA 2026 中:比较传统方法与基于 LLM 的方法在食谱营养估算中的表现

Wei-Chun Chen, Yu-Xuan Chen, I-Fang Chung, Ying-Jia Lin

机构 * CGU-ILALab

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文比较了传统方法与基于 LLM 的方法在食谱营养估算中的性能,发现 LLM 能有效处理模糊术语和非标准单位,但计算效率较低。

Comments Accepted by the Third Workshop on Patient-oriented Language Processing (CL4Health) at LREC 2026

Journal ref https://lrec.elra.info/lrec2026-ws-cl4health-31

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.12311 2026-07-27 cs.NI cs.CR cs.HC cs.LG 版本更新 90%

Cross-reality location privacy protection in 6G-enabled vehicular metaverses: an LLM-enhanced hybrid generative diffusion model-based approach

6G赋能车联网元宇宙中的跨现实位置隐私保护:一种基于LLM增强混合生成扩散模型的方法

Xiaofeng Luo, Jiayi He, Jiawen Kang, Ruichen Zhang, Zhaoshui He, Ekram Hossain, Dong In Kim

机构 * School of Automation, Guangdong University of Technology(自动化学院,广东技术大学) School of Computer Science and Engineering, Nanyang Technological University(计算机科学与工程学院,南洋理工大学) Department of Electrical and Computer Engineering, University of Manitoba(电气与计算机工程系,曼尼托巴大学) Department of Electrical and Computer Engineering, Sungkyunkwan University(电气与计算机工程系,成均馆大学)

专题命中 效率与部署 :LLM(title,title_cn);分类 cs.LG

AI总结 本文提出了一种基于LLM增强混合生成扩散模型的方法,用于6G赋能车联网元宇宙中的跨现实位置隐私保护,通过混合动作优化平衡隐私保护、延迟降低和服务质量维护。

Comments 16 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.00368 2026-07-27 cs.DC 版本更新 89%

TENT: A Declarative Slice Spraying Engine for Performant and Resilient Data Movement in Disaggregated LLM Serving

TENT:一种用于高性能和容错数据移动的声明式切片喷射引擎

Feng Ren, Ruoyu Qin, Teng Ma, Shangming Cai, Zheng Liu, Chao Lei, Dejiang Zhu, Ke Yang, Zheming Li, Jialei Cui, Weixiao Huang, Yikai Zhao, Yineng Zhang, Hao Wu, Xiang Gao, Yuhao Fu, Jinlei Jiang, Yongwei Wu, Mingxing Zhang

专题命中 效率与部署 :LLM(title,summary_cn);large language model(abstract);language model(abstract)

AI总结 TENT通过解耦传输意图与物理执行,统一异构互连技术为动态资源池,实现高效、容错的数据传输,提升LLM推理和RL流水线性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22226 2026-07-27 cs.RO 新提交 88%

Offline Vision-Language Navigation with Geometric Goal Localization for Outdoor Environments

用于户外环境的基于几何目标定位的离线视觉语言导航

Ali Salmasi, Xianjia Yu, Tomi Westerlund

专题命中 效率与部署 :SLM(summary_cn,abstract);language model(abstract);foundation model(abstract);small language model(abstract)

AI总结 研究针对户外环境下的离线视觉语言导航,通过对17个可边缘部署的SLM与4个在线API进行基准测试,提出轻量级混合语义几何目标定位框架并集成到Edge-BehAV中,提升了性能,降低目标距离误差,实现无网络连接下的有效导航。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21958 2026-07-27 stat.ML cs.LG 新提交 87%

Efficient Online LLM Watermark Detection via Rao-Blackwellized E-Processes

通过Rao-Blackwellized E过程实现高效在线大语言模型水印检测

Lu Luo, Dandan Mo, Chengdong Xu, Ting Li, Jinhan Xie, Huiqiong Li, Niansheng Tang

机构 * Yunnan Key Laboratory of Statistical Modeling and Data Analysis(云南统计建模与数据分析重点实验室) Yunnan University(云南大学) School of Statistics and Management(统计与管理学院) Shanghai University of Finance and Economics(上海财经大学)

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究如何在大语言模型中高效检测水印,基于Rao-Blackwellized e过程开发在线检测框架,针对Gumbel-max水印实例化,能随时有效推理、递归更新证据,理论证明其有效性,模拟和实验验证了高效在线检测。

Comments 25 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16763 2026-07-27 cs.LG 版本更新 87%

LLM-Extracted Covariates for Clinical Causal Inference: Rethinking Integration Strategies

基于大语言模型的协变量用于临床因果推断:重新思考整合策略

Lei Liu, Jialin Chen, Kathy Macropol

机构 * Department of Computer Science and Mathematics(计算机科学与数学系) Arcadia University(阿卡迪亚大学) Department of Computer Science(计算机科学系) Yale University(耶鲁大学)

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文研究如何利用大语言模型提取的协变量提升临床因果推断效果,通过比较七种整合策略,发现直接增强倾向分数模型的性能最佳,且在真实数据中验证了其有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21602 2026-07-27 cs.AI 新提交 85%

Transferable Latency Prediction for Fast LLM Screening on Heterogeneous Edge Devices

用于异构边缘设备上快速大语言模型筛选的可迁移延迟预测

Xiaolong Tu, Vinod K. Mishra, Venkat R. Dasari, Anu G. Bourgeois, Haoxin Wang

机构 * Georgia State University(佐治亚州立大学) DEVCOM Army Research Laboratory(陆军研究实验室)

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 研究针对异构边缘设备上大语言模型的延迟预测问题,提出运行时感知延迟预测框架,将推理请求配置化,分阶段处理并融合数据,经实验验证该框架能降低分析成本,支持跨平台部署。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.20757 2026-07-27 cs.LG cs.CL 版本更新 84%

GaugeQuant: Online Learning of Quantization-Optimal Bases from LLM Symmetries

规范量化:从语言模型对称性中在线学习量化最优基

Miguel P. Bento, João F. Seabra

专题命中 效率与部署 :LLM(title);language model(abstract);post-training(abstract);分类 cs.CL、cs.LG

AI总结 研究利用Transformer内部连续对称性,通过在损失中引入LogSumExp项破坏对称性,在线学习量化最优基,无需校准数据和量化模拟,训练开销小,在不同量化设置下降低了LLaMA - 2 7B模型的困惑度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21983 2026-07-27 cs.CR 新提交 82%

Ethereum NFT Smart Contracts: Knowledge-Guided Vulnerability Detection with LLM and Code Slicing

以太坊非同质化代币智能合约:基于大语言模型和代码切片的知识引导漏洞检测

Deyu Yang, Rundong Wei, Xiaoqi Li

专题命中 效率与部署 :LLM(title);large language model(abstract);language model(abstract)

AI总结 研究以太坊NFT智能合约漏洞检测,结合漏洞聚焦代码切片、ERC-721知识库及受限DeepSeek分析,正则表达式定位候选语句,提取代码切片分析,结果显示聚焦代码上下文和领域约束影响检测器输出,提升阳性标签率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22400 2026-07-27 cs.NI cs.AI 新提交 81%

A Self-Calibrating Agentic AI Framework for Autonomous Edge Resource Allocation

一种用于自主边缘资源分配的自校准智能体人工智能框架

Fin Gentzen, Marla Grunewald, Iulisloi Zacarias, Mounir Bensalem, Admela Jukan

专题命中 效率与部署 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对大语言模型驱动系统运行可靠性受挑战的问题,提出自校准智能体人工智能框架,设计自校准机制,应用于边缘计算网络零知识工作负载资源分析,提高预测准确率和速度,为自主人工智能部署奠定基础,且生成基本事实速度更快。

Comments This work has been submitted to the IEEE Transactions on Network and Service Management for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.07025 2026-07-27 cs.CL 版本更新 81%

Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision

面向多语言指令遵循语音大语言模型的语言感知蒸馏:仅使用ASR监督

Shreyas Gopal, Donghang Wu, Ashutosh Anshul, Yeo Yue Heng, Yizhou Peng, Haoyang Li, Hexin Liu, Eng Siong Chng

机构 * College of Computing and Data Science(计算与数据科学学院) Nanyang Technological University(南洋理工大学) AI Singapore(AI新加坡) National University of Singapore(新加坡国立大学) Institute for Infocomm Research (I$^2$R)(信息通信研究所) A$^{*}$STAR(A*星)

专题命中 效率与部署 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出一种语言感知蒸馏方法,通过查询库和门控网络提升多语言指令遵循语音大语言模型的性能,实现在Audio-MLQA基准上比现有基线提升32%。

Comments Accepted at Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19686 2026-07-27 cs.CL cs.LG 版本更新 81%

Multi-Mask Diffusion Language Models for Few-Step Generation

用于少步生成的多掩码扩散语言模型

Sijin Chen, Yinuo Ren, Heyang Zhao, Ziheng Cheng, Quanquan Gu, Lexing Ying

机构 * ByteDance Seed(字节跳动种子) Princeton University(普林斯顿大学) Stanford University(斯坦福大学) UCLA(加州大学洛杉矶分校) UC Berkeley(加州大学伯克利分校)

专题命中 效率与部署 :language model(title);pretraining(abstract);分类 cs.CL、cs.LG

AI总结 研究针对掩码扩散模型少步生成难的问题,提出多掩码扩散模型MultiMDM,通过特定前向过程使反向过程有起草能力,推导训练目标并制定蒸馏方案,经实验验证其为少步生成提供了有效基础。

Comments Needs corporate approval

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.05148 2026-07-27 cs.CV cs.AI cs.LG 版本更新 81%

Atlas 2 -- Foundation models for clinical deployment

Atlas 2 -- 临床应用的基础模型

Maximilian Alber, Timo Milbich, Alexandra Carpen-Amarie, Stephan Tietz, Jonas Dippel, Lukas Muttenthaler, Beatriz Perez Cancer, Alessandro Benetti, Panos Korfiatis, Elias Eulig, Jérôme Lüscher, Jiasen Wu, Sayed Abid Hashimi, Gabriel Dernbach, Simon Schallenberg, Neelay Shah, Moritz Krügener, Aniruddh Jammoria, Jake Matras, Patrick Duffy, Matt Redlon, Philipp Jurmeister, David Horst, Lukas Ruff, Klaus-Robert Müller, Frederick Klauschen, Andrew Norgan

机构 * Aignostics, Germany(德国Aignostics公司) Department of Laboratory Medicine and Pathology, Mayo Clinic, Rochester, MN, US(美国梅奥诊所实验室医学与病理学部门) Department of Radiology, Mayo Clinic, Rochester MN, US(美国梅奥诊所放射学部门) Department of Information Technology, Mayo Clinic, Rochester MN, US(美国梅奥诊所信息技术部门) Mayo Clinic, Rochester MN, US(美国梅奥诊所) Digital Pathology, Mayo Clinic, Rochester MN, US(美国梅奥诊所数字病理学部门) Machine Learning Group, Technische Universität Berlin, Germany(德国柏林技术大学机器学习小组) BIFOLD – Berlin Institute for the Foundations of Learning and Data, Germany(德国柏林学习与数据基础研究所) Department of Artificial Intelligence, Korea University, Republic of Korea(韩国韩国大学人工智能系) Max-Planck Institute for Informatics, Germany(德国马克斯·普朗克信息研究所) German Cancer Research Center (DKFZ) & German Cancer Consortium (DKTK), Berlin & Munich Partner Sites, Germany(德国癌症研究中心(DKFZ)及德国癌症联盟(DKTK)柏林与慕尼黑合作站点) Institute of Pathology, Ludwig-Maximilians-Universität München, Germany(德国慕尼黑路德维希-马克西米利安大学病理学研究所) Institute of Pathology, Charité – Universitätsmedizin Berlin, Germany(德国柏林夏里特大学医学中心病理学研究所) Bavarian Cancer Research Center (BZKF), Germany(德国巴伐利亚癌症研究中心(BZKF)) Helmholtz Munich, Germany(德国海德堡-慕尼黑亥姆霍兹中心) Technical University Munich, Germany(德国慕尼黑技术大学)

专题命中 效率与部署 :foundation model(title,abstract);分类 cs.AI、cs.LG

AI总结 Atlas 2系列通过在80个公开基准测试中展现卓越的预测性能、鲁棒性和资源效率,为临床应用提供了先进的病理视觉基础模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22332 2026-07-27 cs.CV 新提交 78%

SLIP: Segmentation with Low-latency Interactive Prompting for 3D Medical Images

SLIP:用于3D医学图像的低延迟交互式提示分割

Baptiste Podvin, Alexandre Ancel, Flavio Milana, Chiara Innocenzi, Davide Arrigo, Federico Espinola Schulze, Guido Torzilli, Jacques Marescaux, Daniel George, Alexandre Hostettler, Toby Collins

机构 * IRCAD France(法国国际消化道疾病研究中心) Université de Strasbourg, CNRS, ICube(斯特拉斯堡大学、法国国家科学研究中心、ICube实验室) IRCCS Humanitas Research Hospital(圣心研究医院) Humanitas University(圣心大学) Fondazione Policlinico Universitario A. Gemelli, Istituto di Ricovero e Cura a Carattere Scientifico (IRCCS)(圣心综合大学医院)

专题命中 效率与部署 :prompting(title,abstract)

AI总结 研究针对3D医学图像交互式分割中现有方法的问题,提出SLIP框架,解耦图像编码与提示细化,通过复用特征和维护交互感知状态降低延迟,支持可逆提示,经用户研究验证其在多方面优于现有方法,实现SOTA性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21973 2026-07-27 cs.CV 新提交 78%

Rethinking Layer-Wise Information Allocation for Vision Foundation Model Adaptation

重新思考视觉基础模型适应中的逐层信息分配

Yuqi Li, Xi Xiao, Yunbei Zhang, Lin Zhao, Yu Li, Aiden Zhao, Tianyang Wang, Hao Xu, Yingli Tian

机构 * City College of New York, CUNY(纽约市立大学城市学院) University of Alabama at Birmingham(阿拉巴马大学伯明翰分校) Tulane University(杜兰大学) Northeastern University(东北大学) George Washington University(乔治华盛顿大学) Capital One(第一资本金融公司) Harvard University(哈佛大学)

专题命中 效率与部署 :foundation model(title,abstract)

AI总结 研究视觉基础模型适应中的逐层信息分配问题,提出基于信息瓶颈原理的PIB框架,规范逐层压缩与充分性权衡,促进跨层信息连贯,实验表明该方法在多数据集上表现出色,能解释提示容量缩放行为等。

Comments Accepted by ACM MM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22043 2026-07-27 cs.CL cs.CV 新提交 77%

Scaling Native Multimodal Pre-Training From Scratch

从零开始扩展原生多模态预训练

Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu

机构 * The Chinese University of Hong Kong(香港中文大学) LLM Department, Tencent(腾讯大语言模型部)

专题命中 效率与部署 :large language model(abstract);language model(abstract);foundation model(abstract);分类 cs.CL

AI总结 研究在固定计算预算下训练基于Transformer的视觉语言模型的最优模型大小和token数量,发现语言和多模态目标扩展行为不同,推导效率前沿,还表明原生多模态预训练能促进跨模态转移,为扩展多模态基础模型奠定基础。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21677 2026-07-27 cs.SE cs.AI 新提交 77%

Enhancing SLMs for Sustainable Code Optimization in Radio-Astronomy

增强小型语言模型以实现射电天文学中的可持续代码优化

Elisa Chiarotto, Jingbo Li, P. Chris Broekema, Rob V. van Nieuwpoort

专题命中 效率与部署 :large language model(abstract);language model(abstract);small language model(abstract);分类 cs.AI

AI总结 研究利用小型语言模型(SLMs)优化射电天文学代码,通过多采样生成策略和纳入编译器反馈两种方式增强SLMs,提高代码生成质量和性能,用更少计算资源匹配或超越大型单生成模型,且使所有测试模型持续改进。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21624 2026-07-27 cs.AI cs.DC cs.LG 新提交 76%

FBLayout: Optimizing Memory Layout for Efficient LLM Finetuning on Mobile GPUs

FBLayout:为在移动GPU上高效微调大语言模型优化内存布局

Kahou Tam, Wei Niu, Yu Bao, Xiaomin Ouyang, Chengzhong Xu, Li Li

机构 * University of Macau(澳门大学) University of Georgia(佐治亚大学) Hong Kong University of Science and Technology(香港科技大学)

专题命中 效率与部署 :LLM(title);分类 cs.AI、cs.LG

AI总结 研究针对移动GPU上Transformer模型微调内存低效问题,提出FBLayout框架,通过统一布局、索引转换及激活引导选择等方法,在多手机多模型测试中实现加速,提高缓存效率并减少内存占用,助力设备上大模型微调。

Comments 13 pages, 21 figures, Mobisys 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22184 2026-07-27 cs.CR cs.SE 新提交 75%

DeFiScreener: Efficient DeFi Attack Pre-screening in Smart Contracts via Historical Case Matching

DeFiScreener:通过历史案例匹配在智能合约中进行高效的DeFi攻击预筛选

Rui Cao, Shaojing Fan, Zhimei Sui, Liming Fang, Ziqi Yang, Yingying Jiao, Zhenguang Liu

专题命中 效率与部署 :LLM(abstract);large language model(abstract);language model(abstract)

AI总结 研究针对DeFi安全风险检测覆盖有限的问题,提出DeFiScreener框架,通过构建函数调用树、利用大语言模型生成语义嵌入,经两级筛选识别潜在易受攻击的函数和调用序列,实验证明该框架在攻击预筛选中有高召回率和精确率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22319 2026-07-27 cs.DB cs.AI 新提交 70%

Towards Trustworthy and Cost-Efficient Data Integration: From Naïve RAG to Agentic RAG

迈向可信且经济高效的数据集成:从朴素检索增强生成到智能体检索增强生成

Chuangtao Ma, Arijit Khan

机构 * Aalborg University, Denmark(丹麦奥胡斯大学) Bowling Green State University, USA(美国布恩威尔州立大学)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 探讨大语言模型和人工智能智能体在企业数据集成中面临的挑战,介绍从经典RAG到智能体RAG的演变,研究经济高效集成的优化策略,为构建可靠、可解释和可扩展的数据集成系统指明方向。

Comments To Appear in the IEEE Data Engineering Bulletin

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21600 2026-07-27 cs.AI 新提交 70%

Securing Multimodal AI through Internal Information Decomposition

通过内部信息分解保护多模态人工智能

Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 研究多模态大语言模型的攻击问题,提出FlowGuard框架,通过监测内部多模态一致性检测有害输入,受部分信息分解启发得出FlowVectors量化相关指标,有效降低攻击成功率且减少效用损失和延迟,为多模态推理提供有效防御。

Comments Accepted as Spotlight Paper at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01647 2026-07-27 cs.AI 版本更新 70%

Exploring Robust Multi-Agent Workflows for Environmental Data Management

探索环境数据管理的鲁棒多智能体工作流

Boyuan Guan, Jason Liu, Yanzhao Wu, Kiavash Bahreini

机构 * Florida International University(佛罗里达国际大学)

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 本文提出EnviSmart系统,通过知识架构和角色分离的多智能体设计提升环境数据管理的可靠性和效率,验证了多智能体工作流在处理复杂环境数据任务中的优势。

Comments Accepted at PEARC 2026. 10 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21971 2026-07-27 cs.LG cs.AI cs.CL 新提交 67%

Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning

教大语言模型自我进化:用强化学习培养核心元技能

Shujin Wu, Cheng Qian, Xiusi Chen, Heng Ji

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)

专题命中 效率与部署 :post-training(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 研究旨在通过强化学习培养大语言模型自我进化的元技能。提出MetaEvolve框架,经数据合成、进化感知强化学习等流程,在编码任务中训练模型。实验表明该框架在编码基准测试中性能出色,能有效激发通用元技能,为自主进化的人工智能发展提供路径。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19214 2026-07-27 cs.DC 版本更新 67%

Keeping the Cache Warm Pays: Keepalive Economics for Agentic Workloads

保持缓存热度是值得的:智能工作负载的保活经济学

Maxim Khailo

专题命中 效率与部署 :LLM(abstract,abstract_cn)

AI总结 研究智能工作负载中缓存前缀易被逐出致成本增加的问题,提出客户端保活方法,通过定时器重放前缀保持缓存热度,降低请求成本,还探讨了ping频率及保活策略的经济性,推导了运营商策略。

Comments 5 pages, 1 figure, 3 tables. Measurement data and harness: https://github.com/mempko/pi (scripts/cache-research)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21670 2026-07-27 cs.RO cs.AI cs.LG 新提交 62%

Ordered Action Tokens for Visuomotor Policy Learning

用于视觉运动策略学习的有序动作令牌

Chaoqi Liu, Yue Zhao, Haonan Chen, Xiaoshen Han, Jiawei Gao, Ehsan Adeli, Yilun Du

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 研究针对动作令牌化存在的问题,提出有序动作令牌化(OAT)方法,利用带特定机制的变换器将动作块离散化,满足高压缩率等三个需求,在多种策略和任务中验证,能提升策略性能并增强推理灵活性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21613 2026-07-27 cs.AI cs.CL 新提交 62%

The Hard Decision Layer: Evidence for Committed Inference in Transformers

硬决策层:Transformer中确定推理的证据

Ashwath Vaithinathan Aravindan, Mayank Kejriwal

机构 * University of Southern California(南加州大学) Information Sciences Institute(信息科学研究所)

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.AI

AI总结 研究基于Transformer的语言模型在多选型问答中做预测的位置与方式,识别出硬决策层,经多模型和数据集验证其在无学习路由策略时一致出现且对微调不变,HDL处准确率显著提升,为Transformer推理提供见解与机会。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.15456 2026-07-27 cs.LG cs.CL 版本更新 62%

Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers

循环潜在注意力:用于循环变换器的跨循环键值压缩

James O' Neill, Fergal Reid

机构 * Fin AI Research(金融人工智能研究)

专题命中 效率与部署 :post-training(abstract);分类 cs.CL、cs.LG

AI总结 研究针对循环变换器解码时键值缓存占用大的问题,提出循环潜在注意力(LLA)编解码器,通过存储紧凑潜在表示按需重建键值向量,经奇异值分解初始化和蒸馏细化,在缓存压缩上效果显著,提升了模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21752 2026-07-27 cs.LG 新提交 57%

Parameter-free Adaptive Sparse Attention via Compression-Based Content Selection

通过基于压缩的内容选择实现无参数自适应稀疏注意力

Debarshi Kundu, Swaroop Ghosh, Vasant Honavar

机构 * The Pennsylvania State University(宾夕法尼亚州立大学)

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 研究如何实现无参数自适应稀疏注意力,核心方法是利用gzip压缩率识别内容块来动态生成稀疏掩码,主要贡献是在语言建模实验中性能超越其他模型,无参数添加且随序列长度优势扩大、收敛更快。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21672 2026-07-27 cs.SE cs.AI cs.CV 新提交 57%

Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

像素换程序?关于将源代码作为文本和图像的输入令牌计费的跨供应商案例研究

Ronak Bhalgami

专题命中 效率与部署 :language model(abstract);分类 cs.AI

AI总结 研究将源代码作为文本和图像时商业API如何计费,通过可重复案例研究,涵盖五种编程语言、多种源长度及多个模型别名,得出不同模型的图像与文本比率及收支平衡行为差异,还发布了重现研究所需的资料。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.21620 2026-07-27 cs.AI 新提交 57%

From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Personalized Text Generation

从概要到导向向量:用于个性化文本生成的全局稀疏先验和局部语义校准

Liuji Chen, Zeyu Zhang, Xinyuan Zhang, Shuai Nie, Qiang Liu, Shu Wu, Liang Wang

机构 * NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室) Xiaomi(小米)

专题命中 效率与部署 :LLM(abstract);分类 cs.AI

AI总结 研究个性化文本生成问题,提出无训练框架GLASS,通过全局-局部激活导向与稀疏先验实现。利用稀疏自动编码器提取全局先验、构建局部向量,推理时注入模型层。实验证明其性能优于基线,能更好分离风格与语义信息。

Comments Under review

详情

展开后加载摘要…

URL PDF HTML 收藏