arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-06-03 至 2026-06-03 共收录 404 信号源:cs.CL, cs.AI, cs.LG

1. 评测与基准 84 篇

2606.03142 2026-06-03 cs.CV 50%

Disentangling Visual and Factual Correctness in LVLMs' Visualization Literacy

解构LVLMs可视化素养中的视觉与事实正确性

Soohyun Lee, Jaeyoung Kim, Seokhyeon Park, Sihyeon Lee, Jiwon Song, Bohyoung Kim, Hyunjoo Song, Jinwook Seo

机构 * Seoul National University(首尔国立大学) MADI Co., Ltd.(MADI公司) Hankuk University of Foreign Studies(韩国民法大学) Soongsil University(顺天大学)

专题命中 评测与基准 :language model(abstract)

AI总结 提出框架分离视觉正确性与事实正确性,通过反事实测试和仲裁指标揭示LVLMs在可视化素养评估中依赖事实记忆而非视觉推理的问题。

Comments Under review at IEEE Transactions on Visualization and Computer Graphics (TVCG). 23 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02996 2026-06-03 cs.RO cs.CV cs.HC 50%

MARIO: Motion-Augmented Real-Time Multi-Sensor Inertial Odometry

MARIO: 运动增强的实时多传感器惯性里程计

Yiquan Li, Taeyoung Yeon, Chenfeng Gao, Vasco Xu, Xuanyou Liu, Karan Ahuja

机构 * Northwestern University(西北大学) University of Chicago(芝加哥大学)

专题命中 评测与基准 :pretraining(abstract)

AI总结 提出MARIO框架,通过学习IMU推断的人体姿态先验约束运动动力学,并结合多传感器融合(磁力计、气压计、辅助IMU),在Nymeria数据集上将位置漂移降低36%-42%,实现无相机人体跟踪的准确鲁棒惯性里程计。

Comments CVPR 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02674 2026-06-03 cs.CR 50%

Cross-Vendor Sola ISPM Benchmark: Evaluating Agentic AI for Federated Identity Security Reasoning

跨厂商Sola ISPM基准测试:评估面向联邦身份安全推理的智能体AI

Eden Yavin, Gal Engelberg, Konstantin Koutsyi, Leon Goldberg, Gal Baron

专题命中 评测与基准 :LLM(abstract_cn)

AI总结 针对多云和SaaS平台中跨厂商身份安全配置错误与权限提升路径的评估缺失,提出包含50个数据驱动任务的跨厂商Sola ISPM基准测试,并构建评估框架,实验表明结构化关系上下文将答案正确性相对提升约34%,探索查询减少约70%。

Comments 22 pages, 4 figures, 8 tables, 2 appendices

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.16816 2026-06-03 cs.RO 50%

"I'm Not Mad, Just Focused'': Understanding Human Emotions in Human-Robot Collaboration

“我没生气,只是专注”:理解人机协作中的人类情绪

Seung Chan Hong, Dana Kulić, Leimin Tian

机构 * Faculty of Engineering, Monash University(莫纳什大学工程学院) CSIRO Robotics(CSIRO机器人实验室)

专题命中 评测与基准 :language model(abstract)

AI总结 提出基于视觉语言模型(VLM)的情绪识别系统,利用上下文理解改善人机协作中的情绪解读,实验表明其语义相似性和情感对齐优于基线CNN系统,且用户偏好情绪自适应机器人行为。

Journal ref IEEE Robotics and Automation Letters, vol. 11, no. 7, pp. 8260-8267, July 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.10888 2026-06-03 cs.CV 50%

PubTables-v2: A new large-scale dataset for full-page and multi-page table extraction

PubTables-v2: 一个新的用于全页和多页表格提取的大规模数据集

Brandon Smock, Valerie Faucon-Morin, Max Sokolov, Libin Liang, Tayyibah Khanam, Amrit Ramesh, Maury Courtland

机构 * Kensho Technologies(Kensho技术公司)

专题命中 评测与基准 :language model(abstract)

AI总结 针对全页和多页表格提取任务缺乏标注数据的问题,本文创建了大规模数据集PubTables-v2,并评估了当前前沿模型与小模型在不同上下文级别任务上的性能差异。

Comments 28 pages, separated POTATR to its own paper, added frontier model results

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.22599 2026-06-03 cs.SD cs.HC 50%

A Semantically Consistent Dataset for Data-Efficient Query-Based Universal Sound Separation

用于数据高效查询式通用声音分离的语义一致数据集

Kai Li, Jintao Cheng, Chang Zeng, Zijun Yan, Helin Wang, Zixiong Su, Bo Zheng, Xiaolin Hu

机构 * Department of Computer Science and Technology, Institute for AI, BNRist, Tsinghua University, Beijing, China(计算机科学与技术系,人工智能研究所,BNRist,清华大学,北京,中国) Shanda AI Research Tokyo(莎莎人工智能研究东京) IDG/McGovern Institute for Brain Research, Tsinghua University, Beijing, China(IDG/麦戈文脑研究 institute,清华大学,北京,中国) Johns Hopkins University(约翰霍普金斯大学) Chinese Institute for Brain Research (CIBR), Beijing, China(中国脑研究 institute(CIBR),北京,中国)

专题命中 评测与基准 :foundation model(abstract)

AI总结 提出自动管道通过语义一致合成协议消除事件共现,构建高质量合成数据集Hive,使模型在数据量极小的情况下达到与大规模训练模型相当的分离精度和泛化能力。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.04383 2026-06-03 cs.HC 50%

A Visual Analytics System for Interactive Exploration of Historical Painter Cohorts

历史画家群体交互探索的可视分析系统

Yingping Yang, Guangtao You, Wenwen Li, Jiayi Chen, Yumeng Zhang, Yuxin Lei, Wei Zhang, Jiazhou Chen, Wei Chen

专题命中 评测与基准 :LLM(abstract_cn)

AI总结 针对历史画家群体分析中特征非结构化、继承关系复杂和群体定义验证困难等问题,提出HPC-Vis系统,通过多尺度特征构建、继承关系重构和推荐模型,结合创新可视化设计,支持交互式探索。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 效率与部署 72 篇

2606.03465 2026-06-03 cs.LG cs.AI 93%

Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression

重新思考张量分解在训练后大语言模型压缩中的作用

Artur Zagitov, Alexander Miasnikov, Maxim Krutikov, Vladimir Aletov, Gleb Molodtsov, Nail Bashirov, Artem Tsedenov, Aleksandr Beznosikov

机构 * University of Florida(佛罗里达大学) National Research University Higher School of Economics(俄罗斯国家研究大学——莫斯科经济学院)

专题命中 效率与部署 :LLM(title,summary_cn);post-training(title,abstract);large language model(abstract);language model(abstract)

AI总结 本文系统评估了张量分解在稠密和MoE架构上的训练后压缩效果,通过实证与理论分析揭示了其与LLM异构表示之间的根本性不匹配,从而界定了其实际限制和在规模化部署中的可行角色。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03128 2026-06-03 cs.CR cs.AI cs.CL cs.LG 93%

Decoupled Smart Contract Audits: Lightweight LLM Framework via Distillation and Aggregation

解耦式智能合约审计:通过蒸馏与聚合的轻量级LLM框架

Bagus Rakadyanto Oktavianto Putra, Muhamad Risqi Utama Saputra, Widyawan, Guntur Dharma Putra

机构 * University of Indonesia(印度尼西亚大学)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 提出一种基于轻量级开源LLM(0.6B-4B参数)的解耦式智能合约审计框架,通过rsLoRA、知识蒸馏和链式验证聚合策略,在漏洞检测中达到98.25%准确率,优于7B-34B参数模型。

Comments 12 pages, 4 figures, 5 tables. Accepted to IEEE ICWS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.10328 2026-06-03 cs.CL 92%

ANCHOR: Abductive Network Construction with Hierarchical Orchestration for Reliable Probability Inference in Large Language Models

ANCHOR: 基于层次编排的溯因网络构建用于大型语言模型中可靠概率推断

Wentao Qiu, Guanran Luo, Zhongquan Jian, Jingqi Gao, Meihong Wang, Qingqiang Wu

机构 * School of Informatics, Xiamen University, Xiamen, China(信息学院,厦门大学,厦门) School of Film, Xiamen University, Xiamen, China(电影学院,厦门大学,厦门) Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan, Ministry of Culture and Tourism, Xiamen University, Xiamen, China(福建省和台湾非物质文化遗产数字保护与智能处理重点实验室,文化和旅游部,厦门大学,厦门) Institute of Artificial Intelligence, Xiamen University, Xiamen, China(人工智能学院,厦门大学,厦门) School of Computer and Data Science, Minjiang University, Fuzhou, China(计算机与数据科学学院,闽江大学,福州)

专题命中 效率与部署 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 针对LLM概率估计中因子空间稀疏导致“未知”预测和因子增多引入噪声的问题,提出ANCHOR框架,通过层次因子空间构建、层次检索与精炼以及因果贝叶斯网络增强朴素贝叶斯,显著减少未知预测并提高概率估计可靠性。

Comments Accepted by ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02963 2026-06-03 cs.LG 92%

KForge: LLM-Driven Cross-Platform Kernel Generation for AI Accelerators

KForge:面向AI加速器的LLM驱动跨平台内核生成

Taras Sereda, Burak Bartan, Ankita Nayak, Tom St. John, Natalie Serrino, Zain Asgar

机构 * Gimlet Labs Inc(Gimlet实验室)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 提出KForge框架,通过两个协作的LLM代理(生成代理和性能分析代理)迭代优化,自动生成跨平台高性能内核,在NVIDIA B200和Intel Arc B580上分别实现2.12%的吞吐量提升和5.13倍的几何平均加速。

Comments Accepted at ISCA 2026 Workshop MLArchSys

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02964 2026-06-03 cs.AR cs.CL cs.LG 91%

Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving

多段注意力:实现高效KV缓存管理以加速大型语言模型服务

Chunan Shi, Yilei Chen, Yilin Chen, Xupeng Miao, Bin Cui

机构 * Peking University(北京大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL、cs.LG

AI总结 提出AsymCache,一种计算延迟感知的KV缓存管理系统,通过多段注意力、缓存驱逐策略和自适应分块调度器,在保持无损精度的同时显著降低TTFT和TPOT。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.09711 2026-06-03 cs.CL cs.AI 91%

ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models

ReaLM:残差量化桥接知识图谱嵌入与大型语言模型

Wenbin Guo, Xin Wang, Jiaoyan Chen, Lingbing Guo, Zhao Li, Zirui Chen

机构 * Tianjin University(天津大学) The University of Manchester(曼彻斯特大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 提出ReaLM框架,通过残差向量量化将知识图谱嵌入离散化为可学习标记,融入大型语言模型词汇表,结合本体约束实现结构化知识与语言模型的语义对齐,在知识图谱补全任务上取得最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02823 2026-06-03 cs.LG 90%

Qift: Shift-Friendly No-Zero W2 Post-Training Quantization for Rotated W2A4/KV4 LLM Inference

Qift: 面向旋转W2A4/KV4 LLM推理的移位友好型无零W2后训练量化

Chi-Wei Huang, Chia-Chi Tsai

机构 * National Cheng Kung University(国立成功大学)

专题命中 效率与部署 :LLM(title,title_cn);post-training(title);分类 cs.LG

AI总结 针对旋转量化流水线中W2A4/KV4设置下标准W2电平集性能不佳的问题,提出一种基于零中心高斯源模型的无零固定W2电平集Qift,通过重新设计码本映射实现无训练、无学习码本、无组网格、无零点的量化,显著提升模型困惑度和下游精度。

Comments 23 pages, 8 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15572 2026-06-03 cs.CL 90%

Measuring Maximum Activations in Open Large Language Models

测量开放大型语言模型中的最大激活值

Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Linghe Kong, Dawei Yin

机构 * Shanghai Jiao Tong University(上海交通大学) Baidu Inc.(百度公司) Nankai University(南开大学)

专题命中 效率与部署 :LLM(summary_cn,abstract);large language model(title);language model(title);分类 cs.CL

AI总结 本研究通过统一流程测量8个开放LLM家族的27个检查点中的全局和逐层最大激活值,发现其跨家族、架构和训练阶段差异显著,且与低比特量化误差相关,建议在发布开放权重时报告该指标。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20402 2026-06-03 cs.LG cs.AI 90%

Decomposing MXFP4 quantization error for LLM reinforcement learning: reducible bias, recoverable deadzone, and an irreducible floor

分解 MXFP4 量化误差以用于大语言模型强化学习:可约简的偏差、可恢复的死区以及不可约简的底噪

Xiaocan Li, Shiliang Wu, Zheng Shen

机构 * Huawei Canada(华为加拿大)

专题命中 效率与部署 :LLM(title,summary_cn);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 本文通过将 MXFP4 量化误差分解为三个可加分量(尺度偏差、死区截断和网格噪声),并针对每个分量提出针对性修正(宏块缩放、异常值回退和自适应量化噪声),从而在 LLM 强化学习后训练中恢复精度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03602 2026-06-03 cs.LG cs.AI cs.CL 90%

CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery

CauTion:知道何时信任LLM进行集成因果发现

Bo Peng, Kaiwen Wu, Sirui Chen, Zhiheng Wang, Yu Qiao, Chaochao Lu

机构 * Shanghai AI Laboratory(上海人工智能实验室) Shanghai Innovation Institute(上海创新研究院) Shanghai Jiao Tong University(上海交通大学) Nanjing University(南京大学) Tongji University(同济大学)

专题命中 效率与部署 :LLM(title_cn,summary_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出CauTion框架,通过共识过滤和LLM可靠性估计,将LLM领域知识可靠地集成到多个统计因果发现算法中,解决纯统计方法的局限和LLM错误问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03910 2026-06-03 cs.PF cs.AI cs.DC cs.NI 90%

NetKV: Network-Aware Decode Instance Selection for Disaggregated LLM Inference

NetKV: 面向分解式LLM推理的网络感知解码实例选择

Mubarak Adetunji Ojewale

机构 * Cloud Competency Centre, National College of Ireland(国家爱尔兰学院云能力中心)

专题命中 效率与部署 :LLM(title,title_cn);分类 cs.AI

AI总结 针对分解式LLM推理中KV缓存传输导致的首令牌时间增加问题,提出网络成本感知调度器NetKV,通过贪心算法选择解码实例,在64-GPU胖树模拟器上平均降低TTFT达21.2%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03704 2026-06-03 cs.AI cs.CE cs.CY 90%

Dynamic Objective Selection with Safeguards and LLM Oversight for Financial Decision-Making

动态目标选择与防护机制及大语言模型监督在金融决策中的应用

Keigo Sakurai, Takahiro Ogawa, Miki Haseyama, Anjyu Anan, Kei Nakagawa

机构 * Hokkaido University(北海道大学) Nomura Asset Management Co., Ltd.(日兴资产经营管理公司) Kobe University(Kobe大学) Osaka Metropolitan University(大阪市立大学)

专题命中 效率与部署 :LLM(title,summary_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出DOSS方法,通过将目标选择建模为分类问题并利用滚动窗口进行顺序更新,结合置信度感知门控和LLM监督,实现金融决策中动态目标选择,降低误选和过度切换风险。

Comments Accpeted to The 2nd Workskop on Advances in Financial AI Workshop: Towards Agentic and Responsible Systems at ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.02173 2026-06-03 cs.IR cs.LG 90%

The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit

效率与准确性的权衡:使用多头早期退出优化RAG增强的LLM推荐系统

Huixue Zhou, Hengrui Gu, Xi Liu, Kaixiong Zhou, Mingfu Liang, Yongkang Xiao, Srinivas Govindan, Piyush Chawla, Jiyan Yang, Xiangfei Meng, Huayu Li, Buyun Zhang, Liang Luo, Wen-Yen Chen, Yiping Han, Bo Long, Rui Zhang, Tianlong Chen

机构 * Meta Platforms(Meta平台) University of Minnesota(明尼苏达大学) NCSU(北卡罗来纳州立大学) UNC at Chapel Hill(Chapel Hill分校,北卡罗来纳大学)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 提出结合检索增强生成(RAG)与多头早期退出架构的优化框架,通过图卷积网络(GCN)高效检索和动态推理终止,在降低计算时间的同时保持或提升点击率(CTR)预测准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.02994 2026-06-03 cs.CV 89%

Video-OPD: Efficient Post-Training of Multimodal Large Language Models for Temporal Video Grounding via On-Policy Distillation

Video-OPD:通过在线策略蒸馏实现多模态大语言模型在时序视频定位中的高效后训练

Jiaze Li, Hao Yin, Haoran Xu, Boshen Xu, Wenhui Tan, Zewen He, Jianzhong Ju, Zhenbo Luo, Jian Luan

机构 * Nanyang Technological University(南洋理工大学)

专题命中 效率与部署 :post-training(title,abstract);large language model(title);language model(title)

AI总结 提出Video-OPD框架,利用在线策略蒸馏和教师验证分歧聚焦课程,以高效后训练多模态大语言模型进行时序视频定位,克服稀疏奖励和高计算开销问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.03098 2026-06-03 cs.CL 89%

Privacy-Aware Decoding: Mitigating Privacy Leakage of Large Language Models in Retrieval-Augmented Generation

隐私感知解码:缓解检索增强生成中大语言模型的隐私泄露

Haoran Wang, Xiongxiao Xu, Baixiang Huang, Kai Shu

机构 * Emory University(埃默里大学) Illinois Institute of Technology(伊利诺伊理工学院)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);LLM(abstract_cn);分类 cs.CL

AI总结 提出一种轻量级推理时防御方法PAD,通过在解码过程中注入校准高斯噪声,结合置信度筛选、敏感度估计和上下文感知噪声校准,在RAG系统中平衡隐私保护与生成质量,并利用Rényi差分隐私跟踪累积隐私损失。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18995 2026-06-03 cs.CL cs.AI cs.LG 89%

$R^2$-dLLM: Accelerating Diffusion Large Language Models via Spatio-Temporal Redundancy Reduction

$R^2$-dLLM: 通过时空冗余减少加速扩散大语言模型

Zhenbang Du, Kejing Xia, Xinrui Zhong, Yonggan Fu, Nicolai Oswald, Binfei Ji, Brucek Khailany, Pavlo Molchanov, Yingyan Lin

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出 $R^2$-dLLM 框架,通过推理和训练两阶段减少扩散大语言模型解码中的空间和时间冗余,实现高达 88% 的解码步数减少并保持生成质量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03645 2026-06-03 cs.LG cs.AI 88%

The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models

加法的形状:大型语言模型中算术的几何结构

Liuyuan Wen, Xun Zhu, Lihao Huang, Wenbin Li, Yang Gao

机构 * University of Science and Technology of China(中国科学技术大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);分类 cs.AI、cs.LG

AI总结 通过分析多操作数加法中残差流的几何结构,发现等原始和轨迹(IRST)并建立噪声量化模型,将算术错误解释为由内部神经噪声引起的几何滑移,并利用几何一致性检查方法检测和纠正量化失败。

Comments Accepted by ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18160 2026-06-03 cs.CV cs.AI 88%

Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models

Vision Inference Former:在多模态大语言模型中维持视觉一致性

Xinpeng Dong, Min Zhang, Kairong Han, Xu Tan, Fei Wu, Kun Kuang

机构 * Zhejiang University(浙江大学) East China Normal University(华东师范大学) Zhejiang University of Science and Technology(浙江理工大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 针对多模态大语言模型中视觉信息被弱化的问题,提出Vision Inference Former(VIF)轻量模块,在推理解码阶段持续注入视觉语义,提升生成内容与视觉的一致性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.01374 2026-06-03 cs.CL 88%

MTA: Multi-Granular Trajectory Alignment for Large Language Model Distillation

MTA:面向大型语言模型蒸馏的多粒度轨迹对齐

Pham Khanh Chi, Quoc Phong Dao, Thuat Nguyen, Linh Ngo Van, Trung Le, Thanh Hong Nguyen

机构 * Hanoi University of Science and Technology(河内理工大学) Monash University(墨尔本大学) University of Oregon(俄勒冈大学)

专题命中 效率与部署 :large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 提出多粒度轨迹对齐(MTA)框架,通过层自适应策略对齐师生模型的层间变换轨迹,结合动态结构对齐损失和隐藏表示对齐损失,提升知识蒸馏效果。

Comments ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03073 2026-06-03 cs.LG cs.AI 88%

Efficient Hyperparameter Optimization for LLM Reinforcement Learning

大语言模型强化学习的高效超参数优化

Minping Chen, Bowen Xiao, Du Liang, Chuxuan Zeng, Zeyi Wen

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)) The Hong Kong University of Science and Technology(香港科学与技术大学) China United Network Communications Group(中国联合网络通信集团)

专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 提出联合保真度超参数优化方法,通过同时调整模型大小和训练预算作为保真度,并集成早停策略和检查点机制,显著提升计算效率(每轮最高14.9倍)且性能提升5.8%-111.6%。

Comments 12 pages, 6 figures, accepted at ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.00956 2026-06-03 cs.LG cs.CL 88%

WUSH: Near-Optimal Adaptive Transforms for LLM Quantization

WUSH: 面向LLM量化的近最优自适应变换

Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

机构 * University of Tartu(塔尔图大学)

专题命中 效率与部署 :LLM(title,title_cn);分类 cs.CL、cs.LG

AI总结 提出一种结合Hadamard基与数据依赖二阶矩的非正交变换WUSH,在标准RTN AbsMax缩放块量化器下实现权重-激活联合量化的闭式最优解,显著提升低比特量化精度并支持高效GPU实现。

Comments Published as a conference paper at the 43rd International Conference on Machine Learning (ICML 2026): https://openreview.net/forum?id=ZsECxUkbKB

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03739 2026-06-03 cs.CL cs.IT math.IT 87%

Entropy Gate: Entropy Quenching for Near-Lossless Token Compression in LLM Pipelines

熵门:LLM流水线中用于近无损令牌压缩的熵淬火

Justice Owusu Agyemang, Jerry John Kponyo, Kwame Opuni-Boachie Obour Agyekum, Francisca Adoma Acheampong, Kwame Agyeman-Prempeh Agyekum, James Dzisi Gadze

机构 * VIA Cybersecurity Lab, Kwame Nkrumah University of Science and Technology, Kumasi, Ghana(维亚网络安全实验室,卡布雷姆大学科学与技术学院,库马西,加纳) Quantum and Assistive Technologies Lab, Kwame Nkrumah University of Science and Technology, Kumasi, Ghana(量子与辅助技术实验室,卡布雷姆大学科学与技术学院,库马西,加纳)

专题命中 效率与部署 :LLM(title,title_cn);分类 cs.CL

AI总结 提出Entropy Gate框架,通过熵淬火(一种热力学过程)逐步冻结低信息令牌,实现40-60%压缩率且语义保真度高于0.80,并证明其接近信息论极限。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03557 2026-06-03 cs.AI cs.HC 87%

From Prompt to Service: An SLM-Based Agent Orchestration Gateway for AI-Driven Virtual Worlds

从提示到服务:基于SLM的AI驱动虚拟世界代理编排网关

Louis Nisiotis, Aimilios Hadjiliasi

机构 * University of Cambridge(剑桥大学)

专题命中 效率与部署 :SLM(title,title_cn);分类 cs.AI

AI总结 本文提出一种基于小语言模型的代理编排网关,通过意图驱动的服务路由解耦虚拟世界客户端与异构AI后端,并在虚拟博物馆测试床中验证了其可行性和效率。

详情

展开后加载摘要…

URL PDF HTML 收藏