arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-05-28 至 2026-05-28 共收录 525 信号源:cs.CL, cs.AI, cs.LG

1. 效率与部署 77 篇

2605.26189 2026-05-28 cs.LG cs.AI 73%

Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training

近无损 HiF8 W8A8 量化感知训练的最大窗口尺度估计

Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

机构 * OpenPangu-Embedded-1B

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.AI、cs.LG

AI总结 针对 HiF8 W8A8 量化感知训练中的两种正交失效模式(amax 饱和与灾难性遗忘),提出保守的 64 步历史窗口最大算法 DTS 策略和 500 步 BF16 预热加低学习率 QAT 的修复方案,在 OpenPangu-Embedded-1B 上实现接近 BF16 基线的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.02329 2026-05-28 cs.CL cs.AI 73%

SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification

SelfJudge: 通过自监督验证器加速推测解码

Kanghoon Yoon, Minsub Kim, Sungjae Lee, Joonhyung Lee, Sunghyeon Woo, Yeonjun In, Se Jung Kwon, Chanyoung Park, Dongsoo Lee

机构 * Efficient AI Large Language Model(大型语言模型) Speculative Decoding(推测解码)

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 提出SelfJudge方法,利用目标模型的自监督训练验证器,通过评估令牌替换后响应的语义保持性来加速推测解码,实现更优的推理-准确率权衡。

Journal ref ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28713 2026-05-28 cs.AI 70%

Thinking as Compression: Your Reasoning Model is Secretly a Context Compressor

思维即压缩:你的推理模型其实是一个上下文压缩器

Guoxin Ma, Yibing Liu, Chengzhengxu Li, Yu Liang, Yan Wang, Yueyang Zhang, Kecheng Chen, Zhaohan Zhang, Zhiyuan Sun, Daiting Shi

机构 * Baidu Inc.(百度公司) Xi’an Jiaotong University(西安交通大学) City University of Hong Kong(香港城市大学) Queen Mary University of London(伦敦玛丽女王大学)

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 本文提出思维即压缩(TaC)范式,利用推理模型自身的思维痕迹作为压缩上下文,并通过奖励驱动优化(TaC-C)实现可控压缩,在长上下文QA任务上显著优于现有方法。

Comments Under Review

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28264 2026-05-28 cs.AI 70%

Entropy Distribution as a Fingerprint for Hallucinations in Generative Models

熵分布作为生成模型中幻觉的指纹

Mattia J. Villani, Pranav Deshpande, Akshay Seshadri, Romina Yalovetzky, Niraj Kumar

机构 * Global Technology Applied Research(全球技术应用研究)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出基于token级熵分布(而非仅均值)的校准熵分数(CES),通过单次前向传递和黑盒logits访问实现幻觉检测,并提供理论保证和实证验证。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28069 2026-05-28 cs.AI 70%

ZipRL: Adaptive Multi-Turn Context Compression with Hindsight Response Replay

ZipRL: 自适应多轮上下文压缩与事后响应回放

Zhexin Hu, Li Wang, Xiaohan Wang, Jiajun Chai, Xiaojun Guo, Wei Lin, Guojun Yin

机构 * Meituan(美团) Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出ZipRL框架,通过多粒度压缩机制和事后响应回放技术,在可验证奖励强化学习中实现自适应上下文压缩,平衡信息保留与token效率,在多个智能体任务中显著优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27989 2026-05-28 cs.LG 70%

Law of Neural Interaction: Depth-Width Shape, Interaction Efficiency, and Generalization

神经交互定律:深度-宽度形状、交互效率与泛化

Wenjie Sun, Jinning Yang, Shuai Zhang, Mengnan Du

机构 * The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院) New Jersey Institute of Technology(新泽西理工学院)

专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 通过将叠加原理从参数空间扩展到梯度空间定义为神经交互,发现固定预算下良好泛化伴随高效神经交互,且可通过调整深度-宽度比(R_D/W)使模型处于高效交互区间,该区间随预算扩展保持稳定,为模型形状初始化和泛化机制提供见解。

Comments 30 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27981 2026-05-28 cs.AI 70%

STAB: Specification-driven Testing for Algorithmic Bottlenecks

STAB:面向算法瓶颈的规约驱动测试

Soohan Lim, Joonghyuk Hahn, Hyundong Jin, Yo-Sub Han

机构 * Yonsei University(延世大学)

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出STAB流水线,通过约束饱和与对抗场景注入,从自然语言问题规约生成暴露算法瓶颈的测试用例,显著提升测试用例对瓶颈的检测率。

Comments 16 pages, 5 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27605 2026-05-28 cs.AI cs.SE 70%

Laguna M.1/XS.2 Technical Report

Laguna M.1/XS.2 技术报告

Julien Abadji, Marah Abdin, Connor Adams, Eric Alcaide, Mustafa Altun, Michele Artoni, Junze Bao, Uday Barar, Vassilis Bekiaris, Arkadii Bessonov, Benjamin Bütikofer, Jonathan Chang, Yen-Chun Chen, Dmitry Chernenkov, Yang Chi, Filippos Christianos, Fenia Christopoulou, Razvan-Andrei Ciocoiu, Tzachi Cohen, Yohann Coppel, Dmitrii Emelianenko, Brandon Fergerson, Brian Fitzgerald, Matthias Gallé, Alex Golonzovskyi, George Grigorev, Yiyang Hao, Christian Hensel, Jan Huenermann, Ye Ji, Sarthak Joshi, Eiso Kant, Kabir Khandpur, Seonghyeon Kim, Vladimir Kirichenko, Umut Kocasarac, Ilya Kochik, Ivan Komarov, Chaerin Kong, Anurag Koul, François-Joseph Lacroix, Sergei Laktionov, Waren Long, Quentin Malartic, Vadim Markovtsev, Afonso Marques, Robert McHardy, Carlos Mocholí, Dmitry Monakhov, Adam Morris, Martin Muller, Christian Mürtz, Robin Nabel, Thien Nguyen, Rok Novosel, Szymon Ozog, Aalhad Patankar, Aleksei Petrov, Alexandre Piché, Arthur Pignet, Teodor Poncu, Phil Potter, Alexander Rakowski, Pierre-Yves Ritschard, Jay Roberts, Joe Rowell, Piotr Sarna, Pierre-André Savalle, Uladzislau Sazanovich, Nikita Shapovalov, Arsenii Shevchenko, Mikhail Shilkov, Andrei Sokol, Mohamed Soliman, Jack Stephenson, Victor Storchan, Dragos-Constantin Tantaru, Artem Tyurin, Adrian Wälchli, Pengming Wang, Jianxiao Yang, Renat Zayashnikov, Alexander Zelenka Martin, Nikolay Zinov, Caroline Bercier, José Caldeira, Margarida Garcia, Tom George, Kabeer Gharzai, Glenn Hitchcock, Carson Klingenberg, Ivo Pinto, Varun Randery, Noah Smith, Arina Sugako, Jason Warner

机构 * Poolside Team(Poolside团队)

专题命中 效率与部署 :foundation model(abstract);post-training(abstract);分类 cs.AI

AI总结 本文介绍了两个用于长周期自主编码的混合专家基础模型 Laguna M.1 和 XS.2,通过端到端训练和模型工厂系统,在软件工程基准测试中达到先进水平。

Comments Technical report to models released here: https://poolside.ai/blog/introducing-laguna-xs2-m1

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.05333 2026-05-28 cs.AI 70%

Graph-of-Skills: Dependency-Aware Structural Retrieval for Massive Agent Skills

技能图谱:面向大规模智能体技能的依赖感知结构检索

Dawei Liu, Zongxia Li, Hongyang Du, Xiyang Wu, Shihang Gui, Yongbei Kuang, Lichao Sun

机构 * University of Pennsylvania(宾夕法尼亚大学) University of Maryland(马里兰大学) Brown University(布朗大学) Carnegie Mellon University(卡内基梅隆大学) Lehigh University(莱斯大学)

专题命中 效率与部署 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出技能图谱(GoS),一种推理时的结构检索层,通过构建可执行技能图并利用混合语义-词汇种子、反向感知个性化PageRank和上下文预算水合,实现依赖感知的技能束检索,在SkillsBench和ALFWorld上显著提升奖励并节省令牌。

Comments 11 pages of main text, 12 pages of appendix. Core contribution by Dawei Liu and Zongxia Li. Project page: https://github.com/davidliuk/graph-of-skills

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28272 2026-05-28 cs.CV 67%

EchoAvatar: Real-time Generative Avatar Animation from Audio Streams

EchoAvatar: 从音频流实时生成动画虚拟化身

Bohong Chen, Yumeng Li, Yinglin Xu, Youyi Zheng, Yanlin Weng, Kun Zhou

机构 * State Key Lab of CAD\&CG, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室)

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 提出统一流式架构,从流式语音和音乐中低延迟生成连续全身运动,通过强化学习优化在线生成质量,并利用工具调用接口实现意图驱动控制。

Comments SIGGRAPH 2026; Project Page: https://robinwitch.github.io/EchoAvatar-Page

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28097 2026-05-28 cs.RO 67%

ICAN-Deploy: Identity-Stable Canary Deployment for Safety-Critical Embodied Agents

ICAN-Deploy:面向安全关键具身智能体的身份稳定金丝雀部署

Xue Qin, Simin Luan, John See, Zeyd Boukhers, Cong Yang, Zhijun Li

机构 * Harbin Institute of Technology(哈尔滨工业大学) Heriot-Watt University, Malaysia Campus(赫瑞-沃德大学马来西亚分校) Fraunhofer Institute for Applied Information Technology(弗劳恩霍夫应用信息技术研究所) Soochow University(苏州大学)

专题命中 效率与部署 :LLM(abstract,abstract_cn)

AI总结 提出ICAN-Deploy中间件,通过分离能力名称与版本,在安全关键具身智能体的金丝雀部署中保持身份哈希不变,避免重新认证。

Comments 14 pages, 6 figures, 4 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.05828 2026-05-28 cs.SE 67%

From Chat to Interview: Agentic Requirements Elicitation with an Experience Ontology

从聊天到访谈:基于经验本体的智能需求获取

Dongming Jin, Zhi Jin, Yaotian Yang, Linyu Li, Zheng Fang, Yuanpeng He, Wenchun Jing, Xiaohong Chen

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 提出OntoAgent智能体,通过构建经验本体引导需求访谈,实现自动化、系统化且可解释的需求获取,在网站应用领域显著提升获取效果和提问效率。

Journal ref RE 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01766 2026-05-28 cs.RO 67%

Neural Implicit Action Fields: From Discrete Waypoints to Continuous Functions for Vision-Language-Action Models

神经隐式动作场:从离散路点到连续函数的视觉-语言-动作模型

Haoyun Liu, Jianzhuang Zhao, Xinyuan Chang, Tianle Shi, Chuanzhang Meng, Jiayuan Tan, Feng Xiong, Tong Lin, Dongjie Huo, Mu Xu, SongLin Dong, Zhiheng Ma, Yihong Gong, Sheng Zhong

机构 * State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室) Faculty of Computility Microelectronics, Shenzhen University of Advanced Technology(深圳大学计算微电子学院) Guangdong Provincial Key Laboratory of Computility Microelectronics(广东省计算微电子重点实验室) Amap, Alibaba Group(阿里集团Amap) Shenzhen University(深圳大学) Xi'an Jiaotong University(西安交通大学) Beijing University of Chemical Technology(北京化工大学)

专题命中 效率与部署 :large language model(abstract);language model(abstract)

AI总结 针对视觉-语言-动作模型预测离散动作路点与物理运动连续性不匹配的问题,提出神经隐式动作场(NIAF),通过将动作表示从离散路点重构为连续函数,实现任意时间分辨率的连续动作流形合成,支持解析求导和显式速度监督,提升控制平滑性和物理合理性。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.11170 2026-05-28 cs.LG cs.AI cs.CL 67%

EAGer: Entropy-Aware GEneRation for Adaptive Inference-Time Scaling

EAGer: 基于熵感知的自适应推理时缩放生成方法

Daniel Scalena, Leonidas Zotos, Elisabetta Fersini, Malvina Nissim, Ahmet Üstün

机构 * University of Groningen(格罗宁根大学) University of Milan - Bicocca(米兰-比科卡大学) Cohere Labs(Cohere实验室)

专题命中 效率与部署 :language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种无需训练的生成方法EAGer,利用逐词熵分布动态分配计算资源,在复杂推理任务中提升性能并减少冗余计算。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27365 2026-05-28 cs.CV cs.AI cs.LG cs.RO 62%

LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding

LocateAnything: 基于并行框解码的快速高质量视觉定位

Shihao Wang, Shilong Liu, Yuanguo Kuang, Xinyu Wei, Yangzhou Liu, Zhiqi Li, Yunze Man, Guo Chen, Andrew Tao, Guilin Liu, Jan Kautz, Lei Zhang, Zhiding Yu

机构 * The Hong Kong Polytechnic University(香港理工大学) Princeton University(普林斯顿大学) Nanjing University(南京大学) University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出并行框解码(PBD)方法,将边界框和点作为原子单元单步解码,结合大规模数据集LocateAnything-Data,实现高效统一的目标定位与检测,在保持高精度同时显著提升解码吞吐量。

Comments fix github link

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.19342 2026-05-28 cs.LG cs.AI 62%

ASTRA: Communication-Efficient Acceleration for Multi-Device Transformer Inference

ASTRA:面向多设备Transformer推理的通信高效加速

Xiao Liu, Lijun Zhang, Deepak Ganesan, Hui Guan

机构 * Manning College of Information and Computer Sciences, University of Massachusetts Amherst, MA, US(信息与计算机科学学院,马萨诸塞大学阿默斯特分校,马萨诸塞州,美国) Amazon, Seattle, WA, US(亚马逊,华盛顿州西雅图,美国) Amazon AWS, Washington, D.C., US(亚马逊AWS,华盛顿特区,美国)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出ASTRA框架,通过序列并行与混合精度注意力机制,在低带宽环境下实现高效多设备Transformer推理,显著加速并保持精度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2405.09689 2026-05-28 cs.LG cs.AI cs.SC 62%

Generalized Holographic Reduced Representations

广义全息约简表示

Calvin Yeung, Zhuowen Zou, SungHeon Jeong, Wenjun Huang, Nathaniel D Bastian, Mohsen Imani

机构 * University of California, Irvine(加州大学尔湾分校) United States Military Academy(美国军事学院)

专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG

AI总结 提出广义全息约简表示(GHRR),通过灵活的非交换绑定操作改进超维计算对复杂组合结构的编码能力,并在语言建模任务中验证其可替代注意力机制并提升性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28139 2026-05-28 cs.AI 57%

Data-Efficient On-Policy Distillation for Automatic Speech Recognition

数据高效的在线策略蒸馏用于自动语音识别

Yu Lin, Yiming Wang, Runyuan Cai, Xiaodong Zeng

机构 * AutoArk-AI

专题命中 效率与部署 :language model(abstract);分类 cs.AI

AI总结 提出一种在线策略蒸馏方法,利用教师模型(Qwen-ASR)在仅10万小时语音数据下提升学生模型(Ark-ASR)的识别能力,在多个基准上超越同规模基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27927 2026-05-28 cs.CV cs.LG 57%

Structure-Guided Visual Perturbation Neutralization for LVLMs

结构引导的视觉扰动中和用于大型视觉语言模型

Yuanhe Zhang, Xueting Wang, YanBin Ren, Haoran Gao, Xinhan Zheng, Zhenhong Zhou, Fanyu Meng, Li Sun, Sen Su

机构 * Beijing University of Posts and Telecommunications(北京邮电大学) University of Science and Technology of China(中国科学技术大学) JIUTIAN Research(JIUTIAN研究所) Nanyang Technological University(南洋理工大学) Chongqing University of Posts and Telecommunications(重庆邮电大学)

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 提出结构诱导引导中和(SIGN)框架,通过先验结构提取和动态引导中和实现轻量级、即插即用的对抗性防御,在仅0.5%像素修改和0.16秒每图下达到87%以上防御成功率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27850 2026-05-28 cs.AI 57%

TCP-MCP: Landscape-Guided Co-Evolution of Prompts and Communication Topologies for Multi-Agent Systems

TCP-MCP:面向多智能体系统的提示与通信拓扑的景观引导协同进化

Yi Ding, Zijie Xuan, Haowei Zhou, Zhenyu Ju, Xiaoxiao Dong, Jingwen Zhang, Xingyu Zhu, Leixin Sun, Haochi Zhang

机构 * National Institute of Metrology, China(中国计量科学研究院) University of California, Berkeley(加州大学伯克利分校) Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院) Nanjing University of Chinese Medicine(南京中医药大学) WEEX Exchange(WEEX交易所) National University of Singapore(新加坡国立大学) Wuhan University(武汉大学) Peking University(北京大学)

专题命中 效率与部署 :prompting(abstract);分类 cs.AI

AI总结 提出TCP-MCP框架,通过协同进化智能体提示和通信拓扑,在任务性能、令牌成本和结构复杂度三个目标下实现多智能体系统的成本感知与任务自适应设计。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27808 2026-05-28 cs.CL cs.MM 57%

TARQ: Tail-Aware Reconstruction Quantization for Rare-Word Robust Automatic Speech Recognition

TARQ: 面向罕见词鲁棒自动语音识别的尾部感知重建量化

Xinyu Wang, Ziyu Zhao, Ke Bai, Silin Meng, Dongming Shen, Xiao-Wen Chang, Yixuan HE

机构 * McGill University(麦吉尔大学) Boson AI Arizona State University(亚利桑那州立大学)

专题命中 效率与部署 :post-training(abstract);分类 cs.CL

AI总结 提出TARQ,一种无标签的后训练量化框架,通过尾部感知重建损失和罕见词平衡规则,在不增加额外训练的情况下显著降低罕见词错误率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27413 2026-05-28 q-bio.BM cs.AI 57%

Ligand-Conditioned Discrete Diffusion for Protein Sequence-Structure Co-Design

配体条件离散扩散用于蛋白质序列-结构协同设计

Chen Wei, Fanding Xu, Minghao Sun, Zhiyuan Liu, Lin Wang, Tianrui Jia, Yihang Zhou, Yang Zhang

机构 * Xi’an University of Posts & Telecommunications(西安邮电大学) National University of Singapore(新加坡国立大学) Xi’an Jiaotong University(西安交通大学) Institute of Systems Medicine, Chinese Academy of Medical Sciences(中国医学科学院系统医学研究院)

专题命中 效率与部署 :language model(abstract);分类 cs.AI

AI总结 提出配体条件离散扩散模型ProtLiD²,通过几何感知交叉注意力联合生成氨基酸序列和离散结构令牌,实现配体约束下的蛋白质序列-结构协同设计,显著提升全局折叠置信度和配体感知通过率。

Comments 19 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22705 2026-05-28 cs.CL 57%

Tokenization with Split Trees

基于分裂树的Tokenization(ToaST)

Craig W. Schmidt, Michael Krumdick, Adam Wiemerslage, Seth Ebner, Varshini Reddy, Yuval Pinter, Chris Tanner

专题命中 效率与部署 :language model(abstract);分类 cs.CL

AI总结 提出ToaST方法,通过递归推理过程直接优化压缩,使用整数规划选择词汇表,在英文文本上相比BPE、WordPiece和UnigramLM减少超过11%的token数量,并提升Renyi效率和语言模型性能。

Comments All baseline tokenizers (BPE, WordPiece, Unigram) were trained incorrectly due to a bug in the Hugging Face tokenizers library: pair counts overflow i32 above ~108 GB of training data, dropping the most common merge pairs. All comparisons to ToaST are invalid. Thanks to Sander Land for identifying the missing merge pairs. See https://github.com/huggingface/tokenizers/issues/2058

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.18982 2026-05-28 cs.LG q-bio.PE 57%

Conditionally Site-Independent Neural Evolution of Antibody Sequences

抗体序列的条件性位点无关神经进化

Stephen Zhewen Lu, Aakarsh Vermani, Kohei Sanno, Jiarui Lu, Frederick A Matsen, Milind Jagota, Yun S. Song

机构 * University of California, Berkeley Columbia University Mila - Qu \'e bec AI Institute Fred Hutchinson Cancer Research Center University of Washington Howard Hughes Medical Institute

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 提出CoSiNE模型,用深度神经网络参数化的连续时间马尔可夫链桥接系统发育模型与深度学习,实现抗体序列进化建模,在零样本变异效应预测中优于现有语言模型,并引入引导吉莱斯皮采样优化抗体亲和力。

Comments 28 pages, 15 figures. Accepted as a poster at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.12824 2026-05-28 cs.IR cs.CV cs.LG 57%

NanoVDR: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval

NanoVDR:将20亿参数的视觉语言检索器蒸馏为7000万参数的纯文本编码器用于视觉文档检索

Zhuchenyang Liu, Yao Zhang, Yu Xiao

机构 * Aalto University(阿alto大学)

专题命中 效率与部署 :language model(abstract);分类 cs.LG

AI总结 利用查询-文档不对称性,通过蒸馏将20亿参数的视觉语言模型教师蒸馏为7000万参数的纯文本学生编码器,采用点态余弦对齐目标,实现视觉文档检索的高效推理。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.03491 2026-05-28 cs.CV cs.CL 57%

Decoupling Skeleton and Flesh: Efficient Multimodal Table Reasoning with Disentangled Alignment and Structure-aware Guidance

解耦骨架与血肉:基于解缠对齐和结构感知引导的高效多模态表格推理

Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Xiaoqiang Zhou, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳)) Peng Cheng Laboratory, Shenzhen, China(鹏城实验室)

专题命中 效率与部署 :language model(abstract);分类 cs.CL

AI总结 提出DiSCo解缠结构-内容对齐框架和Table-GLS全局到局部结构引导推理框架,高效增强LVLM的表格理解与推理能力,无需昂贵监督或外部工具。

Comments Accepted as a Spotlight Paper at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28691 2026-05-28 cs.CV 50%

OSP-Next: Efficient High-Quality Video Generation with Sparse Sequence Parallelism, HiF8 Quantization, and Reinforcement Learning

OSP-Next: 结合稀疏序列并行、HiF8量化和强化学习的高效高质量视频生成

Yunyang Ge, Xianyi He, Zezhong Zhang, Bin Lin, Bin Zhu, Xinhua Cheng, Li Yuan

机构 * Peking University(北京大学) Nanyang Technological University, Singapore(南洋理工大学)

专题命中 效率与部署 :post-training(abstract)

AI总结 提出OSP-Next文本到视频生成模型,通过混合全稀疏注意力架构、稀疏序列并行(SSP)、HiF8量化和混合GRPO后训练,在保持高质量的同时显著提升效率,在NVIDIA H200和Ascend 950PR上实现1.5倍以上加速。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28587 2026-05-28 cs.CV 50%

Deformable Gaussian Occupancy: Decoupling Rigid and Nonrigid Motion with Factorized Distillation

可变形高斯占据:通过分解蒸馏解耦刚性与非刚性运动

Yang Gao, Wuyang Li, Po-Chien Luan, Alexandre Alahi

机构 * École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑校区)

专题命中 效率与部署 :foundation model(abstract)

AI总结 提出DeGO框架,通过解耦高斯变形和分解式4D基础模型蒸馏,在弱监督下实现动态场景中刚性与非刚性运动的分离,显著提升人体实例占据预测性能。

Comments CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28167 2026-05-28 cs.CV 50%

DebFilter: Eradicating Biases Stashed in Value

DebFilter: 消除隐藏在值中的偏见

Seung Hyuk Lee, Songkuk Kim

机构 * School of Integrated Technology, BK21 Graduate Program in Intelligent Semiconductor Technology(整合技术学院,智能半导体技术BK21研究生项目)

专题命中 效率与部署 :language model(abstract)

AI总结 提出DebFilter,一种轻量级、无需训练的方法,通过调整交叉注意力中的值分量来纠正文本到图像扩散模型中的社会偏见,实现推理时偏差缓解。

Comments 8 pages, 7 figures, supplementary material included, CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27918 2026-05-28 cs.DC 50%

Addressing Variable Heterogeneity in Distributed Multimodal Training with Entrain

解决分布式多模态训练中的变量异构性问题:Entrain

Insu Jang, Mosharaf Chowdhury

专题命中 效率与部署 :LLM(abstract)

AI总结 提出Entrain框架,通过宏观批次的静态模型并行配置和层次化微批次分配算法,解决多模态大语言模型训练中的数据异构性和变量波动,提升吞吐量达1.40倍。

详情

展开后加载摘要…

URL PDF HTML 收藏