语言大模型 / LLM

PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation

PIXELRAG：网页截图在检索增强生成中优于文本

Yichuan Wang, Zhifei Li, Zirui Wang, Paul Teiletche, Lesheng Jin, Matei Zaharia, Joseph E. Gonzalez, Sewon Min

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PixelRAG方法，以网页截图替代文本进行检索和阅读，利用视觉嵌入模型和对比学习，在30M截图库上实现端到端RAG，在多项任务中优于文本基线，准确率提升最高18.1%，并通过图像压缩降低3倍token成本。

Comments Our code is available at https://github.com/StarTrail-org/PixelRAG

Fast Wireless Foundation Models with Early-Exits

具有早期退出的快速无线基础模型

Omar Mashaal, Hatem Abou-Zeid

机构 * Department of Electrical and Software Engineering, University of Calgary（卡尔加里大学电气与软件工程系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI

AI总结 针对无线基础模型计算成本高的问题，提出在冻结编码器上附加轻量级任务头并选择最优退出阶段，实现可变深度推理，减少93% FLOPs并提升未见分布外任务准确率。

Adaptive Block Diffusion: Resolving Training-Inference Mismatch in Diffusion Language Models

自适应块扩散：解决扩散语言模型中的训练-推理不匹配问题

Gagan Jain

机构 * Microsoft AI（微软人工智能） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 提出自适应块扩散（ABD），通过将配置视为随机变量，在完整配置空间上训练单一模型，解决扩散语言模型中固定上下文结构导致的训练与推理不匹配问题，保证覆盖配置下的去噪最优性。

DiLaServe: High SLO Attainment Serving for Diffusion Language Models

DiLaServe: 扩散语言模型的高SLO达成服务

Tzu-Tao Chang, Benjamin Yuanyang Hong, Kiet Pham, Shivaram Venkataraman

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

AI总结 针对扩散语言模型服务中吞吐与延迟SLO的权衡，提出DiLaServe系统，通过置信度阈值调整、质量感知优化和近似KV缓存建模，实现SLO达成率提升56.6个百分点，延迟降低46%。

ARKD: Adaptive Reinforcement Learning-Guided Bidirectional KL Divergence Distillation for Text Generation

ARKD: 自适应强化学习引导的双向KL散度蒸馏用于文本生成

Zilong Liu, Xuewen Zhang, Jinrui Xing, Juyi Qiao, Huiyong Wang, Junming Jiao

机构 * Li Auto, Beijing, China（北京利亚自动化有限公司） ； School of Software and Microelectronics, Peking University, China（北京大学软件与微电子学院） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对单一KL目标难以平衡主分布拟合与长尾概率建模的问题，提出基于强化学习的自适应KL加权蒸馏框架，通过策略网络动态分配前向和反向KL散度权重，实现主模态和长尾模态的双重对齐，在Rouge-L和BertScore上持续提升。

LC-ICL: Label-Guided Contrastive In-Context Learning for Robust Information Extraction

LC-ICL：标签引导的对比上下文学习用于鲁棒信息抽取

Xiao You, Tianwei Yan, Shan Zhao

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出LC-ICL方法，结合正确与错误样本构建上下文学习示例，利用错误原因标签增强大语言模型在命名实体识别和关系抽取中的鲁棒性，实验表明性能显著优于现有少样本方法。

AERIS: Aerial-Edge Role-Driven Intelligence at Runtime via Orchestrated Language-Model Swarm

AERIS: 通过编排语言模型群在运行时实现空中边缘角色驱动智能

Jiabin Lou, Haopeng Wang, Xinyu Liu, Yu Zhang, Rongye Shi, Wenjun Wu

机构 * School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 提出AERIS框架，通过编排专用小语言模型和轻量感知控制模块，在边缘实现空中平台的长时指令分解与实时闭环运行。

Comments 10 pages, 11 figures. Preprint version of the submitted manuscript

The Future is Agentic: Definitions, Perspectives, and Open Challenges of Multi-Agent Recommender Systems

未来是代理的：多代理推荐系统定义、视角和开放挑战

Reza Yousefi Maragheh, Yashar Deldjoo

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文探讨多代理推荐系统从被动生成到主动规划的转变，提出基于状态代理的框架，分析其在提升推荐效果中的作用，并通过实验验证代理系统在不同场景下的有效性。

Comments Added controlled experiments to illustrate the points of the paper. Also edited for more clarity in conveying the concepts

DLR: Zero-Inference-Cost Latent Residuals for Low-Rank Pre-Training

DLR：低秩预训练的零推理成本潜在残差

Dong Wang, Wenwu Tang, Yun Cheng, Olga Saukh

机构 * Graz University of Technology, Austria（奥地利格拉茨技术大学） ； Swiss Data Science Center, Switzerland（瑞士数据科学中心） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出DLR插件，通过固定结构化残差增强低秩预训练，不增加参数，训练后可吸收，提升模型质量。

Comments Includes appendix, 6 figures and 11 tables. Code available at https://github.com/nanguoyu/DLR

HARD-KV: Head-Adaptive Regularization for Decoding-time KV Compression

HARD-KV: 面向解码时KV压缩的头自适应正则化

Yuxuan Yang, Feiyang Ren, Bowen Zeng, Dalin Zhang, Jinpeng Chen, Gang Chen, Huan Li

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出HARD-KV框架，通过级联缓存层次和对数校准机制，解决头自适应压缩算法与静态内存模式的不匹配，实现高效长上下文推理。

Comments 25 pages, ICML 2026 poster

Beyond Scaling Law: A Data-Efficient Distillation Framework for Reasoning

超越缩放定律：一种数据高效的蒸馏框架用于推理

Xiaojun Wu, Xiaoguang Jiang, Huiyang Li, Jucai Zhai, Dengfeng Liu, Qiaobo Hao, Huang Liu, Zhiguo Yang, Ji Xie, Ninglun Gu, Jin Yang, Kailai Zhang, Yelun Bao, Jun Wang

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种数据高效的蒸馏框架DED，通过优化推理蒸馏的帕累托前沿，提升推理能力而不依赖大规模数据集。

Towards Harnessing the Collaborative Power of Large and Small Models for Domain Tasks

向利用大模型和小模型的协作力量进行领域任务

Yang Liu, Kejia Zhang, Bingjie Yan, Tianyuan Zou, Jianqing Zhang, Zixuan Gu, Xiangsen Chen, Jianbing Ding, Xidong Wang, Jingyi Li, Xiaozhou Ye, Ye Ouyang, Qiang Yang, Ya-Qin Zhang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Institute for AI Industry Research, Tsinghua University（清华大学智能产业研究院） ； Shanghai Jiao Tong University（上海交通大学） ； School of Software, Tsinghua University（清华大学软件学院） ； AsiaInfo Technologies（亚信科技） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了大模型与小模型协作在领域适应中的应用，分析了跨边界环境中的数据隐私、模型安全和效率挑战，并提出多目标优化问题以指导实际部署。

Comments For ongoing updates and a curated list of recent advances in this area, we maintain a public repository: https://github.com/KejiaZhang-Robust/Awesome-LM-SM-Domain-Collaboration

HSD: Training-Free Acceleration for Document Parsing Vision-Language Models with Hierarchical Speculative Decoding

HSD：基于分层推测解码的文档解析视觉语言模型训练免费加速

Wenhui Liao, Hongliang Li, Pengyu Xie, Xinyu Cai, Yufan Shen, Yi Xin, Qi Qin, Shenglong Ye, Tianbin Li, Ming Hu, Junjun He, Yihao Liu, Wenhai Wang, Min Dou, Bin Fu, Botian Shi, Yu Qiao, Lianwen Jin

机构 * South China University of Technology（华南理工大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院） ； Nanjing University（南京大学） 纠错

专题命中 效率与部署 ：language model(title)

AI总结 本文提出HSD分层推测解码框架，通过轻量级管道起草器预测区域划分并生成粗稿，分阶段验证以保持全文连贯性，实验证明在文档解析任务中实现显著加速。

Comments ECCV 2026

Building Multi-Task Agentic LLMs via Two-Phase Distillation

通过两阶段蒸馏构建多任务智能体LLM

Huaijie Wang, Shusheng Xu, Yi Wu, Kaifeng Lyu

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 效率与部署 ：LLM(title_cn)；分类 cs.LG

AI总结 提出两阶段蒸馏方法（先离策略后在线策略）解决多任务蒸馏中前向KL的模式覆盖问题，使单个模型在多任务上达到专家性能。

Data-Efficient Multimodal Alignment for Histopathology-based Molecular Prediction

基于组织病理学的分子预测的数据高效多模态对齐

Dominik Winter, Dominik Vonficht, Loïc Le Bescond, Christian Gebbe, Marco Rosati, Richard J. Chen, Markus Schick, Ross Stewart, Nicolas Brieu

专题命中 效率与部署 ：foundation model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 提出一种轻量级对齐模块，在冻结的组织病理学和RNA-Seq基础模型上训练，实现无需测序或重新训练即可通过基因集签名预测通路活性的开放词汇分子提示，并在多癌队列中实现25倍检索提升。

Comments 10 pages, 4 figures

KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search

KbSD: 面向智能体搜索中行为校准的知识边界感知自蒸馏

Tao Feng, Xinke Jiang, Chao Wu

机构 * Zhejiang University（浙江大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对智能体搜索中知识边界校准的奖励稀疏问题，提出KbSD框架，通过密集令牌级监督、稀疏结果奖励和象限自适应优化，利用提示增强教师模型生成校准推理演示，显著提升任务准确率并减少幻觉。

Speculative Pre-Positioning: Decoding Stateful Sessions to the Next Decision Point Off the Critical Path

投机性预定位：将状态会话解码至关键路径外的下一个决策点

Victor Norgren

机构 * LayerScale, Inc.（LayerScale公司） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出投机性预定位方法，利用状态会话的空闲时间，用目标模型自身前向传播预解码至下一决策点，将跨请求预填充和入口解码移出关键路径，实现首个token延迟从39ms降至约1.0ms。

Diagnosing and Repairing Factual Errors in RAG under Budget Constraints

预算约束下RAG中事实性错误的诊断与修复

Soroush Hashemifar, Havva Alizadeh Noughabi, Fattane Zarrinkalam, Ali Dehghantanha

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出D2R-RAG框架，通过轻量级诊断和自适应修复，在预算约束下提升检索增强生成的事实性，实现准确性与效率的更好权衡。

Agent Safety Is Action Alignment

智能体安全即行动对齐

Shawn Li, Yue Zhao

机构 * University of Southern California（南加州大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文指出将内容安全方法（如拒绝训练）直接应用于智能体场景存在根本性错误，提出智能体安全应通过最小权限原则在行动边界外部强制执行，并作为行动对齐（关系性、部署条件属性）来评估。

Database Context Compression for Text-to-SQL on Real-World Large Databases

面向真实世界大型数据库的文本到SQL数据库上下文压缩

Jingwen Liu, Weibin Liao, Xin Gao, Junfeng Zhao, Yasha Wang

机构 * National Engineering Research Center of Software Engineering, Peking University（软件工程国家工程研究中心，北京大学） ； School of Computer Science, Peking University（北京大学计算机学院） ； Peking University Information Technology Institute, Tianjin Binhai（天津滨海大学信息技术研究所，北京大学） 纠错

专题命中 效率与部署 ：language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 针对真实大型数据库中文本到SQL性能瓶颈，提出基于SGCF原则的数据库上下文压缩方法DBCC，通过离线结构语义压缩和在线证据净化，将输入上下文减少两个数量级，并提升模式链接召回率和执行准确率。

ConCise: Training-Free Conclusion-Chain State Compression for Cost-Efficient Multi-Step RAG Services

ConCise: 免训练结论链状态压缩用于经济高效的多步RAG服务

Kuan Yan, Zhiqing Tang, Tian Wang, Weijia Jia

机构 * National Natural Science Foundation of China（国家自然科学基金委员会） ； Guangdong Higher Education Association（广东省高等教育协会） ； Guangdong Provincial Higher Education Institutions（广东省高等教育机构） ； Beijing Normal University at Zhuhai Education Reform Project（珠海市北京师范大学教育改革项目） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对多步RAG中累积输入令牌呈O(N²)增长导致成本高的问题，提出免训练状态层协议ConCise，通过结构化结论链将增长压缩至O(N)，并引入融合生成机制减少API调用，平均节省64.63%令牌且保持可接受精度。

Comments to be published in IEEE ICWS 2026

Inference-Time Diversity in RL-Trained Lean Theorem Provers: A Diagnostic Study

强化学习训练的轻量定理证明器推理时的多样性：诊断研究

Zachary Burton

机构 * MIT（麻省理工学院） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 研究发现强化学习训练的轻量定理证明器在推理时存在模式崩溃，通过增加采样预算未能提升解题数量，但固定战术骨架调度可显著提升性能，且多样性控制揭示了提示多样性对证明能力的影响。

Comments 9 pages, accepted at the ICML AI4Math Workshop 2026

Knowing Bias, Doing Better: Mitigating Social Bias in LLMs via Know-Bias Neuron Enhancement

知晓偏见，表现更好：通过Know-Bias神经元增强减轻大语言模型中的社会偏见

Jinhao Pan, Chahat Raj, Anjishnu Mukherjee, Sina Mansouri, Bowen Wei, Shloka Yada, Ziwei Zhu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出KnowBias框架，通过增强而非压制编码偏见知识的神经元来减轻LLM中的社会偏见，实现高效且通用的去偏方法。

Comments ICML 2026

Preserving Fairness and Safety in Quantized LLMs Through Critical Weight Protection

通过关键权重保护在量化大语言模型中保持公平性与安全性

Muhammad Alif Al Hakim, Alfan Farizki Wicaksono, Fajri Koto

机构 * Faculty of Computer Science, Universitas Indonesia（印度尼西亚大学计算机科学学院） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了静态和动态量化对公平性和安全性的影響，提出关键权重保护技术以减少偏见和安全风险，保持模型效率与可信度。

Concentration bounds on response-based vector embeddings of black-box generative models

基于响应的生成模型向量嵌入的集中界

Aranyak Acharyya, Joshua Agterberg, Youngser Park, Carey E. Priebe

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了基于响应的生成模型向量嵌入的集中界，通过数据核视角空间嵌入方法，在适当正则条件下推导出样本向量嵌入的高概率集中界，并确定所需样本响应数量以实现目标精度的群体嵌入近似。

EfficientUICoder: A Bidirectional Token Compression Framework for Efficient MLLM-Based UI Code Generation

EfficientUICoder: 一种用于高效基于多模态大语言模型的UI代码生成的双向标记压缩框架

Jingyu Xiao, Zhongyi Zhang, Yuxuan Wan, Yintong Huo, Yang Liu, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Huazhong University of Science and Technology（华中科技大学） ； Singapore Management University（新加坡管理大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出EfficientUICoder，通过元素和布局感知标记压缩、区域感知标记精炼和自适应重复标记抑制，有效压缩UI代码生成的标记数量，提升生成效率和代码质量。

Comments Published in the Proceedings of the 2026 ACM International Conference on the Foundations of Software Engineering (FSE 2026)

One Forward Beats Two: InnerZoom for Accurate and Efficient GUI Grounding

一次前向胜过两次：InnerZoom 实现准确高效的 GUI 定位

Chen Liu, Ling Chen, Hanzhang Zhou, Liangyu Chen, Chenglin Cai, Xin Yu, Steven Hoi, Yue Wang

机构 * Alibaba Group（阿里巴巴集团） ； Tongyi Lab（通义实验室） ； University of Technology Sydney（悉尼大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 效率与部署 ：SFT(abstract,abstract_cn)

AI总结 提出 InnerZoom 框架，通过跨层证据桥接在单次前向传播中实现精确 GUI 元素定位，无需额外裁剪重跑，在六个基准上达到最优性能，同时降低延迟和计算量。

MIRROR: Aligning Semantic Relations from Language to Image via Gromov--Wasserstein

MIRROR: 通过Gromov-Wasserstein对齐从语言到图像的语义关系

Hong-Han Wang, Yuntao Wang, Hu Ding

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 提出MIRROR框架，通过半逆Gromov-Wasserstein问题将语言中的关系先验几何对齐到视觉表示，提升多模态大模型的关系一致性，无需额外参数或推理成本。

Comments Accepted to ECCV 2026. 18 pages, 4 figures

W4A4 Quantization for Inference on Wan2.2-I2V-A14B

Wan2.2-I2V-A14B推理的W4A4量化

Yidong Chen, Chengyu Shi, Jiahao Liu

机构 * ICME 2026 Low-Bit-width Large-Model Quantization Challenge (Sub-Challenge 1: HiF4 / MXFP4)（ICME 2026 低比特宽大模型量化挑战（子挑战1：HiF4 / MXFP4）） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)

AI总结 针对Wan2.2-I2V-A14B模型，结合MixQ风格混合精度和SmoothQuant风格通道平滑，实现4位权重和4位激活推理，在VBench指标上接近FP16性能。

Comments 4 pages, 8 figures; ICME 2026 Low-Bit-width Large-Model Quantization Challenge submission

Agent Security Meets Regulatory Reality -- A Practitioner Systematization of Autonomous-Agent Threats and Controls in Regulated Financial Systems

代理安全遇上监管现实——受监管金融系统中自主代理威胁与控制的从业者系统化

Krishna Mohan, Guda Nagavenkata Srinivasa

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文基于生产经验，将六类代理威胁映射到美欧金融监管义务，提出四种架构模式将手动流程自动化处理约80%案例，并报告三项负面结果。