语言大模型 / LLM

Diversity-Aware Reverse Kullback-Leibler Divergence for Large Language Model Distillation

具有多样性的反Kullback-Leibler散度用于大规模语言模型蒸馏

Hoang-Chau Luong, Dat Ba Tran, Lingwei Chen

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； Rowan University（罗文大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DRKL，通过消除非目标梯度影响并增强非目标监督，改进了RKL在大规模语言模型蒸馏中的性能与多样性平衡。

Large Language Models in the Abuse Detection Pipeline

大语言模型在滥用检测流水线中的应用

Suraj Kath, Sanket Badhe, Preet Shah, Ashwin Sampathkumar, Shivani Gupta

机构 * Google LLC（谷歌有限责任公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文探讨大语言模型在滥用检测生命周期中的应用，分析其在标签生成、检测、审核及审计等阶段的作用，并讨论其面临的挑战与未来研究方向。

"Who Am I, and Who Else Is Here?" Behavioral Differentiation Without Role Assignment in Multi-Agent LLM Systems

我是谁，还有谁在这里？

Houssam EL Kandoussi

机构 * Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了多个大语言模型在共享对话中是否发展出差异化社会角色或趋于统一行为，通过实验平台分析7种异质LLM群体在统一推理后端上的多代理讨论，发现异质群体行为差异化更显著，且模型名暴露会增加行为收敛，去除提示结构可使行为趋于同质。

Comments 9 pages, 11 figures, 5 tables

Replacing Multi-Step Assembly of Data Preparation Pipelines with One-Step LLM Pipeline Generation for Table QA

用单步LLM管道生成替代数据准备流水线的多步组装

Fengyu Li, Junhao Zhu, Kaishi Song, Lu Chen, Zhongming Yao, Tianyi Li, Christian S. Jensen

机构 * Zhejiang University（浙江大学） ； Northeastern University（东北大学） ； Aalborg University（奥尔堡大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Operation-R1框架，通过强化学习训练轻量LLM生成高质量表格问答数据准备流水线，实现单步推理，提升准确率并降低计算成本。

BitROM: Weight Reload-Free CiROM Architecture Towards Billion-Parameter 1.58-bit LLM Inference

BitROM：无权重重载的CiROM架构面向十亿参数1.58位LLM推理

Wenlun Zhang, Xinyu Li, Shimpei Ando, Kentaro Yoshioka

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 BitROM通过与BitNet的1.58位量化模型联合设计，解决了传统CiROM在大语言模型中的扩展性问题，实现了高效边缘LLM推理，具备更高的面积效率和更低的外部内存访问需求。

Comments Accepted to ASP-DAC 2026

More Human, More Efficient: Aligning Annotations with Quantized SLMs

更人性化、更高效：将注释与量化小型语言模型对齐

Jiayu Wang, Junyoung Lee

机构 * Home Team Science and Technology Agency（内政团队科技局） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文提出通过量化小型语言模型在有限人类注释数据上进行微调，以获得高对齐性和确定性的评估与注释方法，提升了注释一致性并展示了其在情感分类任务中的通用性。

SERSEM: Selective Entropy-Weighted Scoring for Membership Inference in Code Language Models

SERSEM：基于代码语言模型的成员推断的选性熵加权评分

Kıvanç Kuzey Dikici, Serdar Kara, Semih Çağlar, Eray Tüzün, Sinem Sav

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

AI总结 SERSEM提出一种新的白盒攻击框架，通过抑制无信息的语法模板来增强特定记忆信号，通过双信号方法提升成员推断的准确性，实验表明其在代码记忆检测中表现优于传统基线方法。

Comments Accepted to the FSE 2026 Poisoned Chalice Competition

Investigating Execution-Aware Language Models for Code Optimization

探究面向执行的语言模型用于代码优化

Federico Di Menna, Luca Traini, Gabriele Bavota, Vittorio Cortellessa

机构 * University of L’Aquila（拉奎拉大学） ； Software Institute - Università della Svizzera Italiana（软件研究所 - 瑞士意大利语大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了将代码执行信息整合到语言模型中对代码优化能力的影响，通过三种训练策略测试了四种执行方面对CodeT5+模型的优化效果，发现执行感知模型在代码优化上收益有限。

Journal ref 2025 IEEE/ACM 33rd International Conference on Program Comprehension (ICPC), Ottawa, ON, Canada, 2025, pp. 204-215

TRIMS: Trajectory-Ranked Instruction Masked Supervision for Diffusion Language Models

TRIMS: 用于扩散语言模型的轨迹排序指令掩码监督

Lingjie Chen, Ruizhong Qiu, Yuyu Fan, Yanjun Zhao, Hanghang Tong

机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Independent Researcher（独立研究员） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 TRIMS通过轨迹指导的监督微调框架提升扩散语言模型的生成效率与准确性，实验表明其在数学和编程基准上优于传统方法，且训练成本更低。

Comments 10 pages, 7 figures, 1 algorithm

A Cross-graph Tuning-free GNN Prompting Framework

跨图无调谐图神经网络提示框架

Yaqi Chen, Shixun Huang, Ryan Twemlow, Lei Wang, John Le, Sheng Wang, Willy Susilo, Jun Yan, Jun Shen

机构 * University of Wollongong（伍伦贡大学） ； Wuhan University（武汉大学） 纠错

专题命中 效率与部署 ：prompting(title,abstract)；分类 cs.LG

AI总结 本文提出CTP框架，实现无需参数调谐的跨图图神经网络提示，通过实验验证其在少样本预测任务中优于现有方法，平均准确率提升30.8%。

G-Drift MIA: Membership Inference via Gradient-Induced Feature Drift in LLMs

G-Drift MIA：基于梯度诱导特征漂移的LLM成员推断

Ravi Ranjan, Utkarsh Grover, Xiaomin Lin, Agoritsa Polyzou

机构 * Florida International University（佛罗里达国际大学） ； University of South Florida（南佛罗里达大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出G-Drift MIA，通过梯度诱导的特征漂移实现LLM成员推断，优于传统方法，在多个模型和数据集上表现突出，揭示了梯度几何与记忆之间的联系。

Comments 14 pages, 3 figures and tables. Accepted in ICPR-2026 conference, to appear in the Springer LNCS proceedings

PDA: Text-Augmented Defense Framework for Robust Vision-Language Models against Adversarial Image Attacks

PDA：用于对抗图像攻击的文本增强防御框架

Jingning Xu, Haochen Luo, Chen Liu

专题命中 效率与部署 ：language model(title,abstract)

AI总结 PDA通过测试时文本增强提升视觉语言模型对多种对抗攻击的鲁棒性，无需修改底层模型，平衡了鲁棒性与效率。

LangMARL: Natural Language Multi-Agent Reinforcement Learning

LangMARL: 自然语言多智能体强化学习

Huaiyuan Yao, Longchao Da, Xiaoou Liu, Charles Fleming, Tianlong Chen, Hua Wei

机构 * Arizona State University（亚利桑那州立大学） ； Cisco Research（思科研究院） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 LangMARL通过引入语言空间中的信用分配和策略梯度进化，解决大语言模型在动态环境中自主协调策略演化的问题，提升样本效率、可解释性和泛化能力。

Comments 20 pages, 12 figures

SAU: Sparsity-Aware Unlearning for LLMs via Gradient Masking and Importance Redistribution

SAU: 通过梯度掩码和重要性再分配实现LLM的稀疏性感知反学习

Yuze Wang, Yujia Tong, Xuan Liu, Junhao Dong

机构 * School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出SAU方法，通过梯度掩码和重要性再分配解决稀疏模型中反学习效果下降问题，提升模型遗忘能力并保持实用性。

PixelPrune: Pixel-Level Adaptive Visual Token Reduction via Predictive Coding

PixelPrune: 通过预测编码实现像素级的视觉令牌减少

Nan Wang, Zhiwei Jin, Chen Chen, Haonan Lu

机构 * OPPO AI Center（OPPO AI中心） 纠错

专题命中 效率与部署 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 PixelPrune通过预测编码压缩技术，在视觉变换器编码器前消除冗余像素块，提升文档和GUI任务的推理速度和训练效率。

Universal YOCO for Efficient Depth Scaling

通用YOCO用于高效深度扩展

Yutao Sun, Li Dong, Tianzhu Ye, Shaohan Huang, Jianyong Wang, Furu Wei

机构 * Microsoft Research（微软研究院） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通用YOCO（YOCO-U），结合递归计算与YOCO解码器解码器架构，实现更高效的推理效率与深度扩展能力，通过参数共享和浅层高效注意力层提升性能。

Language Steering for Multilingual In-Context Learning

多语言情境学习中的语言引导

Neeraja Kirtane, Kuan-Hao Huang

机构 * Texas A&M University（德克萨斯农工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出语言向量用于多语言情境学习，通过调整隐藏状态偏移量提升模型对目标语言的识别能力，实验显示在19种语言和三种模型上均取得显著提升。

Generalizable Dense Reward for Long-Horizon Robotic Tasks

可泛化的密集奖励用于长周期机器人任务

Silong Yong, Stephen Sheng, Carl Qi, Xiaojie Wang, Evan Sheehan, Anurag Shivaprasad, Yaqi Xie, Katia Sycara, Yesh Dattatreya

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Amazon Robotics（亚马逊机器人） ； UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出VLLR框架，结合外部奖励和内部奖励提升长周期机器人任务性能，通过任务分解和自信心引导实现无需人工奖励工程的高效训练。

Comments Project page: https://silongyong.github.io/vllr_project_page/

OTPrune: Distribution-Aligned Visual Token Pruning via Optimal Transport

OTPrune: 通过最优传输实现分布对齐的视觉令牌剪枝

Xiwen Chen, Wenhui Zhu, Gen Li, Xuanzhao Dong, Yujian Xiong, Hao Wang, Peijie Qiu, Qingquan Song, Zhipeng Wang, Shao Tang, Yalin Wang, Abolfazl Razi

机构 * Morgan Stanley（摩根士丹利） ； Clemson University（克莱姆森大学） ； Arizona State University（亚利桑那州立大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Texas A&M University（德克萨斯农工大学） ； Rice University（莱斯大学） ； Florida State University（佛罗里达州立大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出OTPrune，通过最优传输对齐视觉表示分布，实现高效的视觉令牌剪枝，提升推理效率并保持表示的稳定性与语义忠实性。

Comments Accepted by CVPR2026

RANGER: A Monocular Zero-Shot Semantic Navigation Framework through Visual Contextual Adaptation

RANGER：通过视觉上下文适应的单目零样本语义导航框架

Ming-Ming Yu, Yi Chen, Börje F. Karlsson, Wenjun Wu

机构 * Beihang University（北京航空航天大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） 纠错

专题命中 效率与部署 ：language model(abstract)；foundation model(abstract)

AI总结 RANGER通过视觉上下文学习实现零样本语义导航，无需依赖深度和姿态信息，利用3D基础模型和视觉语言模型提升任务效率与环境适应性。

Comments Accepted at ICRA 2026

Stochastic Attention: Connectome-Inspired Randomized Routing for Expressive Linear-Time Attention

随机注意力：受连接组启发的随机路由用于表达性线性时间注意力

Zehao Jin, Yanan Sui

机构 * Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Stochastic Attention，通过随机排列token序列提升注意力机制的表达性，实现更高效的全局通信，在预训练和推理任务中均优于传统方法。

Execution-Verified Reinforcement Learning for Optimization Modeling

可验证执行的强化学习用于优化建模

Runda Guan, Xiangqing Shen, Jiajun Zhang, Yifan Zhang, Jian Cheng, Rui Xia

机构 * School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 效率与部署 ：SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EVOM框架，通过将数学规划求解器作为确定性验证器，利用强化学习生成并执行求解代码，实现高效的优化建模。实验表明EVOM在多个数据集上表现优异，支持零样本求解器迁移和低成本适应。

A ROS 2 Wrapper for Florence-2: Multi-Mode Local Vision-Language Inference for Robotic Systems

为Florence-2设计的ROS 2封装器：面向机器人系统的多模式本地视觉语言推断

J. E. Domínguez-Vidal

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 本文提出一个ROS 2封装器，实现Florence-2模型的三种交互模式，支持本地部署和容器化运行，验证了消费级硬件在视觉语言任务中的可行性。

Comments 5 pages, 1 figure

AdaLoRA-QAT: Adaptive Low-Rank and Quantization-Aware Segmentation

AdaLoRA-QAT：自适应低秩和量化感知分割

Prantik Deb, Srimanth Dhondy, N. Ramakrishna, Anu Kapoor, Raju S. Bapi, Tapabrata Chakraborti

机构 * International Institute of Information Technology (IIIT-H), Hyderabad, India（国际信息技术研究所（IIIT-H），印度海得拉巴） ； Nizam’s Institute of Medical Sciences (NIMS), Hyderabad, India（尼扎姆医学科学研究所（NIMS），印度海得拉巴） ； The Alan Turing Institute, London（艾伦·图灵研究所，伦敦） ； University College London, United Kingdom（伦敦大学学院，英国） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出AdaLoRA-QAT框架，结合自适应低秩编码器适应与全量化感知训练，实现高效且可靠的医学图像分割，实验表明其在保持高精度的同时显著降低参数量和模型体积。

Comments Accepted to ISBI 2026(Oral Presentation)

RoboNeuron: A Middle-Layer Infrastructure for Agent-Driven Orchestration in Embodied AI

RoboNeuron：面向具身AI的代理驱动编排中层基础设施

Weifan Guan, Qinghao Hu, Huasen Xi, Chenxiao Zhang, Aosheng Li, Jian Cheng

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； AiRiA ； MAICRO 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.LG

AI总结 本文提出RoboNeuron中层框架，解决视觉-语言-动作模型与机器人中间件间的接口不匹配问题，通过统一执行抽象实现模块化编排与后端切换。

D4C: Data-Free Quantization for Contrastive Language-Image Pre-training Models

D4C: 无数据量化用于对比语言-图像预训练模型

Wenlun Zhang, Yunshan Zhong, Zihao Ding, Xinyu Li, Kentaro Yoshioka

机构 * Keio University（庆应义塾大学） ； Hainan University（海南大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 本文提出D4C框架，解决无数据量化在CLIP模型中的性能问题，通过生成语义丰富且结构多样的伪图像提升模型压缩效果。

Comments Accepted to CVPRF 2026

CayleyPy Growth: Efficient growth computations and hundreds of new conjectures on Cayley graphs (Brief version)

CayleyPy增长：高效增长计算和数百个关于Cayley图的新猜想（简版）

A. Chervov, D. Fedoriaka, E. Konstantinova, A. Naumov, I. Kiselev, A. Sheveleva, I. Koltsov, S. Lytkin, A. Smolensky, A. Soibelman, F. Levkovich-Maslyuk, R. Grimov, D. Volovich, A. Isakov, A. Kostin, M. Litvinov, N. Vilkin-Krom, A. Bidzhiev, A. Krasnyi, M. Evseev, E. Geraseva, L. Grunwald, S. Galkin, E. Koldunov, S. Diner, A. Chevychelov, E. Kudasheva, A. Sychev, A. Kravchenko, Z. Kogan, A. Natyrova, L. Shishina, L. Cheldieva, V. Zamkovoy, D. Kovalenko, O. Papulov, S. Kudashev, D. Shiltsov, R. Turtayev, O. Nikitina, D. Mamayeva, S. Nikolenko, M. Obozov, A. Titarenko, A. Dolgorukova, A. Aparnev, O. Debeaupuis, S. Alami C., H. Isambert

机构 * Institut Curie, CNRS UMR168, Paris, France（居里研究所，法国国家科学研究中心UMR168，法国巴黎） ； University of Washington（华盛顿大学） ； Three Gorges Mathematical Research Center, China Three Gorges University（三峡数学研究中心，三峡大学） ； Sobolev Institute of Mathematics（索博列夫数学研究所） ； Novosibirsk State University（新西伯利亚国立大学） ； Independent Researcher（独立研究员） ； Moscow State University（莫斯科国立大学） ； Kazakh-British Technical University（哈萨克-英国技术大学） ； Neapolis University Pafos, Cyprus（尼阿波利斯大学帕福斯校区，塞浦路斯） ； City St George's, University of London（伦敦大学城市圣乔治学院） ； Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； ITMO University（ITMO大学） ； Moscow Center for Advanced Studies（莫斯科高等研究中心） ； National Research University Higher School of Economics（国立研究大学高等经济学院） ； Ariel University（阿里埃勒大学） ； Saint-Petersburg Pasteur Institute（圣彼得堡巴斯德研究所） ； Criteo AI Lab, Berlin, Germany（Criteo人工智能实验室，德国柏林） ； University of Bologna（博洛尼亚大学） ； Faculty of Bioengineering and Bioinformatics, Lomonosov Moscow State University（莫斯科国立大学生物工程与生物信息学系） ； Researcher at Banner Stat（Banner Stat研究员） ； MIREA — Russian Technological University（MIREA — 俄罗斯技术大学） ； Research Center of the Artificial Intelligence Institute, Innopolis University（因诺波利斯大学人工智能研究所研究中心） ； Inpdependent Researcher（独立研究员） ； LIX, Ecole Polytechnique/CNRS, IP Paris（LIX，巴黎综合理工学院/法国国家科学研究中心，巴黎理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.LG

AI总结 CayleyPy项目利用人工智能解决群论问题，实现了高效Cayley图和Schreier图计算，并提出200多个新猜想，包括直径和增长的多项式公式及改进的Babai猜想。

Comments 46 pages, 30 figures; v2: typos fixed

NES: An Instruction-Free, Low-Latency Next Edit Suggestion Framework Powered by Learned Historical Editing Trajectories

NES：一种基于学习历史编辑轨迹的无指令、低延迟的下一步编辑建议框架

Xinfang Chen, Siyang Xiao, Xianying Zhu, Junhong Xie, Ming Liang, Dajun Chen, Wei Jiang, Yong Li, Peng Di

机构 * Ant Group, China（蚂蚁集团，中国） ； UNSW Sydney（悉尼新南威尔士大学） 纠错

专题命中 效率与部署 ：SFT(abstract)；分类 cs.LG

AI总结 NES通过学习历史编辑轨迹，为代码编辑提供无指令、低延迟的建议，实现75.6%的定位准确率和27.7%的精确匹配率，已在蚂蚁集团服务超2万名开发者。

Comments Accepted by FSE'26 Industry Track

CHEEM: Continual Learning by Reuse, New, Adapt and Skip -- A Hierarchical Exploration-Exploitation Approach

CHEEM：通过重用、新信息、适应和跳过进行持续学习——一种分层探索-利用方法

Chinmay Savadikar, Michelle Dai, Tianfu Wu

机构 * North Carolina State University（北卡罗来纳州立大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 效率与部署 ：prompting(abstract)；分类 cs.LG

AI总结 本文提出CHEEM框架，通过分层探索-利用方法解决持续学习中的稳定性与可塑性矛盾，实现高效神经网络架构搜索，优于现有方法，接近全微调上限。

Comments CVPR 2026

Prompt-Guided Prefiltering for VLM Image Compression

基于提示的VLM图像压缩预过滤

Bardia Azizian, Ivan V. Bajic

机构 * School of Engineering Science, Simon Fraser University（西蒙菲莎大学工程科学学院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

AI总结 本文提出一种轻量级、即插即用的提示引导预过滤模块，用于识别图像中与文本提示最相关的区域，从而提升VLM图像压缩效率，实验显示在保持任务准确性的同时实现25-50%的平均比特率降低。

Comments 7 pages, 5 figures. Accepted to IEEE ICME 2026. Code: https://github.com/bardia-az/pgp-vlm-compression