语言大模型 / LLM

Graph Property Inference in Small Language Models: Effects of Representation and Reasoning Strategy

在小型语言模型中进行图属性推断：表示与推理策略的影响

Michal Podstawski

机构 * NASK National Research Institute, Warsaw, Poland（波兰华沙国家研究 institute） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.LG

AI总结 研究探讨了小型指令微调语言模型在图属性推断中的表现，发现输入表示和推理策略显著影响结果，未经过微调的模型在估计图属性时存在系统性误差，但通过改进表示和推理设计可提升性能。

JigsawRL: Assembling RL Pipelines for Efficient LLM Post-Training

JigsawRL：构建高效的LLM后训练强化学习流水线

Zhengding Hu, Hehua Ouyang, Chang Chen, Zaifeng Pan, Yue Guan, Zhongkai Yu, Zhen Wang, Steven Swanson, Yufei Ding

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(title)；分类 cs.LG

AI总结 JigsawRL通过动态资源分配和图调度策略，提升强化学习流水线效率，实现异步和同步任务的性能提升。

Secure On-Premise Deployment of Open-Weights Large Language Models in Radiology: An Isolation-First Architecture with Prospective Pilot Evaluation

面向放射学的开放权重大语言模型本地部署安全方案：一种优先隔离的架构及其前瞻性试点评估

Sebastian Nowak, Jann-Frederick Laß, Narine Mesropyan, Babak Salam, Nico Piel, Mohammed Bahaaeldin, Wolfgang Block, Alois Martin Sprinkart, Julian Alexander Luetkens, Benjamin Wulff, Alexander Isaak

机构 * Department of Diagnostic and Interventional Radiology, University Hospital Bonn（诊断与介入放射科，波恩大学医院） ； Department of Research-IT, University Hospital Bonn（研究-IT部门，波恩大学医院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出一种优先隔离的架构，用于在放射学领域安全部署开放权重大语言模型，通过严格的网络隔离和权限控制，验证了其在临床实用性和技术可行性上的表现。

Comments 39 pages, 4 figures, 3 tables

MLorc: Momentum Low-rank Compression for Memory Efficient Large Language Model Adaptation

MLorc: 动量低秩压缩用于内存高效的大型语言模型适应

Wei Shen, Zhang Yaxiang, Minhui Huang, Mengfan Xu, Jiawei Zhang, Cong Shen

机构 * University of Virginia（弗吉尼亚大学） ； National University of Singapore（新加坡国立大学） ； Meta ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出MLorc方法，通过压缩和重建矩阵参数动量以降低内存消耗，相比LoRA和GaLore在内存效率和训练动态保留方面更优，理论和实验均验证其有效性。

Comments AISTATS 2026

Toward Efficient Membership Inference Attacks against Federated Large Language Models: A Projection Residual Approach

迈向高效成员推断攻击对抗联邦大语言模型：一种投影残差方法

Guilin Deng, Silong Chen, Yuchuan Luo, Yi Liu, Songlei Wang, Zhiping Cai, Lin Liu, Xiaohua Jia, Shaojing Fu

机构 * Colleague of Computer Science and Technology, National University of Defense Technology, Changsha, China（计算机科学与技术系，国防科技大学，中国长沙） ； City University of Hong Kong, Hong Kong, China（香港城市大学，中国香港） ； Shenzhen University, Shenzhen, China（深圳大学，中国深圳） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出ProjRes方法，通过分析隐藏嵌入向量在梯度子空间中的投影残差，有效识别联邦大语言模型中的成员推断攻击，实现近100%的准确率，优于现有方法75.75%。

Comments This is the full version (including complete appendices and supplementary materials) of the paper accepted for publication at the 2026 IEEE Symposium on Security and Privacy

SpikeMLLM: Spike-based Multimodal Large Language Models via Modality-Specific Temporal Scales and Temporal Compression

基于脉冲的多模态大语言模型：通过模态特定的时间尺度和时间压缩

Han Xu, Zhiyong Qin, Di Shang, Jiahong Zhang, Xuerui Qiu, Bo Lei, Tiejun Huang, Bo Xu, Guoqi Li

机构 * 1 Institute of Automation, Chinese Academy of Sciences 2 University of Chinese Academy of Sciences 3 Beijing Academy of Artificial Intelligence 4 Zhongguancun Academy 5 Peking University 6 Key Laboratory of Brain Cognition ； Brain-inspired Intelligence Technology 7 Spiking Intelligence Lab, Tianqiao \& Chrissy Chen Institute [0.5em] Equal contribution Corresponding authors 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出SpikeMLLM，首个基于脉冲的多模态大语言模型框架，通过模态特定时间尺度和时间压缩技术，在减少时间步数的同时保持高性能，实验显示其在多个基准上表现优异。

Generalization Boundaries of Fine-Tuned Small Language Models for Graph Structural Inference

微调小语言模型在图结构推断中的泛化边界

Michal Podstawski

机构 * NASK National Research Institute（NASK国家研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.LG

AI总结 研究微调小语言模型在图结构推断中的泛化能力，通过图大小和图族分布两个维度评估其在超出训练条件时的表现，揭示模型在不同架构下的退化特征。

PRISM-XR: Empowering Privacy-Aware XR Collaboration with Multimodal Large Language Models

PRISM-XR: 通过多模态大语言模型赋能隐私感知的扩展现实协作

Jiangong Chen, Mingyu Zhu, Bin Li

机构 * Department of Electrical Engineering, The Pennsylvania State University, University Park, PA 16802, USA（电气工程系，宾夕法尼亚州立大学，University Park，PA 16802，USA） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出PRISM-XR框架，通过边缘服务器智能预处理过滤敏感数据，实现隐私保护的多用户XR协作，实验表明其在准确性和隐私保护方面表现优异。

Comments Accepted to the 2026 IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR)

Journal ref 2026 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)

EvoComp: Learning Visual Token Compression for Multimodal Large Language Models via Semantic-Guided Evolutionary Labeling

EvoComp: 通过语义引导的进化标注学习多模态大语言模型的视觉令牌压缩

Jiafei Song, Fengwei Zhou, Jin Qu, Wenjin Jason Li, Tong Wu, Gengjian Xue, Zhikang Zhao, Daomin Wei, Yichao Lu, Bailin Na

机构 * OPPO CTG 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出EvoComp框架，通过语义引导的进化标注策略，有效压缩视觉令牌数量，同时保持任务精度，实验显示在3倍压缩下保持99.3%的准确率，并在移动设备上提升1.6倍速度。

Comments Accepted by CVPR 2026

Protecting multimodal large language models against misleading visualizations

保护多模态大语言模型免受误导性可视化的影响

Jonathan Tonglet, Tinne Tuytelaars, Marie-Francine Moens, Iryna Gurevych

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（普遍知识处理实验室（UKP实验室）、计算机科学系，德累斯顿技术大学及应用网络安全国家研究中心ATHENE） ； Department of Electrical Engineering, KU Leuven（电气工程系，鲁文大学） ； Department of Computer Science, KU Leuven（计算机科学系，鲁文大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究发现多模态大语言模型在面对误导性可视化时回答准确性显著下降，提出两种有效方法提升其处理能力，同时保持非误导性可视化下的准确性。

Comments Preprint. Code and data available at https://github.com/UKPLab/arxiv2025-misleading-visualizations

CLASP: Class-Adaptive Layer Fusion and Dual-Stage Pruning for Multimodal Large Language Models

CLASP：面向多模态大语言模型的类适应层融合与双阶段剪枝

Yunkai Dang, Yizhu Jiang, Yifan Jiang, Qi Fan, Yinghuan Shi, Wenbin Li, Yang Gao

机构 * School of Artificial Intelligence Science and Technology（人工智能科学与技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 CLASP通过类适应层融合和双阶段剪枝，实现多模态大语言模型中视觉token的高效减少，提升模型鲁棒性和性能。

Breaking Block Boundaries: Anchor-based History-stable Decoding for Diffusion Large Language Models

打破块边界：基于锚点的历史稳定解码用于扩散大语言模型

Shun Zou, Yong Wang, Zehui Chen, Lin Chen, Chongyang Tao, Feng Zhao, Xiangxiang Chu

机构 * MoE Key Lab of BIPC, University of Science and Technology of China（中国科学技术大学教育部多模态认知与智能系统重点实验室） ； AMAP, Alibaba Group（阿里巴巴集团高德地图） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出AHD解码策略，通过动态锚点实时监控token稳定性，实现跨块高效解码，提升性能与推理效率。

Comments Accepted for ACL 2026

HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference

HybridKV: 为高效多模态大语言模型推理设计的混合KV缓存压缩

Bowen Zeng, Feiyang Ren, Jun Zhang, Xiaoling Gu, Ke Chen, Lidan Shou, Huan Li

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出HybridKV框架，通过分层预算分配和不同压缩策略，有效减少KV缓存内存占用并提升解码速度，实验表明在11个多模态基准上内存减少达7.9倍，解码速度提升1.52倍，性能损失极小。

AttnDiff: Attention-based Differential Fingerprinting for Large Language Models

AttnDiff：基于注意力的差分指纹法用于大语言模型

Haobo Zhang, Zhenhua Xu, Junxian Li, Shangfeng Sheng, Dezhang Kong, Meng Han

机构 * Zhejiang University of Technology（浙江工业大学） ； Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出AttnDiff，一种高效白盒框架，通过内在信息路由行为提取模型指纹，用于验证大语言模型的衍生关系，实现高相似度区分相关衍生模型与无关模型家族。

Comments Accepted at ACL2026 Main

GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models

GrACE：一种生成方法，用于改进置信度 elicitation 和大语言模型在测试时的高效扩展

Zhaohan Zhang, Ziquan Liu, Ioannis Patras

机构 * Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出GrACE，一种生成方法，用于改进大语言模型的置信度 elicitation 和测试时的高效扩展，通过实时计算隐藏状态与特殊标记嵌入的相似性，实现可靠且可扩展的置信度评估。

Scalable and Explainable Learner-Video Interaction Prediction using Multimodal Large Language Models

基于多模态大语言模型的可扩展且可解释的学习者-视频交互预测

Dominik Glandorf, Fares Fawzi, Tanja Käser

机构 * EPFL（瑞士联邦理工学院洛桑） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出利用多模态大语言模型预测学习者观看、暂停、跳过和回放行为，以评估视频内容的认知负荷，通过7700万次视频控制事件验证了模型的可扩展性和解释性。

Comments Accepted as long paper to the 27th International Conference on Artificial Intelligence in Education (AIED 2026)

Fast NF4 Dequantization Kernels for Large Language Model Inference

快速的NF4去量化内核用于大语言模型推理

Xiangbo Qi, Chaoyi Jiang, Murali Annavaram

机构 * University of Southern California（南加州大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出了一种轻量级共享内存优化方法，通过利用内存层次结构提升性能，实现大语言模型推理的加速，展示了在不同模型上的显著速度提升。

Comments 7 pages, 4 figures, EMC2 Workshop at ASPLOS 2026

AA-SVD : Anchored and Adaptive SVD for Large Language Model Compression

AA-SVD：面向大语言模型压缩的锚定与自适应SVD

Atul Kumar Sinha, François Fleuret

机构 * University of Geneva（日内瓦大学） ； FAIR, Meta（Meta FAIR） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出一种快速低秩因子分解框架，用于压缩大语言模型，实现无需重新训练的快速压缩。通过同时考虑原始输入和分布偏移，改进Transformer块的端到端压缩，减少输出失真并联合补偿累积误差，实验表明在高压缩率下优于现有SVD基方法。

Towards Distillation-Resistant Large Language Models: An Information-Theoretic Perspective

迈向抗蒸馏的大语言模型：信息论视角

Hao Fang, Tianyi Zhang, Tianqu Zhuang, Jiawei Kong, Kuofeng Gao, Bin Chen, Leqi Liang, Shu-Tao Xia, Ke Xu

机构 * Tsinghua University（清华大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文从信息论角度分析蒸馏防御问题，提出通过最小化条件互信息来提升模型抗蒸馏能力，设计变换矩阵净化输出以增强安全性，实验表明方法有效降低蒸馏性能并保持任务准确性。

$D^2Prune$: Sparsifying Large Language Models via Dual Taylor Expansion and Attention Distribution Awareness

$D^2Prune$：通过双重泰勒展开和注意力分布意识对大型语言模型进行稀疏化

Lang Xiong, Ning Liu, Ao Ren, Yuheng Bai, Haining Fang, BinYan Zhang, Zhe Jiang, Yujuan Tan, Duo Liu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出$D^2Prune$方法，通过双重泰勒展开和注意力分布意识，解决现有剪枝方法在激活分布偏移和注意力模块长尾分布方面的不足，提升模型压缩效果。

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(32), 27171-27179, 2026

Photon: Speedup Volume Understanding with Efficient Multimodal Large Language Models

Photon：通过高效多模态大语言模型加速体积理解

Chengyu Fang, Heng Guo, Zheng Jiang, Chunming He, Xiu Li, Minfeng Xu

机构 * Tsinghua University（清华大学） ； DAMO Academy, Alibaba Group（阿里巴巴集团达摩院） ； Hupan Lab（湖畔实验室） ； Duke University（杜克大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 Photon通过高效多模态大语言模型实现3D医学影像的体积理解，采用自适应令牌调度和梯度传播技术降低计算成本，提升模型可靠性与效率。

Comments Accepted by ICLR 2026

Rethinking the Role of Entropy in Optimizing Tool-Use Behaviors for Large Language Model Agents

重新思考熵在优化大语言模型代理工具使用行为中的作用

Zeping Li, Hongru Wang, Yiwen Zhao, Guanhua Chen, Yixia Li, Keyang Chen, Yixin Cao, Guangnan Ye, Hongfeng Chai, Zhenfei Yin

机构 * Fudan University（复旦大学） ； University of Edinburgh（爱丁堡大学） ； Southern University of Science and Technology（南方科技大学） ； Oxford University（牛津大学） ； Haven 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文通过熵基实验发现熵减与高质量工具调用正相关，提出两种奖励策略优化工具使用行为，实验表明熵减可提升代理适应性。

PoC: Performance-oriented Context Compression for Large Language Models via Performance Prediction

PoC：通过性能预测实现面向性能的上下文压缩

Runsong Zhao, Shilei Liu, Jiwei Tang, Langming Liu, Haibin Chen, Weidong Zhang, Yujin Yuan, Tong Xiao, Jingbo Zhu, Wenbo Su, Bo Zheng

机构 * Northeastern University, China（东北大学，中国） ； Tsinghua University（清华大学） ； Future Living Lab of Alibaba（阿里巴巴未来生活实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出PoC方法，通过设定性能底线而非压缩比来优化大语言模型的上下文压缩，设计两种预测器并验证其在问答和摘要任务中的性能优势。

FastMMoE: Accelerating Multimodal Large Language Models through Dynamic Expert Activation and Routing-Aware Token Pruning

FastMMoE：通过动态专家激活和路由感知的标记剪枝加速多模态大语言模型

Guoyang Xia, Yifeng Ding, Fengfa Li, Lei Ren, Wei Chen, Fangxiang Feng, Xiaojie Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Li Auto（利亚自动化） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出FastMMoE，一种无需训练的加速框架，通过动态专家激活和路由感知标记剪枝，显著降低计算量并保持性能，优于现有基线方法。

Fine-Grained Post-Training Quantization for Large Vision Language Models with Quantization-Aware Integrated Gradients

细粒度后训练量化用于大型视觉语言模型的量化感知集成梯度

Ziwei Xiang, Fanhu Zeng, Hongjian Fang, Rui-Qi Wang, Renxing Chen, Yanan Zhu, Yi Chen, Peipei Yang, Xu-Yao Zhang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（多模态人工智能系统国家重点实验室，中国科学院自动化所） ； School of Artificial Intelligence, UCAS（人工智能学院，中国科学院大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学研究中心） ； Institute of Artificial Intelligence, USTB（信息科学技术大学人工智能学院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(title,abstract)；分类 cs.AI

AI总结 本文提出细粒度后训练量化方法，通过量化感知集成梯度评估token敏感性，提升大型视觉语言模型的精度与效率。

Comments Accepted by CVPR 2026 Main Conference

CAMD: Coverage-Aware Multimodal Decoding for Efficient Reasoning of Multimodal Large Language Models

CAMD：面向多模态大语言模型高效推理的覆盖感知多模态解码

Huijie Guo, Jingyao Wang, Lingyu Si, Jiahuan Zhou, Changwen Zheng, Wenwen Qiang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出CAMD，通过动态分配计算资源提升多模态大语言模型的推理效率与可靠性，解决解码方法在易例和难例间的计算不匹配问题。

Development of Ontological Knowledge Bases by Leveraging Large Language Models

通过利用大语言模型开发本体知识库

Le Ngoc Luyen, Marie-Hélène Abel, Philippe Gouspillou

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出利用大语言模型开发本体知识库的结构化迭代方法，通过案例研究展示加速本体构建、提升一致性及透明度的贡献。

OrchMLLM: Orchestrate Multimodal Data with Batch Post-Balancing to Accelerate Multimodal Large Language Model Training

OrchMLLM: 通过批量后平衡 orchestrate 多模态数据以加速多模态大语言模型训练

Yijie Zheng, Bangjun Xiao, Lei Shi, Xiaoyang Li, Faming Wu, Tianyu Li, Xuefeng Xiao, Yang Zhang, Yuxuan Wang, Shouda Liu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 OrchMLLM通过批量后平衡调度器和全局协调器解决多模态数据训练中的模态不一致问题，提升训练效率和可扩展性。

High-Fidelity Pruning for Large Language Models

大语言模型的高保真剪枝

Yijun Zhu, Jianxin Wang, Chengchao Shen

机构 * Central South University（中南大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出基于模型输出分布信息熵的高保真剪枝方法，有效提升大语言模型的剪枝效率和预测保真度。

TAO-Attack: Toward Advanced Optimization-Based Jailbreak Attacks for Large Language Models

TAO-Attack：迈向大型语言模型的高级优化基 Jailbreak 攻击

Zhi Xu, Jiaqi Li, Xiaotong Zhang, Hong Yu, Han Liu

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 TAO-Attack 提出了一种基于优化的 Jailbreak 攻击方法，通过双阶段损失函数和方向优先 token 优化策略，有效提升攻击成功率。