语言大模型 / LLM

FIRM: Federated In-client Regularized Multi-objective Alignment for Large Language Models

FIRM: 面向大型语言模型的联邦客户端内正则化多目标对齐

Fatemeh Nourzad, Amirhossein Roknilamouki, Eylem Ekici, Jia Liu, Ness Shroff

机构 * Department of Electrical and Computer Engineering, The Ohio State University, Columbus, OH, USA（电气与计算机工程系，俄亥俄州立大学，哥伦布，OH，USA） ； Department of Computer Science and Engineering, The Ohio State University, Columbus, OH, USA（计算机科学与工程系，俄亥俄州立大学，哥伦布，OH，USA） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出FIRM算法，通过客户端内正则化缓解客户端分歧漂移并提高通信效率，实现联邦多目标对齐，并首次给出有限时间收敛保证。

Semantic Triplet Restoration: A Novel Protocol for Hierarchical Table Understanding in Large Language Models

语义三元组恢复：大型语言模型中层次化表格理解的新协议

Yibin Zhao, Fangxin Shang, Dingrui Yang, Yuqi Wang

机构 * Taiyuan University of Technology（太原科技大学） ； AI Lab, Qifu Technology（启福科技AI实验室） ； AI Lab, Greensea Technology（绿海科技AI实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 提出语义三元组恢复（STR）协议，将表格重写为<项目路径，特征路径，值>原子事实，并设计TripletQL路由以选择三元组子集，在四个表格问答基准上匹配或超越HTML基线并减少输入令牌。

Differentiable Mixture-of-Agents Incentivizes Swarm Intelligence of Large Language Models

可微分的混合智能体激励大型语言模型的群体智能

Xingjian Wu, Junkai Lu, Siyu Yan, Xiangfei Qiu, Jilin Hu, Chenjuan Guo, Bin Yang

机构 * East China Normal University（华东师范大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出可微分的混合智能体（DMoA）框架，通过可微分的上下文感知路由机制动态激活智能体，实现推理过程中的弹性协作，并在9个基准上取得最优性能。

SALAAD: Sparse And Low-Rank Adaptation via ADMM for Large Language Model Inference

SALAAD: 基于ADMM的稀疏低秩适配用于大语言模型推理

Hao Ma, Melis Ilayda Bal, Liang Zhang, Bingcong Li, Niao He, Melanie Zeilinger, Michael Muehlebach

机构 * ETH Zurich（苏黎世联邦理工学院） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出SALAAD框架，通过增广拉格朗日方法在训练中诱导稀疏低秩结构，实现模型容量灵活控制，降低部署内存且无需重训。

LFQ: Logit-aware Final-block Quantization for Boosting the Generation Quality of Low-Bit Quantized LLMs

LFQ：面向提升低比特量化LLM生成质量的逻辑感知最终块量化

Jung Hyun Lee, June Yong Yang, Jungwook Choi, Eunho Yang

机构 * Kim Jaechul Graduate School of AI, KAIST, Daejeon, South Korea（韩国科学技术院人工智能研究生院） ； LG AI Research, Seoul, South Korea（LG人工智能研究） ； Hanyang University, Seoul, South Korea（翰阳大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对低比特量化LLM在生成任务中质量下降的问题，提出通过最小化FP模型与量化模型在最终Transformer块上的logits交叉熵来优化量化，从而提升复杂生成任务的准确性。

Comments Accepted to ICML 2026

Spectra as Language: Large Language Models for Scalable Stellar Parameter and Abundance Inference

光谱即语言：用于可扩展恒星参数和丰度推断的大型语言模型

Hai-Ling Lu, Yu-Yang Li, Yin-Bi Li, Cun-Shi Wang, A-Li Luo, Jun-Chao Liang, Shuo Li

机构 * National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100101, China（中国科学院国家天文台） ； University of Chinese Academy of Sciences, Beijing 100049, China（中国科学院大学） ； School of Astronomy and Space Science, University of Chinese Academy of Sciences, Beijing 100049, China（中国科学院大学天文与空间科学学院） ； University of Chinese Academy of Sciences, Nanjing 211135, China（中国科学院大学南京校区） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出两阶段大型语言模型框架，将恒星光谱视为序列信号，实现有效温度、表面重力、金属丰度及约20种化学元素丰度的准确估计，并展示随数据量增加性能系统提升的可扩展性。

SAE-FD: Sparse Autoencoder Feature Distillation for Continual Learning of Large Language Models

SAE-FD: 面向大语言模型持续学习的稀疏自编码器特征蒸馏

Mingxu Zhang, Yuhan Li, Lujundong Li, Dazhong Shen, Hui Xiong, Ying Sun

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； The 63rd Research Institute, National University of Defense Technology, Nanjing（国防科技大学第六十三研究所，南京） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对持续学习中的灾难性遗忘问题，提出基于稀疏自编码器特征蒸馏的方法，通过将模型表示锚定在稀疏特征空间以减少表征纠缠，实现更精准的正则化，在多个基准上优于现有方法。

Membership Inference Attacks on Tokenizers of Large Language Models

大型语言模型分词器的成员推理攻击

Meng Tong, Yuntao Du, Kejiang Chen, Weiming Zhang, Ninghui Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对预训练大型语言模型成员推理攻击的挑战，提出以分词器作为新攻击向量，探索五种攻击方法，并设计自适应防御。

Comments To appear at USENIX Security Symposium 2026

Divide-and-Conquer Inference for Large-Scale Visual Recognition with Multimodal Large Language Models

面向大规模视觉识别的多模态大语言模型分治推理

Zhipeng Ye, Jiaqi Huang, Feng Jiang, Qiufeng Wang, Yikang Duan, Dawei Wang, Xihang Zhou, Qian Qiao

机构 * Taizhou Institute of Science and Technology, Nanjing University of Science and Technology（泰州科技学院、南京理工大学） ； Department of Intelligence Science, Xi’an Jiaotong-Liverpool University（智能科学系，西安交通大学利物浦大学） ； School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学） ； Department of Statistical Sciences, University of Toronto（统计科学系，多伦多大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型在长序列识别中性能崩溃的问题，提出分治推理（DCI）策略，通过递归分解任务和动态剪枝提升信噪比与分类精度。

Toxic Subword Pruning for Dialogue Response Generation on Large Language Models

针对大型语言模型的对话响应生成中的有毒子词修剪

Hongyuan Lu, Wai Lam

机构 * FaceMind Corporation（FaceMind公司） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出了一种名为ToxPrune的新型算法，通过修剪包含有毒词的子词来防止大型语言模型生成有毒内容，同时提升了对话响应生成任务中非有毒模型的表现。

Comments ACL *SEM 2026

Heterogeneity-Aware Dataset Scheduling for Efficient Audio Large Language Model Training

面向异质性的数据集调度以实现高效的音频大语言模型训练

Yanru Wu, Jianning Wang, Chongxin Gan, Yang Li

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Independent Researcher（独立研究者） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出了一种面向异质性的数据集调度方法GST，通过将数据集分组并按渐进调度策略引入，平衡了并行训练的稳定性与序列优化的效率，从而在14个AudioQA数据集上实现了30-40%的更快收敛速度。

QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models

QWHA: 量化感知的沃尔什-哈达玛适应用于大型语言模型的参数高效微调

Hyesung Jeon, Seojune Lee, Beomseok Kang, Yulhwa Kim, Jae-Joon Kim

机构 * Seoul National University（首尔国立大学） ； Sungkyunkwan University（全北国立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出QWHA方法，通过将基于傅里叶变换的适配器与沃尔什-哈达玛变换结合，改进量化感知参数高效微调，有效减少量化误差并降低计算成本。

Comments 25 pages, 9 figures, 14 tables

Journal ref ICLR 2026 Poster

Rethinking 1-bit Optimization Leveraging Pre-trained Large Language Models

重新思考利用预训练大语言模型的1位优化

Zhijun Tu, Jian Li, Yuanyuan Xi, Siqi Liu, Chuanjian Liu, Hanting Chen, Jie Hu, Yunhe Wang

机构 * Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出了一种一致的渐进式训练方法，通过将全精度权重逐步转化为二值化权重，以提高1位大语言模型的性能，并通过二进制感知初始化和双缩放补偿减少训练难度。

Comments 15 pages, 7 figures

We Think, Therefore We Align LLMs to Helpful, Harmless and Honest Before They Go Wrong

我们思考，因此我们对LLMs进行对齐，使其在出错前变得有益、无害和诚实

Gautam Siddharth Kashyap, Mark Dras, Usman Naseem

机构 * School of Computing Macquarie University（计算机学院麦Quarie大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出AMBS框架，通过在1-to-N Transformer设置中参数化目标特定转换，解决LLM对齐中多个目标之间的干扰问题，提升HHH目标的联合满足能力。

DiscussLLM: Teaching Large Language Models When to Speak

DiscussLLM：教大语言模型何时说话

Deep Anil Patel, Iain Melvin, Christopher Malon, Martin Renqiang Min

机构 * NEC Laboratories America（NEC美洲实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 DiscussLLM通过两阶段数据生成管道合成大规模多轮人类讨论数据，训练模型主动决定何时发言，提升对话AI的响应能力。

Distribution Corrected Offline Data Distillation for Large Language Models

用于大型语言模型的分布校正离线数据蒸馏

Yumeng Zhang, Zhengbang Yang, Yevin Nikhel Goonatilake, Zhuangdi Zhu

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出一种分布校正的离线推理蒸馏框架，通过适应性强调与学生模型推理分布更一致的教师监督，提升推理准确性并保持指令遵循能力。

OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models

OmniSIFT: 多模态非对称令牌压缩用于高效的多模态大语言模型

Yue Ding, Yiyan Ji, Jungang Li, Xuyang Liu, Xinlong Chen, Junfei Wu, Bozhou Li, Bohan Zeng, Yang Shi, Yushuo Guan, Yuanxing Zhang, Jiaheng Liu, Qiang Liu, Pengfei Wan, Liang Wang

机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（模式识别新实验室（NLPR）、自动化研究所、中国科学院（CASIA）） ； Nanjing University（南京大学） ； The Hong Kong University of Science（香港科学大学） ； Sichuan University（四川大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 OmniSIFT通过非对称令牌压缩框架提升多模态大语言模型效率，采用时空视频修剪和视觉引导音频选择模块，实现低参数高鲁棒性。

Comments [ICML 2026] Code Link: https://github.com/dingyue772/OmniSIFT

When Do LLMs Generate Realistic Social Networks? A Multi-Dimensional Study of Culture, Language, Scale, and Method

当大型语言模型生成真实的社会网络时？文化、语言、规模和方法的多维研究

Sai Hemanth Kilaru, Sriram Theerdh Manikyala, Raghav Upadhyay, Sri Sai Kumar Ramavath, Srivika Nunavathu, Dalal Alharthi

机构 * University of Arizona（亚利桑那大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过多维度研究探讨LLM生成社会网络的可靠性，发现文化框架、提示语言和模型规模等因素显著影响网络结构，揭示提示设计对社会学假设的影响。

AI Safety Landscape for Large Language Models: Taxonomy, State-of-the-art, and Future Directions

大语言模型的安全性景观：分类、现状与未来方向

Chen Chen, Xueluan Gong, Ziyao Liu, Weifeng Jiang, Si Qi Goh, Kwok-Yan Lam

机构 * College of Computing and Data Science（计算与数据科学学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出新型框架，从可信AI、负责任AI和安全AI三个视角审视AI安全，综述当前研究进展，通过大语言模型等实例展示创新方法，旨在推动AI安全研究并提升数字转型信任度。

OmniRefine: Alignment-Aware Cooperative Compression for Efficient Omnimodal Large Language Models

OmniRefine: 一种面向对齐的协作压缩方法以提高多模态大语言模型的效率

Yuchen Deng, Zidang Cai, Hai-Tao Zheng, Jie Wang, Feidiao Yang, Yuxing Han

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出OmniRefine，一种无需训练的两阶段框架，通过跨模态对齐和协作压缩提升多模态大语言模型的推理效率与性能稳定性。

OTT-Vid: Optimal Transport Temporal Token Compression for Video Large Language Models

OTT-Vid: 基于最优传输的视频大语言模型时间令牌压缩

Minseok Kang, Minhyeok Lee, Jungho Lee, Minjung Kim, Donghyeong Kim, Dayeon Lee, Heeseung Choi, Ig-jae Kim, Sangyoun Lee

机构 * Yonsei University（延世大学） ； LG Electronics（LG电子） ； KIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 OTT-Vid通过结合空间修剪和最优传输，有效压缩视频令牌，保持高性能，实验显示在保留10%令牌的情况下，VQA和VTG性能分别达到95.8%和73.9%。

Comments 22pages, 9 figures. Code available at https://github.com/minseokii/OTT-Vid

The Astonishing Ability of Large Language Models to Parse Jabberwockified Language

大型语言模型解析jabberwockified语言的惊人能力

Gary Lupyan, Senyi Yang

机构 * Department of Psychology, University of Wisconsin-Madison（威斯康星大学麦迪逊分校心理学系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本研究展示大型语言模型能从严重退化的英文文本中恢复意义，通过替换内容词为无意义字符串的文本，模型能生成接近原文的常规英文，揭示了语法结构对词汇意义的强约束作用。

Comments Submitted to the 2026 Annual Meeting of the Cognitive Science Society

A Game Theoretic Free Energy Analysis of Higher Order Synergy in Attention Heads of Large Language Models

基于博弈自由能分析的大型语言模型注意力头中高阶协同效应

Djamel Bouchaffra

机构 * DAVID Lab, University of Paris-Saclay, UVSQ Campus, 78035 Versailles, France（巴黎萨克雷大学DAVID实验室，UVSQ校区，法国Versailles） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文通过博弈自由能原理分析大型语言模型注意力头中的高阶协同效应，揭示了高阶冗余性，并展示了通过剪枝降低计算成本的方法。

Comments this manuscript has been submitted to Neural Networks

Majority Bit-Aware Watermarking For Large Language Models

多数位感知水印技术用于大语言模型

Jiahao Xu, Rui Hu, Olivera Kotevska, Zikai Zhang

机构 * University of Nevada, Reno（内华达大学里诺分校） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出多数位感知编码方法，通过放松绿色列表大小对水印信号强度的限制，提升大语言模型生成文本的解码准确性和文本质量。

Comments Preprint

Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

超越'我无法完成此请求'：通过标签增强缓解LLM中的刚性拒绝

Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

机构 * Southeast University, Nanjing, China（东南大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出LANCE方法，通过标签增强实现安全且灵活的响应，减少LLM中的刚性拒绝问题，提升交互自然性。

LLM-Based SQL Generation: Prompting, Self-Refinement, and Adaptive Weighted Majority Voting

基于大型语言模型的SQL生成：提示、自我完善与自适应加权多数投票

Yu-Jie Yang, Hung-Fu Chang, Po-An Chen

机构 * Institute of Information Management（信息管理研究所） ； National Yang Ming Chiao Tung University（阳明交通大学） ； R. B. Annis School of Engineering（R. B. Annis工程学院） ； University of Indianapolis（印第安纳大学） 纠错

专题命中 效率与部署 ：LLM(title)；prompting(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出SSEV管道，通过自我完善与加权多数投票提升SQL生成准确性，在多个基准测试中取得良好成绩，并进一步提出ReCAPAgent-SQL框架以应对企业数据库复杂性，提升实际应用效果。

Comments 29 pages, 22 figures

Journal ref 2026 International Conference on Information Management

Federation of Experts: Communication Efficient Distributed Inference for Large Language Models

专家联邦：用于大型语言模型的通信高效的分布式推理

Muhammad Shahir Abdurrahman, Chun Deng, Azalia Mirhoseini, Philip Levis

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出FedEx架构，通过将MoE块分为多个集群，减少专家间通信开销，提升单节点和多节点下的推理吞吐量和延迟，同时保持生成质量。

LAMP: Look-Ahead Mixed-Precision Inference of Large Language Models

LAMP：大型语言模型的前瞻性混合精度推理

Stanislav Budzinskiy, Marian Gloser, Tolunay Yilmaz, Ying Hong Tham, Yuanyi Lin, Wenyi Fang, Fan Wu, Philipp Petersen

机构 * Faculty of Mathematics University of Vienna（维也纳大学数学系） ； Huawei Technologies（华为技术） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出了一种前瞻性混合精度推理方法，通过选择性提高部分组件的计算精度，提升Transformer推理的准确性，实验证明在GPT-2模型上精度提升达两个数量级。

Comments Major revision

Activation Compression in LLMs: Theoretical Analysis and Efficient Algorithm

LLMs中的激活压缩：理论分析与高效算法

Wen-Da Wei, Han-Bin Fang, Yang-Di Liu, Jiang-Xin Shi, James Kwok, Yu-Feng Li

机构 * Nanjing University（南京大学） ； Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Hong Kong University of Science and Technology（香港科学大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出一种激活-梯度联合压缩方法，通过低秩因子压缩线性层梯度，无需额外计算，提升LLM训练效率与压缩性能。

Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

探索剪枝的极限：任务特定神经元、模型崩溃与任务特定大语言模型中的恢复

M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

机构 * BRAC University（布拉格大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究通过系统剪枝实验揭示任务特定语言模型中神经元的专有性，发现任务特定神经元对性能至关重要，剪枝策略影响模型鲁棒性和恢复能力。