TMLR

Improving LLM Unlearning Robustness via Random Perturbations

通过随机扰动提升大语言模型去学习鲁棒性

Dang Huu-Tien, Hoang Thanh-Tung, Anh Bui, Minh-Phuong Nguyen, Le-Minh Nguyen, Naoya Inoue

机构 * Japan Advanced Institute of Science and Technology（日本科学技术先进研究院） ； VNU University of Engineering and Technology（越南工程与技术大学） ； Monash University（莫纳什大学） ； RIKEN（日本研究机构） 纠错

AI总结 本文提出将去学习过程视为后门攻击与防御问题，通过随机噪声增强方法提升去学习模型的鲁棒性，实验表明该方法有效保持去学习性能。

Comments Accepted by Transactions on Machine Learning Research

Toward Efficient Influence Function: Dropout as a Compression Tool

迈向高效的影响力函数：Dropout作为压缩工具

Yuchen Zhang, Mohammad Mohammadi Amiri

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） 纠错

AI总结 本文提出利用Dropout作为梯度压缩机制，高效计算影响力函数，减少计算和内存开销，适用于大规模模型。

Journal ref Transactions on Machine Learning Research, 02/2026

Data Compressibility Quantifies LLM Memorization

数据压缩性量化大语言模型的记忆性

Yizhan Huang, Zhe Yang, Meifang Chen, Huang Nianchen, Jianping Zhang, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Nanyang Technological University（南洋理工大学） ； University of Southern California（南加州大学） ； Meta 纠错

AI总结 本文通过数据压缩性量化大语言模型的记忆性，发现集级别指标能揭示熵与记忆性之间的线性关系。

Comments accepted by TMLR

Test-Time Alignment via Hypothesis Reweighting

测试时对齐 via 假设重加权

Yoonho Lee, Jonathan Williams, Henrik Marklund, Archit Sharma, Eric Mitchell, Anikait Singh, Chelsea Finn

机构 * Stanford University（斯坦福大学） 纠错

AI总结 本文提出HyRe方法，通过重加权集成成员实现实时个性化，仅需1-5个标记示例即可超越现有奖励模型。

Comments TMLR 2026

Condense, Don't Just Prune: Enhancing Efficiency and Performance in MoE Layer Pruning

压缩而非单纯剪枝：在MoE层剪枝中提升效率和性能

Mingyu Cao, Gen Li, Jie Ji, Jiaqi Zhang, Ajay Jaiswal, Li Shen, Xiaolong Ma, Shiwei Liu, Lu Yin

机构 * University of Surrey（萨里大学） ； Clemson University（克莱姆森大学） ； Meituan（美团） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Sun Yat-sen University（中山大学） ； The University of Arizona（亚利桑那大学） ； ELLIS Institute（ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

AI总结 本文提出CD-MoE方法，通过压缩稀疏MoE层为更密集的层，提升效率和性能，实验证明在DeepSeekMoE-16B模型中，内存使用减少27.5%，推理速度提升1.26倍，且通过轻量专家微调恢复98%原始性能。

Journal ref Published in TMLR 10/2025 (https://openreview.net/pdf?id=BQe6j6sAu6)

Decision-Focused Surrogate Modeling for Mixed-Integer Linear Optimization

面向混合整数线性优化的决策聚焦代理建模

Shivi Dixit, Rishabh Gupta, Qi Zhang

AI总结 本文提出一种基于数据驱动的决策聚焦代理建模方法，通过构建线性规划模型高效求解混合整数线性规划问题，实现与原问题相近的最优解，且在两个案例中优于神经网络优化代理。

Comments Published in Transactions on Machine Learning Research (2025). OpenReview: https://openreview.net/forum?id=A6tOXkkE4Z

Journal ref Transactions on Machine Learning Research, 2835-8856, 2025

SpikingMamba: Towards Energy-Efficient Large Language Models via Knowledge Distillation from Mamba

SpikingMamba: 通过从Mamba知识蒸馏实现能量高效的大型语言模型

Yulong Huang, Jianxiong Tang, Chao Wang, Ziyi Wang, Jianguo Zhang, Zhichao Lu, Bojun Cheng, Luziwei Leng

AI总结 SpikingMamba通过知识蒸馏从Mamba模型中实现高效能的Spiking神经网络大型语言模型，结合SI-LIF神经元和SGC路径，在保持精度的同时显著降低能耗。

Journal ref Transactions on Machine Learning Research (01/2026)

The Landscape of Agentic Reinforcement Learning for LLMs: A Survey

代理强化学习用于大语言模型的景观：综述

Guibin Zhang, Hejia Geng, Xiaohang Yu, Zhenfei Yin, Zaibin Zhang, Zelin Tan, Heng Zhou, Zhongzhi Li, Xiangyuan Xue, Yijiang Li, Yifan Zhou, Yang Chen, Chen Zhang, Yutao Fan, Zihu Wang, Songtao Huang, Francisco Piedrahita-Velez, Yue Liao, Hongru Wang, Mengyue Yang, Heng Ji, Jun Wang, Shuicheng Yan, Philip Torr, Lei Bai

机构 * University of Oxford（牛津大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Brown University（布朗大学） ； University College London（伦敦大学学院） ； University of Science and Technology of China（中国科学技术大学） ； Imperial College London（伦敦帝国学院） ； Dalian University of Technology（大连理工大学） ； Chinese Academy of Sciences（中国科学院） ； The Chinese University of Hong Kong（香港中文大学） ； University of Georgia（佐治亚大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of Bristol（布里斯托大学） 纠错

AI总结 本文综述了代理强化学习在大语言模型中的应用，提出双分类体系，探讨其核心能力与应用领域，并强调强化学习在使能力转化为适应性行为中的关键作用。

Comments Published on Transactions on Machine Learning Research: https://openreview.net/forum?id=RY19y2RI1O