TMLR

On the Expressiveness of Softmax Attention: A Recurrent Neural Network Perspective

关于softmax注意力的表达性：从递归神经网络的角度

Gabriel Mongaras, Eric C. Larson

机构 * Lyle School of Engineering（莱尔学院） ； Southern Methodist University（南方 Methodist 大学） 纠错

AI总结 从递归神经网络角度研究softmax注意力的表达性，揭示其与线性注意力的差异及优势

Journal ref Transactions on Machine Learning Research (TMLR), 2025

Towards Scalable Language-Image Pre-training for 3D Medical Imaging

面向3D医学影像的语言-图像预训练的可扩展性

Chenhui Zhao, Yiwei Lyu, Asadur Chowdury, Edward Harake, Akhil Kondepudi, Akshay Rao, Xinhai Hou, Honglak Lee, Todd Hollon

机构 * University of Michigan（密歇根大学） 纠错

AI总结 HLIP通过引入层次注意力机制，实现对3D医学影像的可扩展语言-图像预训练，提升脑部MRI和头部CT的性能表现。

Comments TMLR 2026

Unlocking [CLS] Features for Continual Post-Training

解锁[CLS]特征以实现持续微调

Murat Onur Yildirim, Elif Ceren Gok Yildirim, Joaquin Vanschoren

AI总结 本文提出TOSCA方法，通过在[CLS]标记上部署稀疏LuCA模块，实现持续学习中稳定性与可塑性的平衡，减少参数量并提升性能。

Comments Published in Transactions on Machine Learning Research (TMLR)