AMD

CASCADE: Context-Aware Relaxation for Speculative Image Decoding

CASCADE：基于上下文的放松方法用于推测图像解码

Selin Yildirim, Subhajit Dutta Chowdhury, Mohammad Mahdi Kamani, Vikram Appia, Deming Chen

机构 * AMD（AMD公司） 纠错

AI总结 本文提出CASCADE方法，通过捕捉目标模型隐藏状态中的冗余性，在不额外训练的情况下实现接受放松，提升推测解码效率，实验表明在多模态模型中达到3.6倍加速，保持图像质量和提示一致性。

CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning

CRAFT：面向持续学习的遗忘感知干预式适应

Md Anwar Hossen, Fatema Siddika, Juan Pablo Munoz, Tanya Roosta, Ali Jannesari

机构 * Iowa State University（爱荷华州立大学） ； Maro Systems（Maro系统） ； University of California, Berkeley（加州大学伯克利分校） ； AMD 纠错

AI总结 CRAFT通过在隐藏表示上学习低秩干预，避免更新模型权重，通过输出分布分歧路由任务、KL散度正则化和合并干预，减少遗忘并提升性能。

Comments 24 pages

AdaHOP: Fast and Accurate Low-Precision Training via Outlier-Pattern-Aware Rotation

AdaHOP: 通过异常模式感知旋转实现快速且准确的低精度训练

Seonggon Kim, Alireza Khodamoradi, Pranathi Vasireddy, Kristof Denolf, Eunhyeok Park

机构 * Advanced Micro Devices, Inc.（先进微器件公司） ； POSTECH（POSTECH大学） 纠错

AI总结 本文提出AdaHOP，通过分析权重、激活和梯度中的三种稳定异常模式，采用自适应Hadamard变换和异常提取策略，在MXFP4精度下实现BF16级质量，提升内存压缩和训练速度。

Comments 21 pages, 10 figures