The Thinking Pixel: Recursive Sparse Reasoning in Multimodal Diffusion Latents
思考像素:多模态扩散潜在中的递归稀疏推理
机构 * Shanghai Academy of AI for Science(上海人工智能科学研究院) ; Fudan University(复旦大学)
AI总结 本文提出一种递归稀疏混合专家框架,用于提升多模态文本生成任务中视觉token的生成质量,通过递归机制和稀疏参数共享提高生成性能。
高校专区
思考像素:多模态扩散潜在中的递归稀疏推理
机构 * Shanghai Academy of AI for Science(上海人工智能科学研究院) ; Fudan University(复旦大学)
AI总结 本文提出一种递归稀疏混合专家框架,用于提升多模态文本生成任务中视觉token的生成质量,通过递归机制和稀疏参数共享提高生成性能。
通过块级局部性训练掩码扩散语言模型
机构 * Fudan University, Shanghai, China(复旦大学,上海,中国) ; Alibaba Group, China(阿里巴巴集团,中国)
AI总结 研究通过块级局部性改进掩码扩散语言模型,发现其在结构生成任务中稳定性不足,提出Jigsaw和Scatter模型提升性能。
Salca:一种面向高效长上下文注意力解码的稀疏性感知硬件加速器
机构 * Fudan University(复旦大学)
AI总结 本文提出Salca,通过软硬件协同设计,解决长上下文注意力解码中的计算与内存瓶颈,实现3.82倍速度提升和74.19倍能效提升。