The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks
尖峰、稀疏与汇点:大规模激活与注意力汇点的解剖
机构 * New York University(纽约大学)
AI总结 研究揭示了Transformer中大规模激活与注意力汇点的关联性及作用机制,指出预归一化配置是二者共存的关键因素。
高校专区
尖峰、稀疏与汇点:大规模激活与注意力汇点的解剖
机构 * New York University(纽约大学)
AI总结 研究揭示了Transformer中大规模激活与注意力汇点的关联性及作用机制,指出预归一化配置是二者共存的关键因素。
迈向具有偏见限制的LLM评判系统的可证明无偏评判
机构 * Stanford University(斯坦福大学) ; New York University(纽约大学)
AI总结 本文提出平均偏见限制框架,通过可验证的偏见限制保证,提升LLM评判系统的公平性与可靠性。
DMD增强的无配对神经施罗德桥用于超低场MRI增强
机构 * Korea University(韩国大学) ; KAIST(韩国科学技术院) ; NYU Langone Health(纽约大学朗格one健康)
AI总结 本文提出了一种基于DMD增强的无配对神经施罗德桥方法,用于提升超低场MRI图像质量,通过结合分布匹配与解剖结构保持正则化器,实现现实感与结构保真的平衡。