New York University（纽约大学）

Understanding and Improving Length Generalization in Hierarchical Sparse Attention Models

理解并改进层次稀疏注意力模型中的长度泛化

Jiaqi Leng, Xiang Hu, Junxiong Wang, Jianguo Li, Wei Wu, Yucheng Lu

机构 * Fudan University（复旦大学） ； Tencent AI Lab（腾讯AI实验室） ； Cornell University（康奈尔大学） ； Ant Group（蚂蚁集团） ； Ant International（蚂蚁国际） ； NYU Shanghai（纽约大学上海分校） 纠错

AI总结 本文通过系统分析揭示了层次稀疏注意力模型中长度泛化的核心设计原则，提出三种关键组件：非线性Chunk编码器、旁路残差路径和预训练中的稀疏选择，从而在RULER和BABILong数据集上实现了免训练的长度外推。

Comments ICLR 2026 camera-ready version

Iterative Multimodal Retrieval-Augmented Generation for Medical Question Answering

迭代多模态检索增强生成用于医疗问答

Xupeng Chen, Binbin Shi, Chenqian Le, Jiaqi Zhang, Kewen Wang, Ran Gong, Jinhan Zhang, Chihang Wang

机构 * New York University, New York, USA（纽约大学） ； Tsinghua University, Beijing, China（清华大学） ； Independent Researcher（独立研究者） ； Chinese Academy of Sciences, Beijing, China（中国科学院） 纠错

AI总结 MED-VRAG通过多模态检索增强生成框架，利用文档页面图像而非OCR文本进行医疗问答，提升准确率至78.6%，并验证检索和迭代对问答性能的积极影响。