Faster LLM Inference via Sequential Monte Carlo
通过序列蒙特卡洛方法加速大语言模型推理
机构 * Cornell University(康奈尔大学) ; Makora(马科拉) ; MIT(麻省理工学院) ; ETH Zürich(苏黎世联邦理工学院)
AI总结 本文提出SMC-SD方法,通过重要性加权重采样替代传统拒绝采样,提升推理速度,实验证明在多个基准测试中保持高精度的同时,比推测解码和自回归解码分别快2.36倍和5.2倍。
高校专区
通过序列蒙特卡洛方法加速大语言模型推理
机构 * Cornell University(康奈尔大学) ; Makora(马科拉) ; MIT(麻省理工学院) ; ETH Zürich(苏黎世联邦理工学院)
AI总结 本文提出SMC-SD方法,通过重要性加权重采样替代传统拒绝采样,提升推理速度,实验证明在多个基准测试中保持高精度的同时,比推测解码和自回归解码分别快2.36倍和5.2倍。
CXR-LT 2026挑战:多中心长尾和零样本胸片分类
机构 * Department of Population Health Sciences, Weill Cornell Medicine(韦尔·科恩医学中心流行病学与公共卫生科学系) ; Department of Radiology, Fuwai Hospital, National Center for Cardiovascular Diseases, Chinese Academy of Medical Sciences and Peking Union Medical College(中国医学科学院阜外医院心血管病国家中心放射科) ; Department of Radiology, West China School of Medicine, Sichuan University(四川大学西昌医学院放射科) ; Sichuan University Affiliated Chengdu Second People’s Hospital(四川大学附属成都第二人民医院) ; Department of Radiology, Weill Cornell Medicine(韦尔·科恩医学中心放射科) ; School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电子工程学院) ; Gwangju Institute of Science and Technology(光州科学技术院) ; Department of Biomedical Engineering, Case Western Reserve University(凯斯西储大学生物医学工程系) ; School of Electrical and Computer Engineering, Cornell Tech(康奈尔科技学院电气与计算机工程系) ; Department of Mathematics and Computer Science, Universitat de les Illes Balears(巴利阿里大学数学与计算机科学系) ; School of Computer Science and Engineering, VNU-HCM International University(VNU-HCM国际大学计算机科学与工程系) ; Vietnam National University, Ho Chi Minh City(越南国家大学河内市分校) ; School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学系) ; VNU-HCM University of Science, Ho Chi Minh City(VNU-HCM科技大学河内市分校)
AI总结 本文提出CXR-LT 2026挑战,通过多中心数据集和零样本任务,研究长尾分布和开放世界下的胸片分类问题,评估视觉语言模型在罕见疾病检测中的表现。
Comments 25 pages, 6 figures
通过回归相对奖励实现在线分布鲁棒LLM对齐
机构 * Department of Statistics and Data Science(统计与数据科学系) ; Cornell University(康奈尔大学)
AI总结 本文提出DRO-REBEL方法,通过类型-p Wasserstein、KL和χ²模糊集实现分布鲁棒优化,证明了在偏好转移下的参数误差界,并在多个基准测试中优于现有基线。
Comments 70 pages, 7 figures, 1 table