Hierarchical Latent Prediction for Language Models
语言模型的分层隐式预测
机构 * University of Texas at Austin(得克萨斯大学奥斯汀分校) ; Microsoft Research(微软研究院)
AI总结 该研究针对语言模型下一个token预测的误差累积问题,提出分层隐式预测方法,在编码、多步推理基准及推测解码上验证了其有效性。
高校专区
语言模型的分层隐式预测
机构 * University of Texas at Austin(得克萨斯大学奥斯汀分校) ; Microsoft Research(微软研究院)
AI总结 该研究针对语言模型下一个token预测的误差累积问题,提出分层隐式预测方法,在编码、多步推理基准及推测解码上验证了其有效性。
AISPA:面向大语言模型应用的以用户为中心的系统提示审计框架
机构 * Stanford University(斯坦福大学) ; CMU(卡内基梅隆大学) ; UT Austin(德克萨斯大学奥斯汀分校) ; University of Toronto(多伦多大学) ; UCSB(加利福尼亚大学圣巴巴拉分校) ; WashU(华盛顿大学) ; OSU(俄亥俄州立大学) ; UCSC(加利福尼亚大学圣克鲁兹分校) ; Northwestern University(西北大学) ; UIUC(伊利诺伊大学厄巴纳-香槟分校) ; KAUST(阿卜杜拉国王科技大学) ; MIT(麻省理工学院) ; University of Oxford(牛津大学) ; Institute for Decentralized AI(去中心化人工智能研究所)
AI总结 本文提出以用户为中心的AISPA框架,审计88款商业AI产品的3249条系统提示指令,发现其设计差异大、保护指令范围浅、长度增长但仍存问题指令,凸显系统提示需更高透明度与监督。
LumaGuide:用于扩散模型中无需训练的高动态范围(HDR)生成的分布塑造方法
机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Google/YouTube(谷歌/YouTube) ; University of Colorado Boulder(科罗拉多大学博尔德分校)
AI总结 本研究提出无需训练的LumaGuide框架,通过在采样时直接塑造输出分布,实现扩散模型的可控生成,可用于HDR及视频生成,无需重新训练模型。
当AI基准测试达到平台期:基准饱和的系统性研究
机构 * University of California, Berkeley(加州大学伯克利分校) ; University of Toronto(多伦多大学) ; University of Washington(华盛顿大学) ; University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; University of Michigan(密歇根大学) ; University of Texas at Austin(德克萨斯大学奥斯汀分校)
AI总结 本研究定义并分析了60个语言模型基准的饱和现象,发现近半数基准出现饱和,且专家策划而非公开测试数据影响抗饱和能力,为延长基准寿命提供了设计建议。
Comments Published at ICML 2026 (Forty-Third International Conference on Machine Learning)