Dynamic Compression in Recurrent Networks
循环网络中的动态压缩
机构 * Massachusetts Institute of Technology(麻省理工学院)
AI总结 该研究提出动态压缩方法,允许循环模型选择性重访过去标记以修正固定状态,在少样本函数复用任务中,其所需循环状态更小、扩展性更优,实现了计算与内存的有效权衡。
高校专区
循环网络中的动态压缩
机构 * Massachusetts Institute of Technology(麻省理工学院)
AI总结 该研究提出动态压缩方法,允许循环模型选择性重访过去标记以修正固定状态,在少样本函数复用任务中,其所需循环状态更小、扩展性更优,实现了计算与内存的有效权衡。
ASI-Bench:人工智能超级智能的黎明
机构 * Tsinghua University(清华大学) ; Massachusetts Institute of Technology(麻省理工学院) ; Harvard University(哈佛大学) ; Carnegie Mellon University(卡内基梅隆大学) ; University of Michigan(密歇根大学) ; University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Boston University(波士顿大学) ; University of Queensland(昆士兰大学) ; University of Science and Technology of China(中国科学技术大学) ; Flatiron Institute(弗拉蒂伦研究所) ; Microsoft Research(微软研究院) ; AG2 AI(AG2 AI公司)
AI总结 研究人员推出首个联合评估AI创新探索与自主科学执行能力的基准ASI-Bench,逐步减少人类方法指导测试AI自主科研能力,发现当前AI仍严重依赖人类指导,该基准面向全球开放邀请贡献。
Comments 16 pages, 5 figures, 2 tables
上下文强化学习的任务专业化微调
机构 * Nanyang Technological University(南洋理工大学) ; MIT(麻省理工学院) ; UIUC(伊利诺伊大学厄巴纳-香槟分校)
AI总结 针对上下文强化学习的任务专业化微调难题,提出TSFT框架,通过整数线性规划分配微调预算,在多领域实验中提升了任务覆盖性能。