Explaining Attention with Program Synthesis
用程序合成解释注意力机制
机构 * NJIT(新泽西理工学院) ; MIT(麻省理工学院) ; MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
专题命中 代码生成 :program synthesis(title);分类 cs.AI、cs.LG
AI总结 提出用可执行程序近似深度网络组件行为的方法,针对Transformer注意力头,通过生成Python程序再现注意力模式,实现可解释性。
AI 大模型
代码生成、软件工程智能体、程序修复、测试生成和开发者工具。
用程序合成解释注意力机制
机构 * NJIT(新泽西理工学院) ; MIT(麻省理工学院) ; MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
专题命中 代码生成 :program synthesis(title);分类 cs.AI、cs.LG
AI总结 提出用可执行程序近似深度网络组件行为的方法,针对Transformer注意力头,通过生成Python程序再现注意力模式,实现可解释性。
从规范到执行:AI辅助的科学工作流管理
机构 * RENCI, University of North Carolina at Chapel Hill, NC, USA(RENCI,北卡罗来纳大学教堂山分校) ; Information Sciences Institute, University of Southern California, Marina del Rey, CA, USA(信息科学研究所,南加州大学马里纳德尔雷耶斯分校)
专题命中 代码生成 :code generation(abstract);分类 cs.SE、cs.AI
AI总结 提出一种AI辅助方法,通过规范驱动的工作流生成、自动化调试和分布式执行,结合Pegasus与MCP层,实现从自然语言到大规模科学工作流的端到端管理。
信任区域在线策略蒸馏
机构 * Samsung Research(三星研究院) ; University of Oxford(牛津大学) ; Peking University(北京大学)
专题命中 代码生成 :code generation(abstract);分类 cs.CL、cs.LG
AI总结 提出信任区域在线策略蒸馏(TrOPD),通过信用分配策略和信任区域学习解决师生分布差异导致的训练不稳定问题,在数学推理、代码生成和通用基准上超越现有方法。
通过基于人类反馈的迭代强化学习利用大语言模型生成自然且富有表现力的机器人手势
机构 * University of New South Wales(新南威尔士大学) ; Universidad Central de Chile(智利中央大学)
专题命中 代码生成 :code generation(abstract);分类 cs.AI
AI总结 针对社交机器人手势生成僵硬问题,提出将ChatGPT集成到Pepper机器人中生成共语手势,并引入基于人类反馈的迭代强化学习(RLHF)优化手势,实验表明RLHF提升了手势的表现力、相关性和流畅性。
Comments 8 Pages, 6 Figures