AInstein: Can LLMs Solve Research Problems From Parametric Memory Alone?
AInstein:LLM能否仅凭参数记忆解决研究问题?
机构 * LIVIA, ÉTS Montréal(LIVIA,蒙特利尔工程学院) ; Mila – Quebec AI Institute(魁北克人工智能研究所) ; HEC Montréal(蒙特利尔HEC学院) ; ServiceNow Research(ServiceNow研究) ; Canada CIFAR AI Chair(加拿大CIFAR人工智能主席) ; Université de Montréal(蒙特利尔大学) ; Polytechnique Montréal(蒙特利尔理工学院) ; International Laboratory on Learning Systems (ILLS)(学习系统国际实验室)
AI总结 本文提出AInstein框架,测试LLM能否通过迭代批评循环生成和改进解决方案。研究发现LLM在70%的问题上成功,但重新发现已发表方案的比例低于19%,表明真正的解决问题能力。但LLM在跨领域类比迁移时存在局限。