SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs
SimulCost: 一个用于自动化物理模拟的代价感知基准与工具包
机构 * University of California San Diego(加州大学圣地亚哥分校) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) ; Peking University(北京大学) ; University of California, Los Angeles(加州大学洛杉矶分校) ; California Institute of Technology(加州理工学院) ; ETH Zurich(苏黎世联邦理工学院)
AI总结 针对现有LLM评估忽略工具使用代价的问题,提出SimulCost基准,通过单轮和多轮参数调优任务比较LLM与传统扫描方法在准确性和计算代价上的表现,发现LLM在高精度任务中初始猜测不可靠且多轮模式效率更低。
Comments post conference revision version at ICML; update: removed CGYRO due to bug in cases search. Will add back soon