Fine-Tuning Without Forgetting via Loss-Adaptive Learning Rates
通过损失自适应学习率实现无遗忘的微调
机构 * University of California San Diego(加州大学圣迭戈分校)
AI总结 本文提出了一种损失自适应学习率调度方法FINCH,通过动态调整学习率来减少微调过程中的遗忘现象,同时保持任务性能,从而在知识获取、科学和低资源语言适应等基准测试中显著提升了模型表现。
Comments 25 pages
高校专区
通过损失自适应学习率实现无遗忘的微调
机构 * University of California San Diego(加州大学圣迭戈分校)
AI总结 本文提出了一种损失自适应学习率调度方法FINCH,通过动态调整学习率来减少微调过程中的遗忘现象,同时保持任务性能,从而在知识获取、科学和低资源语言适应等基准测试中显著提升了模型表现。
Comments 25 pages
基于Bures-沃斯特斯坦空间到参数空间的随机梯度变分推断与Price梯度估计
机构 * University of Pennsylvania(宾夕法尼亚大学) ; Yale University(耶鲁大学) ; University of British Columbia(不列颠哥伦比亚大学) ; University of California San Diego(加州大学圣地亚哥分校)
AI总结 本文研究了在仅给定目标分布无规范化的对数密度时,利用随机梯度的变分推断方法。通过比较Wasserstein VI和Black-Box VI,发现WVI在使用Price梯度估计时具有更优的收敛性,本文进一步证明两者在迭代复杂度上可以达到一致的最优结果。
Comments Accepted to ICML'26
CHI-Bench: 能否让AI代理自动化端到端、长周期、政策丰富的医疗工作流程?
机构 * Johns Hopkins Medicine(约翰霍普金斯医学中心) ; Wellstar Health System(Wellstar健康系统) ; Stanford University(斯坦福大学) ; CMU(卡内基梅隆大学) ; UCSD(加州大学圣地亚哥分校) ; Yale School of Medicine(耶鲁医学院) ; Salesforce AI Research(Salesforce人工智能研究) ; University of Washington(华盛顿大学) ; Northeastern University(东北大学) ; Brown University(布朗大学) ; Boston College(波士顿学院) ; Stony Brook University(史泰森布里克大学) ; University of Oxford(牛津大学) ; Arizona State University(亚利桑那州立大学) ; University of Southern California(南加州大学) ; Emory University(埃默里大学) ; MBZUAI ; Recursive Superintelligence(递归超级智能) ; University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
AI总结 本文提出CHI-Bench基准,旨在评估AI代理在医疗工作流程中端到端、长周期和政策丰富任务中的自动化能力,揭示当前基准测试中政策密度、多角色协作和多方交互等能力的不足。
Comments Website: https://actava.ai/benchmarks Code: https://github.com/actava-ai/chi-bench Dataset: https://huggingface.co/datasets/actava/chi-bench
TGLF-WINN: 用于等离子体输运建模的高效深度学习替代模型
机构 * University of California, San Diego(加州大学圣地亚哥分校) ; General Atomics(通用原子公司)
AI总结 本文提出TGLF-WINN,一种数据高效的深度学习替代模型,通过三种创新方法:原理化的特征工程、物理引导的波数解析正则化和贝叶斯主动学习,提高了湍流输运建模的效率和准确性。
Comments Minor Revision responding to Nuclear Fusion reviewer and adjudicator comments (round 3)