Improve Large Language Model Systems with User Logs
通过用户日志改进大型语言模型系统
机构 * Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
AI总结 本文提出UNO框架,通过用户日志提炼规则和偏好对,利用查询反馈驱动聚类处理数据异质性,量化模型知识与日志数据间的认知差距,提升LLM系统性能。
高校专区
通过用户日志改进大型语言模型系统
机构 * Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
AI总结 本文提出UNO框架,通过用户日志提炼规则和偏好对,利用查询反馈驱动聚类处理数据异质性,量化模型知识与日志数据间的认知差距,提升LLM系统性能。
CrossEarth-Gate:基于Fisher引导的自适应调优引擎用于高效跨域遥感语义分割
机构 * Sun Yat-sen University(中山大学) ; The Chinese University of Hong Kong(香港中文大学) ; Shanghai Jiao Tong University(上海交通大学) ; National Supercomputing Center in Shenzhen(深圳国家超算中心) ; The Hong Kong University of Science and Technology(香港科技大学) ; Beijing Institute of Technology(北京理工大学) ; The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) ; Tsinghua University(清华大学)
AI总结 提出CrossEarth-Gate,通过Fisher信息引导的自适应模块选择机制,动态激活最关键的跨域模块,在18个跨域基准中16个达到最优性能。
面向天气基础模型的任务自适应参数高效微调
机构 * Sun Yat-sen University(中山大学) ; The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) ; The Hong Kong University of Science and Technology(香港科技大学) ; The Chinese University of Hong Kong(香港中文大学) ; National Supercomputing Center in Shenzhen(深圳国家超算中心) ; Huawei Technologies Co., Ltd(华为技术有限公司) ; Tsinghua University(清华大学)
AI总结 提出WeatherPEFT框架,通过任务自适应动态提示和随机Fisher引导自适应选择,在天气下游任务上以更少参数达到全微调性能。