Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts
少而精:训练数据剪枝提升事实记忆
机构 * National University of Singapore(新加坡国立大学) ; Apple(苹果公司)
AI总结 本文从信息论角度研究训练数据分布对事实准确性的影响,提出基于训练损失的数据选择方案,提升事实记忆能力,实验表明剪枝后模型可更高效记忆事实。
高校专区
少而精:训练数据剪枝提升事实记忆
机构 * National University of Singapore(新加坡国立大学) ; Apple(苹果公司)
AI总结 本文从信息论角度研究训练数据分布对事实准确性的影响,提出基于训练损失的数据选择方案,提升事实记忆能力,实验表明剪枝后模型可更高效记忆事实。
少而精:通过混合后训练实现性能与置信度忠实的和谐统一
机构 * National University of Singapore, Singapore(新加坡国立大学) ; Singapore Management University, Singapore(新加坡管理大学)
AI总结 本文提出HyTuning框架,通过混合后训练方法在有限监督下提升模型准确性并实现置信度忠实,支持'少而精'的效果。
从一叠起:多尺度自我注入用于上下文窗口扩展
机构 * Singapore University of Technology and Design (SUTD)(新加坡科技设计大学) ; Singapore Management University (SMU)(新加坡管理大学) ; Nanyang Technological University (NTU)(南洋理工大学) ; National University of Singapore (NUS)(新加坡国立大学)
AI总结 本文提出多尺度自我注入框架,通过压缩和查询感知信息获取扩展上下文窗口,实现高效且准确的长上下文处理。
Comments 20 pages, 6 figures
面向增强大语言模型推理能力的分层多步奖励模型
机构 * the University of Hong Kong(香港大学) ; Tsinghua University(清华大学) ; Georgia Institute of Technology(佐治亚理工学院) ; National University of Singapore(新加坡国立大学) ; Zhejiang University(浙江大学) ; Renmin University of China(中国人民大学) ; the Chinese University of Hong Kong(香港中文大学)
AI总结 本文提出分层奖励模型和轻量数据增强策略,解决大语言模型推理中奖励黑客问题,提升多步推理评估的稳定性和泛化能力。
PASK:迈向具有长期记忆的意图感知主动代理
机构 * Pask-Core(Pask核心) ; NTU(南洋理工大学) ; NUS(新加坡国立大学)
AI总结 本文提出PASK框架,通过意图流模型和混合记忆系统实现主动代理,在现实场景中识别更深层用户意图。
Comments Technical report; Work in progress
超越表面伪影:跨模态捕捉共享的潜在伪造知识
机构 * The University of Sydney(悉尼大学) ; Nanjing University of Posts and Telecommunications(南京邮电大学) ; National University of Singapore(新加坡国立大学)
AI总结 本文提出了一种跨模态伪造检测框架MAF,通过解耦模态特定风格,提取跨模态的潜在伪造知识,并定义了两个维度评估模型泛化能力,推动多模态防伪技术发展。
GameWorld: 向标准化和可验证的多模态游戏代理评估迈进
机构 * National University of Singapore(新加坡国立大学) ; University of Oxford(牛津大学)
AI总结 GameWorld提出一个标准化且可验证的多模态游戏代理评估基准,包含34种游戏和170个任务,通过可验证的指标评估代理能力,揭示了当前代理在视频游戏中与人类能力的差距。
Comments 23 pages, 8 figures
最近邻投影去除对抗训练
机构 * IIIT Delhi(德里印度理工学院) ; NUS Singapore(新加坡国立大学)
AI总结 本文提出一种新的对抗训练框架,通过在特征空间中去除对抗样本和干净样本间的类间依赖,增强特征分离性,提升模型鲁棒性和泛化能力。
通过依赖意识生成建模捕捉未见的空间热极值
机构 * National University of Singapore(新加坡国立大学) ; Southern University of Science and Technology(南方科技大学) ; Eastern Institute of Technology(东方理工高等研究院) ; Stanford University(斯坦福大学)
AI总结 本文提出DeepX-GAN模型,通过显式捕捉稀有极值的空间结构,模拟超出观测记录的统计合理极值,揭示未见热极值对高脆弱性国家的威胁,需空间适应性风险规划。