Extracting Small Translation Specialists from LLMs by Aggressively Pruning Experts
通过激进剪枝专家从LLM中提取小型翻译专家
机构 * University of California, Los Angeles(加州大学洛杉矶分校)
AI总结 提出一种从混合专家LLM中激进剪枝与翻译无关的专家,实现大幅压缩MoE块而不显著降低翻译质量的方法。
高校专区
通过激进剪枝专家从LLM中提取小型翻译专家
机构 * University of California, Los Angeles(加州大学洛杉矶分校)
AI总结 提出一种从混合专家LLM中激进剪枝与翻译无关的专家,实现大幅压缩MoE块而不显著降低翻译质量的方法。
What-If World: 具身场景中通用世界模型的因果基准
机构 * UCLA(加州大学洛杉矶分校) ; University of Tennessee(田纳西大学) ; Amazon(亚马逊)
AI总结 提出 What-If World 基准,通过成对提示测试视频生成模型在物理变化下的因果一致性,发现现有模型在因果干预上表现不佳。
Comments 38 pages, World Model Benchmark
C-MORAL: 基于强化对齐的可控多目标分子优化用于大语言模型
机构 * University of California, Los Angeles(加州大学洛杉矶分校) ; Amazon(亚马逊)
AI总结 提出C-MORAL框架,通过强化学习后训练结合分组相对优化、属性分数对齐和瓶颈敏感非线性奖励聚合,实现可控多目标分子优化,在C-MuMOInstruct和S$^2$-Bench MolOpt基准上取得最优性能。
Comments 26 pages, 7 figures
离散流模型的校正采样器
机构 * School of Statistics, East China Normal University(东华大学统计学院) ; Department of Statistics and Data Science, University of California, Los Angeles(加州大学洛杉矶分校统计与数据科学系) ; Department of Industrial and Systems Engineering, University of Minnesota(明尼苏达大学工业与系统工程系) ; School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
AI总结 针对离散流模型中现有采样器(如tau-leaping和Euler求解器)离散化误差大、需大量迭代的问题,提出时间校正和位置校正两种采样器,在不增加计算成本下降低误差,并证明位置校正采样器复杂度更低。
MM-PoisonRAG:通过局部和全局投毒攻击破坏多模态RAG
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; University of California Los Angeles(加州大学洛杉矶分校)
AI总结 提出MM-PoisonRAG框架,通过局部投毒攻击(LPA)和全局投毒攻击(GPA)两种策略,系统研究多模态检索增强生成(RAG)在知识投毒下的脆弱性,实验表明攻击成功率高达56%且能绕过现有防御。
Comments Code is available at https://github.com/HyeonjeongHa/MM-PoisonRAG