Looped Diffusion Language Models
循环扩散语言模型
机构 * KAIST(韩国科学技术院) ; KRAFTON(KRAFTON公司) ; University of California, Berkeley(加州大学伯克利分校)
AI总结 提出LoopMDM,通过选择性循环早期-中间Transformer层,在训练时实现深度缩放效果而不增加参数,在推理时通过调整循环次数灵活扩展计算量,从而提升掩码扩散模型的训练效率和性能。
Comments 23 pages
高校专区
循环扩散语言模型
机构 * KAIST(韩国科学技术院) ; KRAFTON(KRAFTON公司) ; University of California, Berkeley(加州大学伯克利分校)
AI总结 提出LoopMDM,通过选择性循环早期-中间Transformer层,在训练时实现深度缩放效果而不增加参数,在推理时通过调整循环次数灵活扩展计算量,从而提升掩码扩散模型的训练效率和性能。
Comments 23 pages
法庭类比:不确定性感知分类的新视角
机构 * Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology(工业与系统工程系,韩国科学技术院)
AI总结 提出法庭类比框架,通过结构化混合狄利克雷分布建模分类中的不确定性聚合,并设计单次前馈神经网络MoDEX实现高效、可解释的不确定性量化。
Comments ICML 2026
个性化再存储:面向长时程智能体的个性化记忆基准测试与学习
机构 * KAIST(韩国科学技术院)
AI总结 针对现有基于大语言模型的记忆系统采用通用静态策略忽略用户间存储上下文差异的问题,提出首个个性化记忆基准PerMemBench和会话级存储门控框架,验证个性化能显著提升记忆保留但精确门控仍是关键挑战。
Comments preprint
缺失非随机识别的扩散插补模型
机构 * KAIST(韩国科学技术院) ; Seoul National University(首尔国立大学)
AI总结 针对缺失非随机(MNAR)问题,提出缺失模式识别扩散插补模型(PRDIM),通过模式识别器和EM算法最大化联合分布似然,实现精确插补。
CounterFlow: 一种用于反事实视频拟音生成的两阶段推理时采样方法
机构 * Kim Jaechul Graduate School of AI, KAIST(金 Jaechul人工智能研究生院,韩国科学技术院)
AI总结 提出CounterFlow,一种两阶段推理时采样方案,用于预训练的流匹配VT2A模型,以生成与视觉证据矛盾但时间同步的反事实视频拟音,并通过新指标评估替换质量。
Comments accepted to CVPR 2026 Workshop on Sight and Sound
多模态晶体流:面向统一晶体建模的任意模态生成
机构 * Graduate School of AI, KAIST, Seoul, South Korea(韩国科学技术院人工智能研究生院,首尔,韩国) ; Materials Intelligence Lab, LG AI Research, Seoul, South Korea(LG AI研究所材料智能实验室,首尔,韩国)
AI总结 提出多模态晶体流(MCFlow),一种统一的多模态流模型,通过原子类型和晶体结构的独立时间变量实现多种晶体生成任务,并在MP-20和MPTS-52基准上达到与任务特定基线竞争的性能。
超越最终答案:评估工具增强型智能体的推理轨迹
机构 * Graduate School of Data Science, KAIST, Daejeon, South Korea(数据科学研究生院,韩国科学技术院,大田,韩国) ; Department of Industrial and Systems Engineering, KAIST, Daejeon, South Korea(工业与系统工程系,韩国科学技术院,大田,韩国) ; Department of Artificial Intelligence, Yonsei University, Seoul, South Korea(人工智能系,延世大学,首尔,韩国)
AI总结 针对工具增强型LLM,提出无参考框架TRACE,通过证据库多维度评估推理轨迹的效率、幻觉和适应性,并用元评估数据集验证其有效性。
Comments International Conference on Machine Learning (ICML) 2026
越狱以保护:通过临时越狱进行缓冲和强化以实现大型语言模型的安全微调
机构 * School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电子工程学院)
AI总结 针对微调即服务中安全对齐被有害微调攻击削弱的问题,提出一种基于梯度分析的缓冲与强化框架,通过临时越狱适配器减少有害更新并利用QR分解合并强化安全,实现无需额外安全数据的高效防御。
Comments ICML 2026 Spotlight
PairFlow: 离散流模型中用于少步生成的闭式源-目标耦合
机构 * KAIST(韩国科学技术院)
AI总结 提出PairFlow,一种轻量级预处理方法,通过闭式反演构建源-目标配对样本,无需预训练教师即可实现离散流模型的少步采样,匹配甚至超越两阶段微调性能。
Comments ICLR 2026
超关系知识图谱上的生成式表示学习:基于掩码离散扩散
机构 * School of Computing(计算学院) ; Department of AI Computing, KAIST, Daejeon, South Korea(人工智能计算系,韩国科学技术院,大田,韩国)
AI总结 针对超关系知识图谱中任意掩码查询的补全与事实生成任务,提出基于掩码离散扩散的生成式表示学习方法KREPE,统一链接预测与事实生成,性能达到最优。
Comments 28 pages, 16 figures, 18 tables, 43rd International Conference on Machine Learning (ICML 2026)
折扣Beta-Bernoulli奖励估计用于基于可验证奖励的样本高效强化学习
机构 * KAIST(韩国科学技术院)
AI总结 针对基于可验证奖励的强化学习样本效率低的问题,提出折扣Beta-Bernoulli奖励估计方法,利用历史奖励统计量降低估计方差并避免方差崩溃,在多个推理基准上显著提升性能。
Comments 14 pages, 3 figures
MoBiQuant: 面向令牌自适应任意精度LLM的混合比特量化
机构 * University of Arizona(亚利桑那大学) ; Duke University(杜克大学) ; Sungkyunkwan University(成均馆大学) ; Panasonic AI Lab(松下人工智能实验室) ; Korea Advanced Institute of Science and Technology(韩国科学技术院)
AI总结 针对动态运行时约束下大语言模型任意精度量化的泛化性问题,提出基于令牌敏感度的混合比特量化框架MoBiQuant,通过多合一递归残差量化和令牌感知路由器实现灵活推理,在匹配或超越前沿单精度PTQ的同时显著节省内存并提升吞吐量。
Comments 20 pages, 10 figures