Self-supervised DXA representations encode multi-system disease risk, biological aging and heritability
自监督DXA表征可编码多系统疾病风险、生物衰老与遗传率
AI总结 本研究提出基于JEPA架构的LeDXA模型,利用少量数据和计算从DXA图像中学习到可编码多系统疾病风险、生物衰老与遗传率的表征,提升了疾病预测及相关生物指标的表现。
Comments Preprint Version
作者
Deep Learning / Vision
自监督DXA表征可编码多系统疾病风险、生物衰老与遗传率
AI总结 本研究提出基于JEPA架构的LeDXA模型,利用少量数据和计算从DXA图像中学习到可编码多系统疾病风险、生物衰老与遗传率的表征,提升了疾病预测及相关生物指标的表现。
Comments Preprint Version
HP-JEPA:用于多分辨率图联合嵌入预测学习的层次划分方法
机构 * Stony Brook University(石溪大学) ; TikTok(TikTok(抖音海外版)) ; PayPal(PayPal(贝宝)) ; New York University(纽约大学)
AI总结 HP-JEPA是一种多分辨率图联合嵌入预测的层次划分框架,通过在不同分辨率下进行潜在预测并整合表示,在多数图分类与回归基准及不同规模图上,性能优于固定分辨率的Graph-JEPA。
Comments 15 pages, 4 figures, 5 tables
Music-JEPA:从动作中学习声音的世界模型
AI总结 研究提出Music-JEPA,将音乐构建为动作条件系统,用JEPA学习钢琴声音世界模型,在离线状态下用配对数据训练。实验表明模型能捕捉音乐动作与声音关系,其表示支持下游任务并能通过规划实现钢琴转录。
补丁策略:通过密集视觉表示实现高效具身控制
机构 * Courant Institute, New York University(纽约大学柯朗数学科学研究所) ; Meta-FAIR(Meta FAIR) ; AMI Labs(AMI 实验室)
AI总结 研究利用预训练密集视觉特征,提出补丁策略,通过块因果注意力掩码等实现高效具身控制。该策略轻量级、快速且高效,在模拟和真实环境中相比其他策略有显著提升,为机器人社区利用视觉表示学习提供新途径。
将表示与重建分离可实现可扩展的文本编码器
机构 * FAIR Meta ; New York University(纽约大学)
AI总结 研究发现自BERT以来编码器变化小,通过冻结主干评估揭示问题源于其扁平设计。提出CrossBERT架构分离高质量编码表示学习与令牌重建,能提高掩码率和梯度收集效率,在相关基准测试中表现优异。
AdaJEPA:一种自适应潜在世界模型
机构 * New York University(纽约大学) ; AMI Labs(AMI实验室)
AI总结 提出AdaJEPA,一种在模型预测控制闭环中进行测试时自适应的潜在世界模型,通过自监督信号持续校准模型,显著提升规划成功率。
SkyJEPA:用于四旋翼飞行器零样本仿真到现实控制的长时域世界模型学习
AI总结 提出基于JEPA的潜空间动力学模型,结合物理启发探测器实现长时域预测,并集成采样最优控制实现实时控制,通过自动化数据生成实现零样本仿真到现实迁移。
Comments Under Review
S-JEPA:用于自监督语音表示学习的软聚类锚点
机构 * Carnegie Mellon University(卡内基梅隆大学) ; New York University(纽约大学) ; James Silberrad Brown Center for AI(詹姆斯·西尔伯拉德·布朗人工智能中心) ; Columbia University(哥伦比亚大学) ; Northeastern University(东北大学) ; Stanford University(斯坦福大学) ; Amazon GenAI(亚马逊生成式人工智能)
AI总结 提出S-JEPA,通过KL散度匹配高斯混合模型的软后验概率训练编码器-预测器对,无需离线重聚类或教师蒸馏,在SUPERB协议下以低于90M参数取得最低WER,并建立新的帕累托前沿。
你不需要强假设:通过时间差异进行视觉表示学习
机构 * UIUC(伊利诺伊大学厄巴纳-香槟分校) ; New York University(纽约大学)
AI总结 提出TDV方法,基于因果假设(过去导致未来)从视频中自监督学习,避免强归纳偏置,在密集空间任务上达到SOTA。
统一对象中心世界模型与扩散策略:多阶段机器人任务的分层框架
机构 * Tandon School of Engineering, New York University(纽约大学坦登工程学院) ; Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所) ; AMI Labs(AMI实验室)
AI总结 提出WorldDP分层框架,结合高层世界模型进行运行时子目标优化和低层扩散策略执行,利用对象中心表示解耦环境实体,实现多阶段机器人操作任务的有效规划与执行。