Sparsely gated tiny linear experts
稀疏门控的微型线性专家
机构 * Princeton University(普林斯顿大学)
AI总结 提出稀疏门控线性神经元(sgatlin)网络,通过将每个专家缩减为单个神经元并去除非线性,在等计算量下提升语言模型困惑度,同时增强可解释性。
Comments Code available at https://github.com/smonsays/sparsely-gated-linear
高校专区
稀疏门控的微型线性专家
机构 * Princeton University(普林斯顿大学)
AI总结 提出稀疏门控线性神经元(sgatlin)网络,通过将每个专家缩减为单个神经元并去除非线性,在等计算量下提升语言模型困惑度,同时增强可解释性。
Comments Code available at https://github.com/smonsays/sparsely-gated-linear
AdMem: 面向任务求解智能体的高级记忆
机构 * Princeton University(普林斯顿大学) ; Amazon(亚马逊) ; Arm
AI总结 提出一种统一自动记忆框架,集成语义、情节和程序记忆,通过双层级设计和多智能体架构实现自动生成、奖励标注与自适应检索,提升长程多轮任务的鲁棒性和成功率。
面向异构优化器的无服务器半去中心化联邦学习
机构 * Department of Electrical and Computer Engineering, Princeton University(普林斯顿大学电子工程与计算机科学系) ; Department of Electrical and Computer Engineering, Purdue University(帕克森大学电子工程与计算机科学系)
AI总结 提出无服务器半去中心化联邦学习(SSD-FL),通过轻量级D2D初始化实现聚类,利用有效损失函数和Cheeger不等式优化聚类,提升收敛速度和通信效率。
Comments Under review at IEEE/ACM Transactions on Networking
WorldBench: 一个具有挑战性且视觉多样的多模态推理基准
机构 * Princeton University(普林斯顿大学) ; NYU(纽约大学) ; University of Waterloo(滑铁卢大学) ; Meta, FAIR(Meta和FAIR)
AI总结 提出WorldBench,通过构建多领域视觉概念分类法并收集多样化图像,设计前沿MLLM难以回答的问题,以评估多模态大语言模型的视觉理解能力,揭示其弱点。
Comments Project page: https://worldbench-vl.github.io/
CountsDiff: 一种用于计数数据生成和插补的自然数扩散模型
机构 * Princeton University(普林斯顿大学) ; Stanford University(斯坦福大学) ; University of California, Berkeley(加州大学伯克利分校)
AI总结 提出CountsDiff扩散框架,通过生存概率调度和显式损失加权简化Blackout扩散,引入连续时间训练、无分类器引导和逆动态,在自然图像和单细胞RNA-seq插补任务中匹配或超越现有方法。
Comments 39 Pages, 11 figures. To appear in the 43rd International Conference on Machine Learning (ICML 2026)
视觉语言模型中表征失败的几何结构
机构 * Dipartimento di Fisica, Università di Torino(都灵大学物理系) ; Princeton Neuroscience Institute and AI Lab, Princeton University(普林斯顿大学神经科学研究所和AI实验室) ; Intesa Sanpaolo AI Research(Intesa Sanpaolo AI研究中心) ; Dipartimento di Scienze Matematiche, Politecnico di Torino(都灵理工学院数学科学系) ; Network Science Institute, Northeastern University London, UK(伦敦大学东北方大学网络科学研究所)
AI总结 通过分析开源视觉语言模型的概念向量几何重叠,揭示多目标视觉任务中幻觉等错误与认知约束的关联,并提出基于干预的验证方法。